JP2017010170A - 画像処理装置、日付識別装置、画像処理方法、および、プログラム - Google Patents

画像処理装置、日付識別装置、画像処理方法、および、プログラム Download PDF

Info

Publication number
JP2017010170A
JP2017010170A JP2015123211A JP2015123211A JP2017010170A JP 2017010170 A JP2017010170 A JP 2017010170A JP 2015123211 A JP2015123211 A JP 2015123211A JP 2015123211 A JP2015123211 A JP 2015123211A JP 2017010170 A JP2017010170 A JP 2017010170A
Authority
JP
Japan
Prior art keywords
display area
extracting
rectangle
image processing
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015123211A
Other languages
English (en)
Other versions
JP5997808B1 (ja
Inventor
章文 高橋
Akifumi Takahashi
章文 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PFU Ltd
Original Assignee
PFU Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PFU Ltd filed Critical PFU Ltd
Priority to JP2015123211A priority Critical patent/JP5997808B1/ja
Priority to US14/879,000 priority patent/US9646218B2/en
Application granted granted Critical
Publication of JP5997808B1 publication Critical patent/JP5997808B1/ja
Publication of JP2017010170A publication Critical patent/JP2017010170A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/224Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/158Segmentation of character regions using character size, text spacings or pitch estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Character Input (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像に含まれる数字を認識する際に、ノイズを除去し、数字表示領域を特定することで演算量を減らし、処理を高速化することができる画像処理装置、日付識別装置、画像処理方法、および、プログラムを提供することを課題とする。
【解決手段】本発明は、画像における数字認識対象範囲を特定し、数字認識対象範囲において、数字を表している可能性のある数字可能性部分の外接矩形が基準サイズに適合する場合、当該外接矩形を抽出し、抽出された外接矩形が複数並んでいる場合、複数並んだ外接矩形を抽出し、抽出された外接矩形に対して、複数セグメント文字のセグメントを構成する横線および/または縦線を含んでいるか否か判定し、横線および/または縦線を含んでいる外接矩形を数字識別の対象領域として抽出し、対象領域を含むように、数字認識対象範囲を数字表示領域として所定方向で切り出す。
【選択図】図1

Description

本発明は、画像処理装置、日付識別装置、画像処理方法、および、プログラムに関する。
従来から、画像中の数字を認識する技術が開示されている。
ここで、矩形の幅・高さの一様性、矩形間の距離の一様性、文法辞書を用いることにより、分離文字の組み合わせを決定する技術が開示されている(特許文献1を参照)。
また、2領域が横方向(または縦方向)に隣接している場合には各領域の外接矩形の高さ(または幅)および2領域間に存在する領域数を利用して文字の領域か否かを判定する技術が開示されている(特許文献2を参照)。
特開平9−44605号公報 特開平9−305702号公報
しかしながら、従来の画像解析装置(特許文献1等)においては、文字候補の外接矩形の高さや幅に基づいて文字抽出を行っているが、少ない演算量で数字を効率的、且つ、正確に認識することが困難であるという問題点を有していた。また、従来の画像解析装置においては、認識範囲が広いため、演算量が多く、処理に時間がかかり、且つ、誤認識も多いという問題点を有していた。
本発明は、上記問題点に鑑みてなされたもので、写真、ビデオ、デジタル時計、電光掲示板、看板、電卓または手書のマークシート等の画像に含まれる数字を認識する際に、ノイズを除去し、数字表示領域を特定することで演算量を減らし、処理を高速化することができる画像処理装置、日付識別装置、画像処理方法、および、プログラムを提供することを目的とする。
このような目的を達成するため、本発明に係る画像処理装置は、画像における数字認識対象範囲を特定する対象範囲特定手段と、前記数字認識対象範囲において、数字を表している可能性のある数字可能性部分の外接矩形が基準サイズに適合する場合、当該外接矩形を抽出する矩形抽出手段と、前記矩形抽出手段により抽出された前記外接矩形が複数並んでいる場合、複数並んだ前記外接矩形を抽出する複数抽出手段と、前記複数抽出手段により抽出された前記外接矩形に対して、複数セグメント文字のセグメントを構成する横線および/または縦線を含んでいるか否か判定し、前記横線および/または前記縦線を含んでいる前記外接矩形を数字識別の対象領域として抽出する対象領域抽出手段と、前記数字認識対象範囲から、所定方向に、前記対象領域を含むように数字表示領域を切り出す表示領域切出手段と、を備えたことを特徴とする。
また、本発明に係る日付識別装置は、画像における日付認識対象範囲を特定する対象範囲特定手段と、輝度および色相に基づいた閾値により、前記日付認識対象範囲に関する日付認識対象範囲データを二値化して、二値化範囲データを取得する二値化手段と、前記二値化範囲データをラベリング処理することで、前記二値化範囲データに基づく二値化範囲において、数字を表している可能性のある数字可能性部分を抽出し、前記数字可能性部分の外接矩形が基準サイズに適合する場合、当該外接矩形を抽出する矩形抽出手段と、前記矩形抽出手段により抽出された前記外接矩形が複数並んでいる場合、複数並んだ前記外接矩形を抽出する複数抽出手段と、前記複数抽出手段により抽出された前記外接矩形に対して、複数セグメント文字のセグメントを構成する横線および/または縦線を含んでいるか否か判定し、前記横線および/または前記縦線を含んでいる前記外接矩形を数字識別の対象領域として抽出する対象領域抽出手段と、前記日付認識対象範囲から、所定方向に、前記対象領域を含むように日付表示領域を切り出す表示領域切出手段と、前記日付表示領域に関する日付表示領域データに対して、複数線によるヒストグラムを行い、各線におけるピーク数に基づいて前記数字を識別する数字識別手段と、前記数字に関する日付データを前記画像に関する画像データに付与する数字データ付与手段と、を備えることを特徴とする。
また、本発明に係る画像処理方法は、画像における数字認識対象範囲を特定する対象範囲特定ステップと、前記数字認識対象範囲において、数字を表している可能性のある数字可能性部分の外接矩形が基準サイズに適合する場合、当該外接矩形を抽出する矩形抽出ステップと、前記矩形抽出ステップにて抽出された前記外接矩形が複数並んでいる場合、複数並んだ前記外接矩形を抽出する複数抽出ステップと、前記複数抽出ステップにて抽出された前記外接矩形に対して、複数セグメント文字のセグメントを構成する横線および/または縦線を含んでいるか否か判定し、前記横線および/または前記縦線を含んでいる前記外接矩形を数字識別の対象領域として抽出する対象領域抽出ステップと、前記数字認識対象範囲から、所定方向に、前記対象領域を含むように数字表示領域を切り出す表示領域切出ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、画像における数字認識対象範囲を特定する対象範囲特定ステップと、前記数字認識対象範囲において、数字を表している可能性のある数字可能性部分の外接矩形が基準サイズに適合する場合、当該外接矩形を抽出する矩形抽出ステップと、前記矩形抽出ステップにて抽出された前記外接矩形が複数並んでいる場合、複数並んだ前記外接矩形を抽出する複数抽出ステップと、前記複数抽出ステップにて抽出された前記外接矩形に対して、複数セグメント文字のセグメントを構成する横線および/または縦線を含んでいるか否か判定し、前記横線および/または前記縦線を含んでいる前記外接矩形を数字識別の対象領域として抽出する対象領域抽出ステップと、前記数字認識対象範囲から、所定方向に、前記対象領域を含むように数字表示領域を切り出す表示領域切出ステップと、をコンピュータに実行させることを特徴とする。
この発明によれば、数字のみを正確に認識することで、ノイズを除去し、数字表示領域(数字表示位置)を特定することができる。その結果、この発明によれば、数字表示位置に合わせて認識範囲を絞り込むことができ、その後の処理を高速化するとともに誤認識を減らすことができる。
すなわち、この発明によれば、7セグメント文字、14セグメント文字または16セグメント文字等の複数セグメント文字に対して、数字のみを正確に認識してノイズを除去することにより、数字が印字された領域を特定することができる。その結果、この発明によれば、認識範囲を数字が表示された範囲のみに絞り込むことができるため、その後の演算量を減らし、処理を高速化すると同時に誤認識を減らすことができる。
図1は、本実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図2は、本実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図3は、本実施形態の画像処理装置における処理の一例を示すフローチャートである。 図4は、本実施形態における数字認識対象範囲特定の一例を示す図である。 図5は、本実施形態の画像処理装置における処理の一例を示すフローチャートである。 図6は、本実施形態における色相のヒストグラム抽出を行う場合の説明図である。 図7は、本実施形態の画像処理装置における処理の一例を示すフローチャートである。 図8は、二値化された数字認識対象範囲データに対するラベリング処理についての説明図である。 図9は、ラベル番号の付与時における他の画素の確認方法についての説明図である。 図10は、ラベル番号を付与する際の手順についての説明図である。 図11は、LUTの値の書き換えについての説明図である。 図12は、LUTの値に基づいてラベル番号を整理する場合の説明図である。 図13は、ラベルの領域が重なっている状態を示す説明図である。 図14は、ラベル同士の距離についての説明図である。 図15は、本実施形態における基準サイズの一例を示す図である。 図16は、本実施形態におけるデジタル時計の画像の一例を示す図である。 図17は、高さによる外接矩形抽出の説明図である。 図18は、高さによる外接矩形抽出の説明図である。 図19は、本実施形態におけるデジタル時計の画像の一例を示す図である。 図20は、幅による外接矩形抽出の説明図である。 図21は、本実施形態におけるセグメント認識の一例を示す図である。 図22は、本実施形態におけるセグメント認識の一例を示す図である。 図23は、本実施形態におけるセグメント認識の一例を示す図である。 図24は、本実施形態におけるセグメント認識の一例を示す図である。 図25は、本実施形態の画像処理装置における処理の一例を示すフローチャートである。 図26は、数字の1を表している可能性のある外接矩形(ラベル)の確認を行う際の説明図である。 図27は、本実施形態における数字表示領域切出の一例を示す図である。 図28は、本実施形態における垂直切り出しの一例を示す図である。 図29は、本実施形態における垂直切り出しの一例を示す図である。 図30は、本実施形態における垂直切り出しの一例を示す図である。 図31は、本実施形態における垂直切り出しの一例を示す図である。 図32は、本実施形態における垂直切り出しの一例を示す図である。 図33は、本実施形態における垂直切り出しの一例を示す図である。 図34は、本実施形態の画像処理装置における処理の一例を示すフローチャートである。 図35は、投影ヒストグラムの手法についての説明図である。 図36は、対象領域データに対して投影ラインでヒストグラムを行った場合における説明図である。 図37は、対象領域データに対して投影ラインでヒストグラムを行った場合における説明図である。 図38は、対象領域データに対して投影ラインでヒストグラムを行った場合における説明図である。 図39は、投影ヒストグラムのピーク部に基づいて数字を識別する際におけるピーク部と数字との関係を示す図である。 図40は、本実施形態における数字表示領域特定処理の一例を示す図である。 図41は、本実施形態における数字表示領域特定処理の一例を示す図である。 図42は、本実施形態における数字表示領域特定処理の一例を示す図である。 図43は、本実施形態に係る日付識別装置の外観図である。 図44は、本実施形態に係る日付識別装置の使用状態を示す図である。 図45は、本実施形態に係る日付識別装置の構成の一例を示すブロック図である。 図46は、本実施形態の日付識別装置における処理の一例を示すフローチャートである。
以下に、本発明に係る画像処理装置、日付識別装置、画像処理方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
[本実施形態の構成]
以下、本発明の実施形態に係る画像処理装置200の構成の一例について図1および図2を参照して説明し、その後、本実施形態の処理等について詳細に説明する。但し、以下に示す実施形態は、本発明の技術思想を具体化するための画像処理装置200を例示するものであって、本発明をこの画像処理装置200に特定することを意図するものではなく、請求の範囲に含まれるその他の実施形態の画像処理装置200にも等しく適用し得るものである。
例えば、本実施形態で例示する画像処理装置200における機能分散の形態は以下に限られず、同様の効果や機能を奏し得る範囲において、任意の単位で機能的または物理的に分散・統合して構成することができる。図1および図2は、本実施形態に係る画像処理装置200の構成の一例を示すブロック図である。
[構成(その1)]
図1に示すように、画像処理装置200は、概略的に、制御部202と、通信部204と、記憶部206と、入出力部212と、を備えて構成されており、外部装置400(例えば、デジタルカメラ、または、スキャナ等)と相互に通信可能に接続されている。ここで、画像処理装置200は、通信部204を介して、外部装置400と相互に通信可能に接続されていてもよい。
また、これら画像処理装置200の各部は任意の通信路を介して通信可能に接続されている。また、制御部202は、通信部204、および、入出力部212を制御してもよい。
通信部204は、Bluetooth(登録商標)、NFC(Near Field Communication)、または、赤外線通信等によって無線通信を行う機能を有していてもよい。
また、通信部204は、通信回線および/または電話回線等に接続されるアンテナおよび/またはルータ等の通信装置に接続されるインターフェース(NIC等)であり、画像処理装置200とネットワークとの間における通信制御を行う機能を有していてもよい。ここで、ネットワークは、有線通信および/または無線通信(例えば、WiFi等)の遠隔通信等を含んでいてもよい。
また、入出力部212は、データの入出力(I/O)を行う機能を有していてもよい。ここで、入出力部212は、例えば、キー入力部、タッチパネル、コントロールパッド(例えば、タッチパッド、および、ゲームパッド等)、マウス、キーボード、および、マイク等であってもよい。
また、入出力部212は、アプリケーション等の(入出力)情報を表示する表示部(例えば、液晶または有機EL等から構成されるディスプレイ、モニタ、および、タッチパネル等)であってもよい。また、入出力部212は、音声情報を音声として出力する音声出力部(例えば、スピーカ等)であってもよい。
また、図1に示すように、画像処理装置200と相互に通信可能に接続された外部装置400は、概略的に、通信部404と、撮像部414と、を備えていてもよい。
ここで、通信部404は、Bluetooth(登録商標)、NFC、または、赤外線通信等によって無線通信を行う機能を有していてもよい。また、通信部404は、通信回線および/または電話回線等に接続されるアンテナおよび/またはルータ等の通信装置に接続されるインターフェース(NIC等)であり、外部装置400とネットワークとの間における通信制御を行う機能を有していてもよい。
また、撮像部414は、CCDイメージセンサまたはCMOSイメージセンサ等の撮像素子が面状に配列されたものであってもよい。ここで、撮像部414は、面状に配列された撮像素子により、撮像範囲の被写体を一度に撮像するように構成されていてもよい。
ここで、記憶部206は、各種のデータベース、テーブル、および/または、ファイル(数字表示領域データベース206a等)などを格納する。ここで、記憶部206は、画像データ(例えば、外部装置400にて撮像された画像データ等)を記憶していてもよい。また、記憶部206は、各種アプリケーションプログラム(例えば、ユーザアプリケーション等)を記憶していてもよい。
記憶部206は、ストレージ手段であり、例えばRAM・ROM等のメモリ、ハードディスクのような固定ディスク装置、SSD(Solid State Drive)、フレキシブルディスク、および/または、光ディスク等を用いることができる。記憶部206には、CPU(Central Processing Unit)に命令を与え各種処理を行うためのコンピュータプログラム等が記録されている。
これら記憶部206の各構成要素のうち、数字表示領域データベース206aは、数字表示領域が特定された画像における数字表示領域に関する数字表示領域データを記憶する。
また、制御部202は、画像処理装置200を統括的に制御するCPU等からなる。制御部202は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。また、制御部202は、画像データを記憶部206に格納してもよい。
ここで、制御部202は、大別して、対象範囲特定部202a、二値化部202b、矩形抽出部202c、複数抽出部202d、対象領域抽出部202e、表示領域切出部202f、垂直切出部202g、連続認識領域切出部202h、数字識別部202i、連続数字識別部202j、および、数字データ付与部202kを備える。
対象範囲特定部202aは、画像における数字認識対象範囲を特定する。ここで、対象範囲特定部202aは、画像に含まれる長方形範囲を探索し、当該長方形範囲を数字認識対象範囲として特定してもよい。
また、対象範囲特定部202aは、画像において、ユーザにより指定された指定範囲、または、予め設定された設定範囲を数字認識対象範囲として特定してもよい。また、対象範囲特定部202aは、画像における日付認識対象範囲を特定してもよい。
二値化部202bは、輝度および色相に基づいた閾値により、数字認識対象範囲に関する数字認識対象範囲データを二値化して、二値化範囲データを取得する。また、二値化部202bは、輝度および色相に基づいた閾値により、日付認識対象範囲に関する日付認識対象範囲データを二値化して、二値化範囲データを取得してもよい。
矩形抽出部202cは、数字認識対象範囲において、数字を表している可能性のある数字可能性部分の外接矩形が基準サイズに適合する場合、当該外接矩形を抽出する。
ここで、矩形抽出部202cは、二値化範囲データをラベリング処理することで、二値化範囲データに基づく二値化範囲において、数字を表している可能性のある数字可能性部分を抽出し、数字可能性部分の外接矩形が基準サイズに適合する場合、当該外接矩形を抽出してもよい。
複数抽出部202dは、矩形抽出部202cにより抽出された外接矩形が複数並んでいる場合、複数並んだ外接矩形を抽出する。ここで、複数抽出部202dは、高さまたは幅が一致する外接矩形が複数並んでいる場合、高さまたは幅が一致する外接矩形を抽出してもよい。また、複数抽出部202dは、高さまたは幅が一致する外接矩形群が複数並んでいる場合、外接矩形群を構成する外接矩形を抽出してもよい。
対象領域抽出部202eは、複数抽出部202dにより抽出された外接矩形に対して、複数セグメント文字のセグメントを構成する横線および/または縦線を含んでいるか否か判定し、横線および/または縦線を含んでいる外接矩形を数字識別の対象領域として抽出する。
ここで、対象領域抽出部202eは、複数抽出部202dにより抽出された外接矩形に対して、複数セグメント文字の上端、真ん中、もしくは、下端のセグメントを構成する横線を含んでいるか否か判定し、横線を含んでいる外接矩形を、数字の0および2乃至9に対する数字識別の対象領域として抽出してもよい。
また、対象領域抽出部202eは、更に、外接矩形が、1に設定された基準サイズを満たす場合、外接矩形を、数字の1に対する数字識別の対象領域として抽出してもよい。
表示領域切出部202fは、数字認識対象範囲から、所定方向に、対象領域を含むように数字表示領域を切り出す。ここで、表示領域切出部202fは、日付認識対象範囲から、所定方向に、対象領域を含むように日付表示領域を切り出してもよい。
垂直切出部202gは、数字表示領域において、数字識別の対象とする所定方向に対する両端位置を特定し、両端位置にて、所定方向と垂直に切出数字表示領域を切り出す。ここで、垂直切出部202gは、両端位置にて、所定方向と異なる方向(例えば、複数セグメント文字が斜体の場合、複数セグメント文字を構成するセグメント(縦線)と平行など)に切出数字表示領域を切り出してもよい。
ここで、垂直切出部202gは、数字表示領域において、外接矩形の数および/または外接矩形間の距離が、予め定めた値を満たす領域がある場合、当該領域中の、所定方向に対して両端にある外接矩形を両端位置として特定し、両端位置にて、所定方向と垂直に切出数字表示領域を切り出してもよい。
また、垂直切出部202gは、数字表示領域において、予め定めた接頭辞および/または接尾辞がある場合、接頭辞および/または接尾辞に基づいて両端位置(所定方向に対して両端にある外接矩形)を特定し、両端位置にて、所定方向と垂直に切出数字表示領域を切り出してもよい。
また、垂直切出部202gは、数字表示領域において、予め定めた区切り文字がある場合、区切り文字に基づいて両端位置(所定方向に対して両端にある外接矩形を)を特定し、両端位置にて、所定方向と垂直に切出数字表示領域を切り出してもよい。また、垂直切出部202gは、日付表示領域において、数字識別の対象とする所定方向に対する両端位置を特定し、両端位置にて、所定方向と垂直に切出日付表示領域を切り出してもよい。
連続認識領域切出部202hは、数字表示領域が特定されていない画像において、数字表示領域データベース206aに記憶された数字表示領域データに基づく数字表示領域または切出数字表示領域に対応する領域を、連続認識領域として切り出す。
数字識別部202iは、数字表示領域または切出数字表示領域から数字を識別する。ここで、数字識別部202iは、数字表示領域または切出数字表示領域に関する数字表示領域データに対して、複数線によるヒストグラムを行い、各線におけるピーク数に基づいて数字を識別してもよい。
また、数字識別部202iは、数字表示領域または切出数字表示領域からOCRにより数字を識別してもよい。また、数字識別部202iは、日付表示領域または切出日付表示領域に関する日付表示領域データに対して、複数線によるヒストグラムを行い、各線におけるピーク数に基づいて数字を識別してもよい。
連続数字識別部202jは、連続認識領域から数字を識別する。ここで、連続数字識別部202jは、連続認識領域からOCRにより数字を識別してもよい。また、連続数字識別部202jは、連続認識領域に関する数字表示領域データに対して、複数線によるヒストグラムを行い、各線におけるピーク数に基づいて数字を識別してもよい。
数字データ付与部202kは、数字に関する数字データを画像に関する画像データに付与する。ここで、数字データ付与部202kは、数字に関する日付データを画像に関する画像データに付与してもよい。
[構成(その2)]
図2に示すように、画像処理装置200は、概略的に、制御部202と、記憶部206と、入出力部212と、撮像部214と、を備えてスタンドアローン型に構成されている。ここで、画像処理装置200は、更に、通信部204(図示省略)を備えていてもよい。
また、これら画像処理装置200の各部は任意の通信路を介して通信可能に接続されている。また、制御部202は、通信部204、入出力部212、および、撮像部214を制御してもよい。なお、画像処理装置200における制御部202、通信部204、記憶部206および入出力部212の基本的機能は、構成(その1)と同様であるため説明を省略する。
ここで、撮像部214は、CCDイメージセンサまたはCMOSイメージセンサ等の撮像素子が面状に配列されたものであってもよい。ここで、撮像部214は、面状に配列された撮像素子により、撮像範囲の被写体を一度に撮像するように構成されていてもよい。
なお、制御部202は、撮像部214の制御を行うことが可能になっており、撮像部214での撮像のタイミングや露光時間の調整、ピント合わせ等の撮像に関する制御を行ってもよい。
また、制御部202は、撮像部214で撮像した画像の処理を行ってもよい。すなわち、撮像部214で撮像を行った場合、撮像部214が有する各撮像素子は、露光ごとに、入射される光に応じた出力値に基づいた画像信号を制御部202に出力し、制御部202は、この画像信号に基づいて1つの画像データを生成する等の画像処理を行ってもよい。
[本実施形態の処理]
上述した構成の画像処理装置200で実行される処理の一例について、図3乃至図34を参照して説明する。
[数字表示領域特定処理]
まず、本実施形態の画像処理装置200における数字表示領域特定処理の一例について、図3乃至図33を参照して説明する。図3は、本実施形態の画像処理装置200における処理の一例を示すフローチャートである。
図3に示すように、まず、対象範囲特定部202aは、記憶部206から取得された画像データに基づく画像における(大まかな)数字認識対象範囲を特定(設定)する(ステップSA−1)。
ここで、対象範囲特定部202aは、画像に含まれる長方形範囲を探索し、当該長方形範囲を数字認識対象範囲として特定してもよい。ここで、長方形範囲とは、4角の大きさが全て等しい四角形(正方形、または、長方形)の範囲だけでなく、4角の大きさが異なる四角形(菱形、台形、または、平行四辺形等)の範囲、または、対辺が平行であるが角が丸みを帯びた範囲等であってもよい。
また、対象範囲特定部202aは、画像において、ユーザにより入出力部212を介して指定された指定範囲、または、予め設定された設定範囲(固定値)を数字認識対象範囲として特定してもよい。また、対象範囲特定部202aは、数字認識対象範囲を特定する際に、長方形範囲探索と指定範囲と設定範囲とを組み合わせて適用してもよい。
また、対象範囲特定部202aは、画像内に長方形範囲が存在しない場合、画像全体を数字認識対象範囲として特定してもよい。
ここで、図4を参照して、本実施形態における数字認識対象範囲特定の一例について説明する。図4は、本実施形態における数字認識対象範囲特定の一例を示す図である。
認識対象の数字が、看板、電光掲示板、デジタル時計、電卓または手書のマークシート等の場合、液晶の枠、または、製品自体の外形のように長方形(角がラウンドしているものも含む)の外枠が存在する可能性が高い。そこで、図4に示すように、対象範囲特定部202aは、デジタル時計の画像から長方形(液晶の枠およびデジタル時計自体の外形)を探し、その長方形の範囲(図中の点線)を大まかな数字認識対象範囲として特定してもよい。
図3に戻り、二値化部202bは、輝度および色相に基づいた閾値により、数字認識対象範囲に関する数字認識対象範囲データを二値化して、二値化範囲データを取得する。そして、矩形抽出部202cは、二値化範囲データをラベリング処理(ラベリング、および、近接統合)することで、二値化範囲データに基づく二値化範囲において、数字を表している可能性のある数字可能性部分を抽出する(ステップSA−2)。
ここで、図5および図6を参照して、本実施形態における二値化処理の一例について説明する。図5は、本実施形態の画像処理装置200における処理の一例を示すフローチャートである。図6は、本実施形態における色相のヒストグラム抽出を行う場合の説明図である。
図5に示すように、まず、二値化部202bは、二値化の処理を行うサブルーチンにおいて、二値化処理の1回目か否かの判定を行う(ステップSB−1)。すなわち、数字認識対象範囲データの二値化は、フィードバックを行いながら処理を行うため、今回の処理は、フィードバックを行う前の1回目の処理であるか否かを判定する。
そして、二値化部202bは、二値化処理が1回目の処理であると判定した場合(ステップSB−1:Yes)、処理をステップSB−2に移行させる。
そして、二値化部202bは、色空間変換を行う(ステップSB−2)。
具体的には、二値化部202bは、赤(Red)と緑(Green)と青(Blue)との3つの原色を用いて示されるRGBカラーモデルとしてデータ化されている数字認識対象範囲データを、色相(Hue)と彩度(Saturation)と輝度(Value)との三つの成分からなるHSV色空間で示すデータに変換してもよい。
そして、二値化部202bは、数字認識対象範囲データをHSV色空間のデータに変換し、ヒストグラム解析を行う(ステップSB−3)。このヒストグラム解析は、HSV色空間のデータに変換した数字認識対象範囲データのうち、色相(Hue)と輝度(Value)とについて行ってもよい。まず、色相について説明すると、色相のヒストグラム解析を行う際に、二値化部202bは、色相のヒストグラム抽出を行ってもよい。
ここで、図6に示すように、色相は、色の種類を0〜360度の範囲で表すことができるため、二値化部202bによって色相のヒストグラム抽出を行う際には、色相における所望の色を0度とし、この0度を中心とする所望の範囲の色を抽出する。
具体的には、写真に付与される日付は、一般的にオレンジ系の色で示されることが多いため、0〜360度で示される色のうち、日付の色として最も多いと思われるオレンジ系の色の部分を0度とし、この0度を中心とする所定の範囲の色を抽出する。
例えば、色相の条件として条件H1と条件H2を設定すると共に、条件H1は±40度とし、条件H2は±80度とした場合に、数字認識対象範囲データを構成する画素のうち、条件H1に含まれる色の画素と、条件H2に含まれる色の画素とをそれぞれ抽出する。これにより、色相のヒストグラム抽出を実施する。
抽出した色相のヒストグラムは、log化することによってデータの重み付けを行うことにより、データを扱い易いようにする。次に、二値化のスライスを、輝度のヒストグラムより算出する。すなわち、二値化を行う際に、各画素を1にするか0にするかの閾値を、輝度のヒストグラムより算出する。
例えば、輝度の条件として条件V1と条件V2を設定すると共に、条件V1は、数字認識対象範囲データ全体の輝度のヒストグラムにおける80%の値を閾値として算出し、条件V2は、数字認識対象範囲データ全体の輝度のヒストグラムにおける40%の値を閾値として算出する。このように算出した輝度の閾値と、色相の条件とを用いて、数字認識対象範囲データを構成する各画素について、双方の条件に当てはまるか否かヒストグラム解析を行う。
すなわち、このヒストグラム解析を行う際には、色相の条件H1と輝度の条件V1を用いる閾値であるsliceH1_VLと、色相の条件H1と輝度の条件V2を用いる閾値であるsliceH1_VHと、色相の条件H2と輝度の条件V1を用いる閾値であるsliceH2_VLと、色相の条件H2と輝度の条件V2を用いる閾値であるsliceH2_VHとを、まず算出する。
さらに、数字認識対象範囲データを構成する各画素の色相と輝度とが、算出した各閾値を満たしているか否かを判定することにより、二値化部202bによって数字認識対象範囲データのヒストグラム解析を行う。
図5に戻り、二値化部202bは、数字認識対象範囲データのヒストグラム解析を行い、二値化を行い(ステップSB−4)、処理を終了する。具体的には、数字認識対象範囲データを構成する各画素が、算出した閾値を満たしている場合は1とし、算出した閾値を満たしていない場合は0とすることにより、数字認識対象範囲データを二値化部202bによって二値化してもよい。
ここで、二値化される数字認識対象範囲データは、例えば、1の画素は黒に変換され、0の画素は白に変換され、黒と白とのみからなるデータに変換されてもよい。また、二値化部202bは、このように輝度および色相に基づいた閾値により、数字認識対象範囲データを二値化してもよい。
一方、二値化部202bは、二値化処理の1回目ではないと判定した場合(ステップSB−1:No)、処理をステップSB−5に移行させる。
そして、二値化部202bは、ヒストグラム解析に用いる値を更新し(ステップSB−5)、処理をステップSB−4に移行させる。
ここで、数字の識別判定時に、数字の識別を行うことができなかった場合、ヒストグラムの状態を、二値化の処理のサブルーチンにフィードバックすることにより、ヒストグラム解析に用いる値を更新してもよい。具体的には、輝度の閾値として用いるsliceVを指定値にしてもよい。
次に、図7乃至図14を参照して、本実施形態におけるラベリング処理の一例について説明する。図7は、本実施形態の画像処理装置200における処理の一例を示すフローチャートである。
図7に示すように、まず、矩形抽出部202cは、識別処理を行うサブルーチンにおいて、二値化された数字認識対象範囲データをラベリング処理する(ステップSC−1)。
ここで、図8乃至図12を参照して、本実施形態におけるラベリングの一例について説明する。図8は、二値化された数字認識対象範囲データに対するラベリング処理についての説明図である。図9は、ラベル番号の付与時における他の画素の確認方法についての説明図である。図10は、ラベル番号を付与する際の手順についての説明図である。図11は、LUTの値の書き換えについての説明図である。図12は、LUTの値に基づいてラベル番号を整理する場合の説明図である。
図8に示すように、矩形抽出部202cは、ラベリングを行う際に、縦方向と横方向とに複数が並べられることにより数字認識対象範囲データを構成する各画素110を、ラスタスキャンしながら行う。
すなわち、矩形抽出部202cは、例えば、二値化されることにより、黒と白の画素110からなる数字認識対象範囲データにおける最も左上に位置する画素110から、右方向に走査し、右端の画素110まで到達した場合、一つ下の列の左端の画素110に走査を移し、この画素110から再び右方向に走査する。
矩形抽出部202cは、これらを繰り返すことにより、ラベリング処理を行うための走査を、数字認識対象範囲データを構成する全ての画素110に対して行う。ラベリング処理では、このように走査を行いながら黒の画素110を検索し、複数の黒の画素110がまとまっている場合には、1つのラベルとしてそれらの画素110にラベル番号を付与する。
そして、図9に示すように、矩形抽出部202cは、数字認識対象範囲データをラスタスキャンすることにより、黒の画素110を検出した場合、その画素を注目画素111とし、注目画素111の左の画素110と上の画素110に、ラベル番号があるか否かを確認する。
そして、図10に示すように、矩形抽出部202cは、注目画素111の左の画素110か上の画素110に、ラベル番号がある場合、検出したラベル番号のうち、最小のラベル番号を注目画素111に付与する。すなわち、矩形抽出部202cは、注目画素111の左の画素110と上の画素110とで、ラベル番号が異なっている場合には、小さい方のラベル番号を注目画素111に付与する。
一方、矩形抽出部202cは、注目画素111の左の画素110と上の画素110との双方にラベル番号が無い場合、新しいラベル番号を注目画素111に付与する(図10における「2」のラベル番号の画素110参照)。すなわち、矩形抽出部202cは、最後に割り振ったラベル番号の値+1のラベル番号を、注目画素111に付与する。
これらのように画素110にラベルが付与された際に、矩形抽出部202cは、付与されたラベル番号が同じラベル番号となる複数の画素110を、1つのラベルとして扱う。
そして、図11に示すように、矩形抽出部202cは、注目画素111の左の画素110と上の画素110とで、ラベル番号が異なっている場合において、小さい方のラベル番号を注目画素111に付与した場合には、ラベル番号の整理に用いるデータが記されるLUT(Lookup Table)120の書き換えを行う。
すなわち、矩形抽出部202cは、注目画素111の左の画素110のラベル番号が「3」で、上の画素110のラベル番号が「2」の場合には、注目画素111には、小さい方のラベル番号である「2」を付与する。この場合、矩形抽出部202cは、LUT120において、ラベル番号ごとに用意されている格納部121のうち、「3」のラベル番号に対応するデータを格納する格納部121の値を「2」に書き換える。
そして、図12に示すように、矩形抽出部202cは、LUT120の「3」のラベル番号に対応する格納部121の値を「2」に書き換えた場合、数字認識対象範囲データの画素110に付与されるラベル番号において、「3」のラベル番号が付与されている画素110のラベル番号を、LUT120に基づいて書き換える。
すなわち、矩形抽出部202cは、LUT120の「3」のラベル番号に対応する格納部121が「2」であるため、数字認識対象範囲データの画素110のうち、「3」のラベル番号が付与されている画素110のラベル番号を「2」に書き換える。
例えば、矩形抽出部202cは、図11中の注目画素111の左の画素110のラベル番号が「3」であったら、LUT120の「3」のラベル番号に対応する格納部121が「2」に書き換えられたため、注目画素111の左の画素110も、ラベル番号を「2」に書き換える。
LUT120は、このように、注目画素111の左の画素110と上の画素110とでラベル番号が異なっている場合に、ラベル番号が付与されて隣接する画素110同士のラベル番号を同じ番号にすることによって、隣接する複数の画素110を1つのラベルとして扱うことができるようにする際に用いる。
矩形抽出部202cは、これらのように二値化された数字認識対象範囲データに対してラスタスキャンを行いつつラベル番号を付与し、必要に応じてLUT120を用いてラベル番号の整理を行うことにより、数字認識対象範囲データのラベリングを行う。
図7に戻り、矩形抽出部202cは、数字認識対象範囲データのラベリングを行った場合、次に、ラベルの近接統合を行い(ステップSC−2)、処理を終了する。すなわち、矩形抽出部202cは、比較的近い距離で互いに離間しているラベル同士を、1つのラベルとして扱うように統合する。
ここで、図13および図14を参照して、本実施形態における近接統合の一例について説明する。図13は、ラベルの領域が重なっている状態を示す説明図である。図14は、ラベル同士の距離についての説明図である。
図13に示すように、矩形抽出部202cは、離間しているラベル115のそれぞれの領域であるラベル領域116が重なっているか、離間しているラベル115同士の距離が所定の範囲内の場合に、これらのラベル115を統合(近接統合)して1つのラベル115として扱う。
ここで、ラベル領域116は、例えば、図13に示すように、縦方向と横方向とに延びる1つのラベル115において、縦方向の端部に位置する画素110と同じ高さの位置における、横方向の端部に位置する画素110までの領域を、当該ラベル115のラベル領域116とする。このように設定されるラベル領域116同士が重なる2つのラベル115は、1つのラベル115として扱うように近接統合をされる。
また、図14に示すように、矩形抽出部202cは、ラベル領域116が重なっていなくとも、2つのラベル115同士の距離が、予め設定されている閾値以内である場合には、これらのラベル115は近接統合をする。例えば、閾値として5画素が設定されている場合、且つ、2つのラベル115同士の距離が5画素以内である場合には、この2つのラベル115は、1つのラベル115として扱うように近接統合される。
また、矩形抽出部202cは、数字認識対象範囲データにおける異なるラベル115同士の距離が、所定の距離以内である場合には、同一の対象領域データに含めて対象領域データを抽出する。
図3に戻り、矩形抽出部202cは、数字可能性部分の外接矩形が数字サイズ(基準サイズ)に適合する場合、当該外接矩形を抽出する(ステップSA−3)。
ここで、図15を参照して、本実施形態における基準サイズの一例について説明する。図15は、本実施形態における基準サイズの一例を示す図である。
図15に示すように、矩形抽出部202cは、ラベル115が数字サイズに適合する(または、ノイズである)か否かの判定を行う場合、ラベル115の基準サイズと、縦横比の基準を決め、これらに当てはまらないものをノイズとして除去する。
図15に示す基準の一例では、数字の「1」以外を表している可能性のあるラベル115の基準サイズは、横方向の画素110の数と縦方向の画素110の数が40×60とし、数字の「1」を表している可能性のあるラベル115の基準サイズは、横方向の画素110の数と縦方向の画素110の数が10×30〜60としている。
また、ラベル115の横方向(x)と縦方向(y)の比率が、数字の「1」以外を表している可能性のあるラベル115では2:3とし、数字の「1」を表している可能性のあるラベル115では1:3〜6としている。矩形抽出部202cは、各ラベル115のサイズが、これらの基準を満たしているか否かを判定し、基準を満たしていないラベル115は、ノイズとして除去する。
なお、矩形抽出部202cは、不鮮明な画像が多い場合、数字を表しているラベル115を必要以上に除去しないように、ラベル115がノイズであるか否かを判定する際には、基準に対する許容範囲を大きくし、数字を表している可能性のあるラベル115を極力残すように判定してもよい。
図3に戻り、複数抽出部202dは、高さまたは幅が一致する外接矩形が複数並んでいる場合、高さまたは幅が一致する外接矩形を抽出する(ステップSA−4)。ここで、複数抽出部202dは、高さまたは幅が一致する外接矩形群が複数並んでいる場合、外接矩形群を構成する外接矩形を抽出してもよい。
また、複数の数字を認識する場合、認識対象の数字は高さおよび/または幅に規則性があると考えられる。そこで、複数抽出部202dは、近接統合の結果、高さまたは幅が同じ位置にある外接矩形を数字の候補として抽出してもよい。
ここで、図16乃至図18を参照して、本実施形態における高さによる外接矩形抽出の一例について説明する。図16は、本実施形態におけるデジタル時計の画像の一例を示す図である。図17および図18は、高さによる外接矩形抽出の説明図である。
図17に示すように、複数抽出部202dは、画像(例えば、図16に示すような、時間と分とが横に並んだデジタル時計の画像等)から高さに基づいて数字を抽出する場合、一定の高さの範囲内(図中の線と線との間)で、横に並んでいる複数の外接矩形を抽出する。
また、図18に示すように、複数抽出部202dは、外接矩形(ラベル115)がノイズであるか否かの判定を行う場合には、検出ライン125を設定し、この検出ライン125を用いた判定を行ってもよい。
ここで、検出ライン125を用いたノイズの有無の判定は、数字認識対象範囲データ内の複数のラベル115のうち、最も上側に位置するラベル115から順に、横方向に延びる検出ライン125を設定し、検出ライン125から所定の範囲内にラベル115が存在するか否かを判定することにより行う。
例えば、図18に示すように、まず、複数抽出部202dは、数字認識対象範囲データ内の複数のラベル115のうち、最も上側に位置するラベル115の上端の位置で、横方向に延びる検出ライン125を設定する。
そして、複数抽出部202dは、検出ライン125から上下に所定の範囲内(例えば、上下に5画素以内等)を、検出範囲126として設定する。すなわち、複数抽出部202dは、上下に10画素の幅で横方向の延びる範囲を、検出範囲126として設定する。
そして、複数抽出部202dは、検出範囲126内にかかるラベル115の検出を行い、検出範囲126内にかかるラベル115が2つ以上検出された場合、検出範囲126内にかかる複数のラベル115全体において、最も上側に位置する画素110の上下方向における位置を上端ラインとして設定する。
同様に、複数抽出部202dは、検出範囲126内にかかる複数のラベル115全体において、最も下側に位置する画素110の上下方向における位置を下端ラインとして設定する。そして、複数抽出部202dは、上端ラインと下端ラインとの間に位置するラベル115以外のラベル115を、ノイズとして除去する。
すなわち、複数抽出部202dは、図18に示すように、上端ラインと下端ラインとを設定することにより、数字認識対象範囲データにおける上端ラインと下端ラインとの間の位置を数字表示領域としてみなし、数字表示領域の外に位置するラベル115を除去する。
また、複数抽出部202dは、検出範囲126を設定して、検出範囲126内にかかるラベル115の検出を行った際に、検出範囲126内にかかるラベル115が2つ以上検出できなかった場合、まず、数字認識対象範囲データ内の複数のラベル115のうち、検出ライン125を設定したラベル115の次に上側に位置するラベル115によって検出ライン125を設定し、同様の検出手順を繰り返す。
複数抽出部202dは、これらの手順を繰り返しても、上端ラインと下端ラインとを設定することができなかった場合には、数字表示領域の検出が失敗したものとして、全てのラベル115を除去する。
次に、図19および図20を参照して、本実施形態における幅による外接矩形抽出の一例について説明する。図19は、本実施形態におけるデジタル時計の画像の一例を示す図である。図20は、幅による外接矩形抽出の説明図である。
図20に示すように、複数抽出部202dは、画像(例えば、図19に示すような、時間と分とが縦に並んだデジタル時計の画像等)から幅に基づいて数字を抽出する場合、一定の幅の範囲内(図中の線と線との間)で、縦に並んでいる複数の外接矩形を抽出する。
このように、複数抽出部202dは、縦に複数の数字が並んでいる場合、または、縦の電光掲示板などの場合であっても、幅に基づいて数字の外接矩形を抽出することができる。
図3に戻り、対象領域抽出部202eは、複数抽出部202dにより抽出された外接矩形に対して、複数セグメント文字の上端、真ん中、もしくは、下端のセグメントを構成する横線(または、複数セグメント文字の左端、もしくは、右端のセグメントを構成する縦線)を含んでいるか否か判定する(ステップSA−5)。
そして、対象領域抽出部202eは、外接矩形に対して、複数セグメント文字のセグメントを構成する横線(または、縦線)を含んでいないと判定した場合(ステップSA−5:No)、処理をステップSA−4に移行させる。
一方、対象領域抽出部202eは、外接矩形に対して、複数セグメント文字のセグメントを構成する横線(または、縦線)を含んでいると判定した場合(ステップSA−5:Yes)、処理をステップSA−6に移行させる。
そして、対象領域抽出部202eは、横線(または、縦線)を含んでいる外接矩形を数字識別の対象領域として抽出する(ステップSA−6)。なお、対象領域抽出部202eは、認識する数字の個数が不明等の場合、抽出した対象領域群を含む領域を数字表示領域とみなし、処理をステップSA−8に移行させてもよい。
ここで、対象領域抽出部202eは、複数抽出部202dにより抽出された外接矩形に対して、複数セグメント文字の上端、真ん中、もしくは、下端のセグメントを構成する横線を含んでいる場合、横線を含んでいる外接矩形を、数字の「0」および「2〜9」に対する数字識別の対象領域として抽出してもよい。
ここで、図21乃至図24を参照して、本実施形態におけるセグメント認識の一例について説明する。図21乃至図24は、本実施形態におけるセグメント認識の一例を示す図である。
7セグメントおよびそれ以上の複数セグメント文字の場合、数字の「1」以外は必ず横棒が含まれている。そこで、図21に示す7セグメント文字において、対象領域抽出部202eは、外接矩形の上・真ん中・下のいずれかに横棒が含まれている場合に数字と判断する。
また、図22に示す7セグメント文字において、対象領域抽出部202eは、外接矩形の左・右のいずれかに縦棒が含まれている場合に数字と判断する。その場合、対象領域抽出部202eは、「2」および「5」以外の数字において、左右どちらかに縦棒が存在することで数字と判断してもよい。また、対象領域抽出部202eは、「2」および「5」において、左右に上下半分ずつの縦棒が存在することで対象領域と判断してもよい。
また、14セグメント文字および16セグメント文字等の場合、セグメントのパターンは、数字の「5」のみ7セグメントと異なる。そこで、図23および図24に示すように、対象領域抽出部202eは、複数セグメントで縦線による認識を行う場合、「5」のみ別処理として、左の縦線、または、左の縦線と右下斜め線との存在により、対象領域と判断してもよい。
また、対象領域抽出部202eは、更に、外接矩形が、数字の「1」に設定された基準サイズを満たす場合、外接矩形を、数字の「1」に対する数字識別の対象領域として抽出してもよい。
ここで、図25および図26を参照して、本実施形態における数字の「1」に対する対象領域特定の一例について説明する。図25は、本実施形態の画像処理装置200における処理の一例を示すフローチャートである。図26は、数字の1を表している可能性のある外接矩形(ラベル)の確認を行う際の説明図である。
図25および図26に示すように、対象領域抽出部202eは、数字の「1」を表していると思われる外接矩形(ラベル115)の確認を行い、そのラベル115が数字表示領域(識別ライン130)内に位置している場合において、当該ラベル115が数字の「1」を表しているものと扱うことができるようにする際には、まず、注目ラベル117の右側にラベル115があるか否かを判定する(ステップSD−1)。
この場合における注目ラベル117は、ラベル115の基準サイズと縦横比(図15参照)とに基づいて、数字の「1」を表している可能性のあるラベル115になっている。
そして、対象領域抽出部202eは、注目ラベル117の右側にラベル115があると判定した場合(ステップSD−1:Yes)、処理をステップSD−2に移行させる。
そして、対象領域抽出部202eは、注目ラベル117の右側に位置するラベル115と、注目ラベル117との距離dが、d<d2の関係を満たしているか否かを判定する(ステップSD−2)。
ここで、d2は、画像中の日付または時刻等に数字の「1」が用いられていた場合において、その「1」が十の位に位置している際に、十の位の「1」と一の位の数字との距離として、予め設定されていてもよい。
そして、対象領域抽出部202eは、注目ラベル117と、当該注目ラベル117の右側に位置するラベル115との距離dが、d<d2の関係を満たしていると判定した場合(ステップSD−2:Yes)、処理を終了し、注目ラベル117を、数字の「1」を表しているものとして抽出する。
一方、対象領域抽出部202eは、注目ラベル117の右側に位置するラベル115と注目ラベル117との距離dが、d<d2の関係を満たしていないと判定した場合(ステップSD−2:No)、処理をステップSD−3に移行させる。
そして、対象領域抽出部202eは、この距離dが、d>d4の関係を満たしているか否かを判定する(ステップSD−3)。
ここで、d4は、画像中の日付または時刻等に数字の「1」が用いられている場合において、その「1」が一の位に位置している際に、一の位の「1」と右側に位置する数字との距離として、予め設定されていてもよい。
例えば、画像中の日付が「年月日」の順番である場合において、「月」を示す数字の一の位に「1」が用いられている際に、一の位の「1」と右側に位置する「日」を示す数字との距離として、d4は予め設定されていてもよい。
そして、対象領域抽出部202eは、注目ラベル117と、当該注目ラベル117の右側に位置するラベル115との距離dが、d>d4の関係を満たしていると判定した場合(ステップSD−3:Yes)、処理を終了し、注目ラベル117を、数字の「1」を表しているものとして抽出する。すなわち、注目ラベル117は、数字の「1」を表している可能性がある対象領域として抽出してもよい。
一方、対象領域抽出部202eは、注目ラベル117と、当該注目ラベル117の右側に位置するラベル115との距離dが、d>d4の関係を満たしていないと判定した場合(ステップSD−3:No)、処理をステップSD−4に移行させる。
そして、対象領域抽出部202eは、注目ラベル117を除去し(ステップSD−4)、処理を終了する。すなわち、対象領域抽出部202eは、注目ラベル117と、当該注目ラベル117の右側に位置するラベル115との距離dが、d<d2の関係を満たさず、d>d4の関係も満たしていない場合、注目ラベル117は数字の「1」を表したものではなく、ノイズであると判断して注目ラベル117を除去し、処理を終了する。
一方、対象領域抽出部202eは、注目ラベル117の右側にラベル115がないと判定した場合(ステップSD−1:No)、処理をステップSD−5に移行させる。
そして、対象領域抽出部202eは、注目ラベル117の左側にラベル115があるか否かを判定する(ステップSD−5)。
そして、対象領域抽出部202eは、注目ラベル117の左側にラベル115がないと判定した場合(ステップSD−5:No)、処理をステップSD−8に移行させる。
一方、対象領域抽出部202eは、注目ラベル117の左側にラベル115があると判定した場合(ステップSD−5:Yes)、処理をステップSD−6に移行させる。
そして、対象領域抽出部202eは、注目ラベル117の左側に位置するラベル115と、注目ラベル117との距離dが、d<d3の関係を満たしているか否かを判定する(ステップSD−6)。
ここで、d3は、画像中の日付または時刻等に数字の「1」が用いられていた場合において、その「1」が一の位に位置している際に、一の位の「1」と十の位の数字との距離として、予め設定されていてもよい。
そして、対象領域抽出部202eは、注目ラベル117と、当該注目ラベル117の左側に位置するラベル115との距離dが、d<d3の関係を満たしていると判定した場合(ステップSD−6:Yes)、処理を終了し、注目ラベル117を、数字の「1」を表しているものとして抽出する。すなわち、対象領域抽出部202eは、注目ラベル117は、数字の「1」を表している可能性がある対象領域として抽出してもよい。
一方、対象領域抽出部202eは、注目ラベル117の左側に位置するラベル115と注目ラベル117との距離dが、d<d3の関係を満たしていないと判定した場合(ステップSD−6:No)、処理をステップSD−7に移行させる。
そして、対象領域抽出部202eは、この距離dが、d>d1の関係を満たしているか否かを判定する(ステップSD−7)。
ここで、d1は、画像中の日付または時刻等に数字の「1」が用いられている場合において、その「1」が十の位に位置している際に、十の位の「1」と左側に位置する数字との距離として、予め設定されていてもよい。
例えば、画像中の日付が「年月日」の順番である場合において、「月」を示す数字の十の位に「1」が用いられている際に、十の位の「1」と左側に位置する「年」を示す数字との距離として、d1は予め設定されていてもよい。
そして、対象領域抽出部202eは、注目ラベル117と、当該注目ラベル117の左側に位置するラベル115との距離dが、d>d1の関係を満たしていると判定した場合(ステップSD−7:Yes)、処理を終了し、注目ラベル117を、数字の「1」を表しているものとして抽出する。すなわち、対象領域抽出部202eは、注目ラベル117は、数字の「1」を表している可能性がある対象領域として抽出してもよい。
一方、対象領域抽出部202eは、注目ラベル117と、当該注目ラベル117の左側に位置するラベル115との距離dが、d>d1の関係を満たしていないと判定した場合(ステップSD−7:No)、処理をステップSD−8に移行させる。
そして、対象領域抽出部202eは、注目ラベル117を除去し(ステップSD−8)、処理を終了する。すなわち、対象領域抽出部202eは、注目ラベル117と、当該注目ラベル117の左側に位置するラベル115との距離dが、d<d3の関係を満たさず、d>d1の関係も満たしていない場合、注目ラベル117は数字の「1」を表したものではなく、ノイズであると判断して注目ラベル117を除去し、処理を終了する。
図3に戻り、対象領域抽出部202eは、抽出した対象領域があらかじめ定められた数だけ存在するか否か判定する(ステップSA−7)。例えば、対象領域抽出部202eは、日付を認識する場合、最大8桁(西暦表記)、または、最大6桁(和暦表記)等を判定し、時間を認識する場合、最大6桁(時分秒)、または、最大4桁(時分)等を判定してもよい。
なお、対象領域抽出部202eは、対象領域の数、対象領域間の距離、接頭辞・接尾辞、および、区切り文字等があらかじめ定められていない場合、処理をステップSA−11に移行させてもよい。
そして、対象領域抽出部202eは、抽出した対象領域があらかじめ定められた数だけ存在すると判定した場合(ステップSA−7:Yes)、処理をステップSA−8に移行させる。
そして、表示領域切出部202fは、数字認識対象範囲から、所定方向(高さまたは幅に合わせた方向)に、対象領域を含むように数字表示領域を切り出し(ステップSA−8)、処理を終了する。
ここで、図27を参照して、本実施形態における数字表示領域切出の一例について説明する。図27は、本実施形態における数字表示領域切出の一例を示す図である。
図27に示すように、表示領域切出部202fは、数字認識対象範囲から、対象領域抽出部202eにより抽出された対象領域のうち最も高さが高い点と最も低い点とを数字表示領域の高さとして特定して切出す。
図3に戻り、対象領域抽出部202eは、抽出した対象領域があらかじめ定められた数だけ存在しないと判定した場合(ステップSA−7:No)、処理をステップSA−9に移行させる。
そして、垂直切出部202gは、数字表示領域において、予め定めた区切り文字が存在するか否か判定する(ステップSA−9)。
そして、垂直切出部202gは、数字表示領域において、予め定めた区切り文字が存在すると判定した場合(ステップSA−9:Yes)、処理をステップSA−10に移行させる。
そして、垂直切出部202gは、数字表示領域において、区切り文字から、所定方向に対して両端にある外接矩形を両端位置として特定(数字範囲を予測)し、両端位置にて、所定方向と垂直に切出数字表示領域を切り出し(ステップSA−10)、処理を終了する。
ここで、図28乃至図33を参照して、本実施形態における垂直切り出しの一例について説明する。図28乃至図33は、本実施形態における垂直切り出しの一例を示す図である。
図28に示すように、垂直切出部202gは、認識する数字の対象領域または対象領域間の距離があらかじめ定められており、あらかじめ定められた数(6)の対象領域を検出できた場合、最も左側にある対象領域から最も右側にある対象領域までを切出数字表示領域として特定する。
また、図29に示すよう、垂直切出部202gは、接頭辞(例えば、元号、または、記号等)および/または接尾辞があらかじめ定められており、あらかじめ定められた接頭辞および/または接尾辞を検出できた場合、定められた接頭辞(昭和)から接尾辞(日)までを切出数字表示領域として特定する。
例えば、図30に示すガソリンスタンドの価格看板等においても、垂直切出部202gは、あらかじめ定められた接頭辞(¥/l)を検出し、切出数字表示領域を特定してもよい。
また、対象領域の数があらかじめ定めた個数を満たしていない、または、接頭辞・接尾辞が検出できない等の際に、識別対象が日付または時刻等の場合、区切り文字として「.」、「:」および/または「/」等が使用されていることがある。そこで、垂直切出部202gは、区切り文字が使用されていないか確認し、区切り文字が使用されている場合に、区切り文字に基づいて、切出数字表示領域を特定してもよい。
例えば、図31に示すように、垂直切出部202gは、認識した対象領域の先頭に区切り文字「.」があり、西暦を2ケタ表示と想定した場合、不足している対象領域が、表示されている対象領域の左側に存在すると判断し、あらかじめ定められた矩形サイズ、数字間距離、および/または、他の矩形サイズなどから不足している桁数と数字間距離とを計算し、そのサイズを確保して切出数字表示領域を特定してもよい。
また、図32に示すように、垂直切出部202gは、認識した対象領域の間に区切り文字「.」があり、西暦を2ケタ表示と想定した場合、不足している対象領域が、表示されている対象領域の間に存在すると判断し、最も左側にある対象領域から最も右側にある対象領域までを切出数字表示領域として特定してもよい。
また、図33に示すように、垂直切出部202gは、認識した対象領域の最後尾に区切り文字「.」があり、西暦を2ケタ表示と想定した場合、不足している対象領域が、表示されている対象領域の右側に存在すると判断し、あらかじめ定められた矩形サイズ、数字間距離、および/または、他の矩形サイズなどから不足している桁数と数字間距離とを計算し、そのサイズを確保して切出数字表示領域を特定してもよい。
図3に戻り、垂直切出部202gは、数字表示領域において、予め定めた区切り文字が存在しないと判定した場合(ステップSA−9:No)、処理をステップSA−11に移行させる。
そして、制御部202は、パラメータ変更して二値化、ラベリングおよび近接統合の処理を全て行ったか否か判定する(ステップSA−11)。
そして、制御部202は、パラメータ変更して二値化、ラベリングおよび近接統合の処理を全て行っていないと判定した場合(ステップSA−11:No)、処理をステップSA−12に移行させる。
そして、制御部202は、数字可能性部分の特定が不十分と判定し、パラメータ(例えば、輝度および色相に基づいた閾値等)を変更し(ステップSA−12)、処理をステップSA−2に移行させる。
そして、制御部202は、パラメータ変更して二値化、ラベリングおよび近接統合の処理を全て行ったと判定した場合(ステップSA−11:Yes)、処理をステップSA−13に移行させる。
そして、制御部202は、対象範囲特定部202aにより特定された他の数字認識対象範囲も全て処理済みである(確認した)か否か判定する(ステップSA−13)。
そして、制御部202は、対象範囲特定部202aにより特定された他の数字認識対象範囲も全て処理済みであると判定した場合(ステップSA−13:Yes)、処理をステップSA−14に移行させる。
そして、制御部202は、画像中に数字は存在しなかったと判定し(ステップSA−14)、処理を終了する。
一方、制御部202は、対象範囲特定部202aにより特定された他の数字認識対象範囲も全て処理済みでないと判定した場合(ステップSA−13:No)、処理をステップSA−15に移行させる。
そして、制御部202は、数字認識対象範囲が誤っていたと判定し、次の数字認識対象範囲を特定するように対象範囲特定部202aを制御し(ステップSA−15)、処理をステップSA−1に移行させる。
[連続認識処理]
また、本実施形態の画像処理装置200における連続認識処理の一例について、図34を参照して説明する。図34は、本実施形態の画像処理装置200における処理の一例を示すフローチャートである。
図34に示すように、連続認識領域切出部202hは、数字表示領域が特定されていない画像において、数字表示領域データベース206aに記憶された数字表示領域データに基づく、前回数字を特定した画像の数字表示領域または切出数字表示領域に対応する領域を、連続認識領域として切り出す(ステップSE−1)。
そして、連続数字識別部202jは、連続認識領域から数字を識別し、前回識別した数字が存在するか否か判定する(ステップSE−2)。
ここで、連続数字識別部202jは、連続認識領域からOCRにより数字を識別してもよい。また、連続数字識別部202jは、連続認識領域に関する数字表示領域データに対して、複数線によるヒストグラムを行い、各線におけるピーク数に基づいて数字を識別してもよい。
ここで、図35乃至図39を参照して、本実施形態における数字識別の一例について説明する。図35は、投影ヒストグラムの手法についての説明図である。図36乃至図38は、対象領域データに対して投影ラインでヒストグラムを行った場合における説明図である。図39は、投影ヒストグラムのピーク部に基づいて数字を識別する際におけるピーク部と数字との関係を示す図である。
図35に示すように、数字識別部202iまたは連続数字識別部202jは、数字として識別可能性がある対象領域(ラベル115)に関する対象領域データに対して投影ヒストグラムを実施する際には、対象領域データに対して、数字を構成するセグメント141を抽出できる位置に投影ライン142を設定することにより行う。
すなわち、数字識別部202iまたは連続数字識別部202jは、識別する数字が、7つのセグメント141とからなる7セグメント文字140である場合における数字の識別を目的としたものであるため、7セグメント文字140を識別することができる位置に、投影ライン142を設定する。
具体的には、7セグメント文字140は、それぞれ横方向に延びて縦方向に3つが並べられた3つのセグメント141と、縦方向における上端と中央に位置する2つのセグメント141の左右端に位置して左右端をつなぐ2つのセグメント141と、縦方向における中央と下端に位置する2つのセグメント141の左右端に位置して左右端をつなぐ2つのセグメント141とを有して構成されている。
このため、投影ライン142は、この7つのセグメント141の各状態を抽出するために、C線とD線とE線との3つを設定する。このうち、C線は、対象領域データの左右方向における中央付近の位置で、上下方向に投影してヒストグラムを抽出することにより、縦方向に並べられた3つのセグメント141の状態を抽出する。
また、D線は、縦方向における上端に位置するセグメント141と中央に位置するセグメント141との間の位置で、左右方向に投影してヒストグラムを抽出することにより、この2つのセグメント141の左右端に位置する2つのセグメント141の状態を抽出する。
また、E線は、縦方向における中央に位置するセグメント141と下端に位置するセグメント141との間の位置で、左右方向に投影してヒストグラムを抽出することにより、この2つのセグメント141の左右端に位置する2つのセグメント141の状態を抽出する。
このように、数字識別部202iまたは連続数字識別部202jは、対象領域データに対して、C線とD線とE線との複数線である投影ライン142によるヒストグラムを行い、各線におけるピーク数に基づいて数字を識別する。
図36に示すように、図35に示す対象領域データに対して、3つの投影ライン142によってヒストグラムを行った場合、ヒストグラムの結果である投影ヒストグラム143では、セグメント141が位置する部分が、ヒストグラムのピーク部147として現れる。
例えば、図35に示すように、対象領域データに、7セグメント文字140によって数字の「8」が表されている場合には、C線の投影ライン142での投影ヒストグラム143であるC線ヒストグラム144には、縦方向に並ぶ3つのセグメント141に対応して、3つのピーク部147が現れる。
また、図37に示すように、図35に示す対象領域データに対してD線の投影ラインでヒストグラムを行った場合、D線の投影ライン142での投影ヒストグラム143であるD線ヒストグラム145には、縦方向における上端と中央に位置する2つのセグメント141の左右端に位置する2つのセグメント141に対応して、2つのピーク部147が現れる。
また、図38に示すように、図35に示す対象領域データに対してE線の投影ラインでヒストグラムを行った場合、E線の投影ライン142での投影ヒストグラム143であるE線ヒストグラム146には、縦方向における中央と下端に位置する2つのセグメント141の左右端に位置する2つのセグメント141に対応して、2つのピーク部147が現れる。
このように、数字識別部202iまたは連続数字識別部202jは、投影ヒストグラム143に現れるピーク部147の数に基づいて、対象領域データに示されている数字を識別する。
ここで、7セグメント文字140からなる数字を、投影ヒストグラム143のピーク部147に基づいて識別する際におけるピーク部147と数字との関係については、図39に示す関係になる。
例えば、図39に示すように、C線ヒストグラム144には、3つのピーク部147が表れて、D線ヒストグラム145には、右側のセグメント141に対応する位置のみにピーク部147が表れて、E線ヒストグラム146には、左側のセグメント141に対応する位置のみにピーク部147が表れた場合には、対象領域データには、7セグメント文字140によって数字の「2」が現れていると判断することができる。
また、数字の「1」については、数字識別部202iまたは連続数字識別部202jは、対象領域データにおける各投影ヒストグラム143のピーク部147の数と、上述した注目ラベル117と隣り合うラベル115との距離、すなわち、隣り合う対象領域データ同士の距離とに基づいて数字の「1」を識別してもよい。
図34に戻り、連続数字識別部202jは、前回識別した数字が存在すると判定した場合(ステップSE−2:Yes)、処理をステップSE−3に移行させる。
そして、連続数字識別部202jは、数字識別完了と判定し(ステップSE−3)、処理を終了する。
一方、連続数字識別部202jは、前回識別した数字が存在しないと判定した場合(ステップSE−2:No)、処理をステップSE−4に移行させる。
そして、連続数字識別部202jは、連続認識領域に前回識別した数字とは異なる数字が存在するか否か判定する(ステップSE−4)。
そして、連続数字識別部202jは、連続認識領域に前回識別した数字とは異なる数字が存在すると判定した場合(ステップSE−4:Yes)、処理をステップSE−3に移行させる。
一方、連続数字識別部202jは、連続認識領域に前回識別した数字とは異なる数字が存在しないと判定した場合(ステップSE−4:No)、処理をステップSE−5に移行させる。
そして、制御部202は、通常の数字表示領域の特定処理を行い(ステップSE−5)、処理を終了する。すなわち、連続認識処理を行った結果、数字が認識できなかった場合、制御部202は、図3等に示す数字表示領域特定処理により、再度、数字表示領域を特定することを可能としている。
このように、本実施形態においては、数字表示領域または切出数字表示領域の連続認識を行う場合、同じ数字表示領域または切出数字表示領域をもつ画像が繰り返し、画像処理される可能性がある。
そのため、本実施形態においては、連続撮影された画像等に対して画像処理をする場合、前回もしくはそれ以前に特定した数字表示領域または切出数字表示領域を使用して、認識対象の画像の数字表示領域または切出数字表示領域を特定、および/または、前回もしくはそれ以前に識別した数字を単独もしくは複数使用して、数字の有無を判定することで、演算量を大幅に削減することを可能としている。
[実施例1]
更に、本実施形態の画像処理装置200が携帯型撮像装置として構成される場合の実施例について、図40乃至図42を参照して説明する。図40乃至図42は、本実施形態における数字表示領域特定処理の一例を示す図である。
画像処理装置(携帯型撮像装置)200においては、古い写真を撮影し電子化した際に、写真に焼き付けされている日付をOCRにより自動認識する。その際、携帯型撮像装置200は、日付を認識する手段として二値化、ラベリングおよび近接統合などの処理を施した結果から数字を探し出し、日付を認識するが、一回の処理ですべての日付を認識することは難しいため、二値化から近接統合を何度も行う場合がある。
そこで、携帯型撮像装置200において、本実施形態における数字表示領域特定処理を用いることにより、数字識別を行う範囲を小さくすることで二回目以降の処理を高速化し、同時に誤認識を減らしている。
例えば、図40に示すように、携帯型撮像装置200は、画像中の日付が明確に判定できる場合、本実施形態における数字表示領域特定処理を用いることにより、切出数字表示領域を切り出している。
また、図41に示すように、携帯型撮像装置200は、画像中にノイズが多く混ざっている、すなわち、切り出し前の画像中の「3」の上部が背景と同色化しており、機械的に数字と判別しにくい場合、通常、二回以上の認識処理が必要だが、本実施形態における数字表示領域特定処理によるノイズ除去で、切出数字表示領域を特定することができる。
これにより、携帯型撮像装置200は、「3」の背景と同色化した部分を除去して数字識別範囲を絞りこんだことで、数字識別精度を高め、且つ、処理を高速化することができる。
また、図42に示すように、携帯型撮像装置200は、日付の一部がわかりにくい、すなわち、「月」の部分が薄く、機械的に数字と判別しにくい場合、通常、二回以上の認識処理が必要だが、本実施形態における数字表示領域特定処理により切出数字表示領域を特定した画像を使用して二値化〜数字識別処理を行うことで、処理を高速化すると同時に、数字識別精度を高めることができる。
[実施例2]
また、本実施形態の画像処理装置200が日付識別装置として構成される場合の実施例について、図43乃至図46を参照して説明する。
まず、図43乃至図45を参照して、本実施形態の画像処理装置(日付識別装置)200の構成の一例について説明する。図43は、本実施形態に係る日付識別装置200の外観図である。図44は、本実施形態に係る日付識別装置200の使用状態を示す図である。図45は、本実施形態に係る日付識別装置200の構成の一例を示すブロック図である。
図43および図44に示すように、本実施形態にかかる日付識別装置200は、手で持ち運べるサイズであり、媒体Pを撮像部214で撮像することで、媒体Pに対応する画像データを生成するものである。本実施形態における日付識別装置200は、銀塩写真または印刷写真がまとめられた写真帳を媒体Pとし、写真帳内の写真単体を読取対象領域Pとして読み取り、写真帳内の写真単体に対応する画像データを生成するものである。
なお、本実施形態における日付識別装置200の使用用途は、上記に限定されるものではなく、光沢を有する紙(銀塩写真単体や印刷写真単体、雑誌など)に対応する画像データを生成する場合のみならず、普通紙上の画像などユーザが画像データを生成したいいずれの媒体についても使用することができる。
日付識別装置200は、図43に示すように、筐体2と、端末装置3とを含んで構成されている。このうち、端末装置3は、被写体を撮像する撮像部214と、任意の情報を表示する入出力部212と、を有している。これらの撮像部214と入出力部212とは、端末装置3における互いに反対方向になる面に設けられている。
ここで、端末装置3は、日付識別装置200としての機能に対応する読取アプリケーションが予めインストールされ、または、記録媒体から読み込まれて(ダウンロードも含む)インストールされることによって用いられる。本実施形態における端末装置3は、例えば、電話機能、インターネット接続機能などを有するスマートフォン、または、タブレットなどの携帯端末等であってもよく、その一部の機能として、日付識別装置200としての機能を有している。
また、筐体2は、この端末装置3を保持することが可能になっており、外形および撮像部214の位置が規定されている端末装置3、または、外形および撮像部214の位置が一定の範囲内にある端末装置3を対象に形成されており、例えば、同一シリーズの端末装置3を対象に形成されている。日付識別装置200で媒体Pの読取対象領域Pを読み取る際には、筐体2によって端末装置3を保持した状態で読み取る。
また、筐体2は、略三角柱の形状で形成されており、三角柱を構成する矩形状の3つのいわゆる側面のうち、1つの側面が開口しており、この開口している部分は、矩形状に形成された開口部11になっている。この開口部11は、少なくともL版サイズ(89mm×127mm)の写真が開口部11内に収まる面積で形成されている。
なお、開口部11は、L版サイズの写真の中心と開口部11の中心とを一致させた状態で、開口部11の外縁と写真の外縁との間に隙間が形成される面積、例えば102mm×140mm程度であることが好ましい。
日付識別装置200の使用時には、筐体2は、この開口部11が下方側に位置して下方に開口する向きで用いられる。換言すると、筐体2は、底面に開口部11を有している。筐体2は、このように開口部11は底面に形成されているため、筐体2内に対しては、筐体2の周囲から筐体2に対して照射される環境光を遮断することが可能になっている。
このように形成される筐体2は、筐体2の形状である三角柱を構成する3つの側面のうち、底面以外の残りの2つの側面と、三角柱を構成する三角形状の2つの底面は、それぞれカバー部15として形成されている。これらの4つのカバー部15は、矩形状の開口部11の4つの辺にそれぞれ対応している。
これらの4つのカバー部15において互いに対向する2組のカバー部15のうち、1組のカバー部15は、開口部11が位置する側から反対側の端部側に向かってカバー部15同士が近付く方向に傾斜する傾斜カバー部20になっている。つまり、傾斜カバー部20は、筐体2の形状である三角柱を構成する3つの側面のうち、底面以外の残りの2つの側面によって構成されている。
この2つの傾斜カバー部20のうち、一方の傾斜カバー部20である第1傾斜カバー部は、端末装置3を保持する装置保持部22と、端末装置3が媒体Pを撮像する際における開口部である撮像用開口部23と、筐体2で用いるバッテリー(図示省略)等の電源56(図45参照)が収納される電源収納部24とを有している。
このうち、撮像用開口部23は、第1傾斜カバー部を連通する孔になっており、第1傾斜カバー部における筐体2の外面側と内面側とにかけて連通している。
また、装置保持部22は、第1傾斜カバー部における筐体2の外面側に形成されており、端末装置3が有する撮像部214が、撮像用開口部23が形成されている部分に位置するように、端末装置3を第1傾斜カバー部における筐体2の外面側の位置で保持することが出来るように形成されている。
端末装置3は、この装置保持部22で保持した際には、撮像用開口部23が形成されている位置に撮像部214が位置する状態になるため、開口部11において筐体2内部に露出する媒体Pを撮像部214で撮像することが可能になる。
また、第1傾斜カバー部には、開口部11が閉塞されたことを検出する閉塞検出部である接地センサ55(図45参照)が備えられている。この接地センサ55は、第1傾斜カバー部における底面側に設けられている。
また、2つの傾斜カバー部20のうち、他方の傾斜カバー部20である第2傾斜カバー部には、筐体2の内面側に相当する面に、ミラー27(図45参照)が配設されている。第2傾斜カバー部の内面側に設けられるミラー27は、開口部11において筐体内部に露出する媒体Pを反射し、反射した鏡像を撮像部214により撮像させることができるように設けられている。
また、ミラー27と、装置保持部22で保持された状態の端末装置3の撮像部214と、開口部11との位置関係は、ミラー27を介した撮像部214の撮像領域が、開口部11と同じ領域か、或いはそれよりも広い領域となるように設定されている。
これにより、装置保持部22により端末装置3が保持されることによって撮像用開口部23の位置に撮像部214が位置する状態では、撮像部214は、開口部11において筐体内部に露出する媒体Pの全領域を撮像することが可能になる。
また、4つのカバー部15において互いに対向する2組のカバー部15のうち、他の1組のカバー部15は、2つの傾斜カバー部20同士を連結する連結カバー部30になっている。この連結カバー部30は、筐体2の形状である三角柱を構成する2つのいわゆる底面によって構成されている。
これらのカバー部15のうち、2つの傾斜カバー部20は、一方の傾斜カバー部20が他方の傾斜カバー部20に対して相対的に移動することが可能になっている。これにより、傾斜カバー部20は、双方の傾斜カバー部20における開口部11側の端部が離間する開状態と、双方の傾斜カバー部20同士が平行な向きになって隣接する折り畳み状態とに切り替え可能になっている。
詳しくは、2つの傾斜カバー部20は、開口部11が位置する側の反対側の端部側に、2箇所の連結カバー部30同士の間にかけた方向に延びる回動軸がそれぞれ設けられており、傾斜カバー部20は、これらの回動軸を中心として、それぞれ回動可能になっている。
この回動軸は、傾斜カバー部20における開口部11が位置する側の反対側の端部側に位置して、一方の連結カバー部30が位置する側から他方の連結カバー部30が位置する側に延在して配設される回動カバー部40に対して、傾斜カバー部20が回動自在に連結されることにより構成されている。
また、連結カバー部30は、1つの連結カバー部30が、互いに回動自在に連結される複数の回動部材を有して構成されている。詳しくは、2つの連結カバー部30は、第1傾斜カバー部に回動自在に連結される部分と、第2傾斜カバー部に回動自在に連結される部分とに2分割されており、この分割された部分が、それぞれ回動部材になっている。
1つの連結カバー部30が有する2つの回動部材同士は、連結部材によって、互いに他方の回動部材に対して回動自在に連結されている。連結カバー部30は、これらのように回動部材同士が回動自在に連結され、傾斜カバー部20に対しても回動自在に連結されることにより、2つの傾斜カバー部20が折り畳み状態のときには、傾斜カバー部20に対して変形して傾斜カバー部20同士の間に入り込むことが可能になっている。
また、筐体内部には、複数の光源50(図45参照)が配設されている。この複数の光源50は、開口部11に向かって光を開口部11における水平面の異なる領域に照射することができるように配置されている。このように、筐体内部に配設される光源50は、連結カバー部30における筐体2の内面側に配設されており、連結カバー部30が有する2つの回動部材に、それぞれ配設されている。
例えば、光源50は、筐体内部における4箇所に配設されている。このように、筐体内部に配設される光源50は、LED(Light Emitting Diode)やLD(Laser Diode)などの複数の発光素子を帯状に配列した発光モジュールになっており、電源56から供給される電力によって点灯し、光を照射することが可能になっている。
また、図45に示すように、端末装置3と共に日付識別装置200を構成する筐体2は、ミラー27と、光源50と、接地センサ55と、電源56と、制御部(筐体制御部)202−2と、通信部204−2とを備えている。
ここで、光源50と、接地センサ55とは、筐体制御部202−2に電気的に接続されており、これにより、光源50は、筐体制御部202−2によって点灯や消灯の制御を行うことができ、接地センサ55で検出した検出結果は、筐体制御部202−2で受けることが可能になっている。
すなわち、筐体制御部202−2は、光源50の点灯状態を制御する機能を有しており、光源50は、筐体制御部202−2によって、光量、点灯または消灯のタイミングの制御を行うことが可能になっている。その際に、筐体制御部202−2は、接地センサ55での検出結果も参照して、光源50の点灯状態の制御を行うことができる。
また、電源収納部24に収納されている電源56も、筐体制御部202−2に電気的に接続されており、筐体2が有し、電力によって作動する各部は、この電源56から供給される電力によって作動可能になっている。筐体2の各部を作動させる電力を供給する電源56としては、例えば、一次電池や二次電池等のバッテリーが用いられる。
また、筐体2は、端末装置3との間で通信部204−2を介して、例えば、Bluetooth(登録商標)等によって無線通信を行う。
一方、端末装置3は、撮像部214と、入出力部212と、制御部(外部装置制御部)202−3と、通信部204−3とを備えている。ここで、端末装置3は、更に、電源部(図示省略)と、記憶部206(図示省略)とを備えていてもよい。
このうち、撮像部214は、端末装置3の裏面(入出力部212が設けられている面と反対側の面)に配置されている。
また、入出力部212は、任意の画像を表示することができ、撮像部214により撮像された画像も表示可能になっている。入出力部212は、端末装置3の表面に配置されており、端末装置3の電源部からの電力により駆動する液晶ディスプレイ、有機ELディスプレイなどのディスプレイになっている。
また、入出力部212は、端末装置3の出力部としての機能以外に、入力部としての機能も有するタッチパネルディスプレイになっている。このため、入出力部212は、ユーザが入出力部212における任意の位置を触れることで、位置に対する電気信号を出力可能になっており、これにより、ユーザは、任意の入力操作を端末装置3に対して行うことができる。
また、外部装置制御部202−3は、撮像部214の制御、および、撮像部214で撮像した画像の処理を行うことが可能になっている。また、外部装置制御部202−3は、対象範囲特定部202a〜数字データ付与部202kを備えていてもよい。
また、通信部204−3は、筐体2の通信部204−2との間で、Bluetooth(登録商標)等によって通信を行うことが可能になっている。筐体2と端末装置3は、双方の通信部204−2と通信部204−3とを介して、無線通信で通信を行うことが可能になっている。
次に、図46を参照して、本実施形態の日付識別処理の一例について説明する。図46は、本実施形態の日付識別装置200における処理の一例を示すフローチャートである。
図46に示すように、日付識別装置200で撮像を行う読取対象領域Pとして、日付が付与されている写真を撮像し、撮像した際における画像から日付を識別して、識別した日付に関する日付データを画像データに付与する際に、まず、ユーザにより入出力部212を介して起動コマンドが入力された場合、制御部202は、これらの処理を行うためのアプリケーションプログラムを起動する(ステップSF−1)。
そして、制御部202は、撮像部214を制御して、媒体Pの撮像を行う(ステップSF−2)。この撮像は、媒体P上に筐体2を載置した状態で、筐体2の装置保持部22で保持されている端末装置3の入出力部212に対して撮像指示の入力操作を行うことにより、日付が付与されている写真である媒体Pの撮像を行う。
そして、対象範囲特定部202aは、撮像された画像データに基づく画像における日付認識対象範囲を特定する(ステップSF−3)。
そして、二値化部202bは、輝度および色相に基づいた閾値により、日付認識対象範囲に関する日付認識対象範囲データを二値化して、二値化範囲データを取得する(ステップSF−4)。
そして、矩形抽出部202cは、二値化範囲データをラベリング処理することで、二値化範囲データに基づく二値化範囲において、数字を表している可能性のある数字可能性部分を抽出し、数字可能性部分の外接矩形が基準サイズに適合する場合、当該外接矩形を抽出する(ステップSF−5)。
そして、複数抽出部202dは、高さまたは幅が一致する外接矩形が複数並んでいる場合、高さまたは幅が一致する外接矩形を抽出する(ステップSF−6)。
そして、対象領域抽出部202eは、複数抽出部202dにより抽出された外接矩形に対して、複数セグメント文字のセグメントを構成する横線および/または縦線を含んでいるか否か判定し、横線および/または縦線を含んでいる外接矩形を数字識別の対象領域として抽出する(ステップSF−6)。
そして、表示領域切出部202fは、日付認識対象範囲から、所定方向に、対象領域を含むように日付表示領域を切り出す(ステップSF−7)。
そして、垂直切出部202gは、日付表示領域において、数字識別の対象とする所定方向に対する両端位置を特定し、両端位置にて、所定方向と垂直に切出日付表示領域を切り出す(ステップSF−8)。
そして、数字識別部202iは、切出日付表示領域に関する日付表示領域データに対して、複数線によるヒストグラムを行い、各線におけるピーク数に基づいて数字(日付)を識別する(ステップSF−9)。
そして、制御部202は、数字の識別に成功したか否かを判定する(ステップSF−10)。
そして、制御部202は、数字の識別に成功しなかったと判定した場合(ステップSF−10:No)、パラメータ(例えば、輝度および色相に基づいた閾値等)を変更し、処理をステップSF−4に移行させる。
一方、制御部202は、数字の識別に成功したと判定した場合(ステップSF−10:Yes)、処理をステップSF−11に移行させる。
そして、数字データ付与部202kは、数字識別部202iにより識別された数字に関する日付データを、撮像された画像データに付与し(ステップSF−11)、処理を終了する。
[他の実施形態]
さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。
例えば、画像処理装置200は、スタンドアローンの形態で処理を行ってもよく、クライアント端末(画像処理装置200とは別筐体である)からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。
また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
このほか、明細書中および図面中で示した処理手順、制御手順、具体的名称、各処理の登録データもしくは検索条件等のパラメータを含む情報、画面例、または、データベース構成については、特記する場合を除いて任意に変更することができる。
また、画像処理装置200、および、外部装置400に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
例えば、画像処理装置200、および、外部装置400の各装置が備える処理機能、特に制御部202にて行われる各処理機能については、その全部または任意の一部を、CPUおよび当該CPUにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。
尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて画像処理装置200に機械的に読み取られる。すなわち、ROMまたはHDD(Hard Disk Drive)などの記憶部206などには、OS(Operating System)と協働してCPUに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、RAMにロードされることによって実行され、CPUと協働して制御部を構成する。
また、このコンピュータプログラムは、画像処理装置200、および、外部装置400に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、USBメモリ、SDカード、フレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM、CD−ROM、MO、DVD、および、Blu−ray(登録商標) Disc等の任意の「可搬用の物理媒体」を含むものとする。
また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、OSに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
記憶部206に格納される各種のデータベース等は、RAMもしくはROM等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および/または、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および/または、ウェブページ用ファイル等を格納してもよい。
また、画像処理装置200は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、画像処理装置200は、該情報処理装置に本発明の方法を実現させるソフトウェア(プログラム、データ等を含む)を実装することにより実現してもよい。
更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。
以上のように、写真、ビデオ、デジタル時計、電光掲示板、看板、電卓または手書のマークシート等の画像に含まれる数字を認識する際に、ノイズを除去し、数字表示領域を特定することで演算量を減らし、処理を高速化することができる画像処理装置、日付識別装置、画像処理方法、および、プログラムは、産業上の多くの分野、特にスキャナまたはカメラで読み込んだ画像を扱う画像処理分野で実施することができ、極めて有用である。
2 筐体
3 端末装置
11 開口部
15 カバー部
20 傾斜カバー部
22 装置保持部
23 撮像用開口部
24 電源収納部
27 ミラー
30 連結カバー部
40 回動カバー部
50 光源
55 接地センサ
56 電源
200 画像処理装置
202 制御部
202a 対象範囲特定部
202b 二値化部
202c 矩形抽出部
202d 複数抽出部
202e 対象領域抽出部
202f 表示領域切出部
202g 垂直切出部
202h 連続認識領域切出部
202i 数字識別部
202j 連続数字識別部
202k 数字データ付与部
204 通信部
206 記憶部
206a 数字表示領域データベース
212 入出力部
214 撮像部
400 外部装置
404 通信部
414 撮像部

Claims (19)

  1. 画像における数字認識対象範囲を特定する対象範囲特定手段と、
    前記数字認識対象範囲において、数字を表している可能性のある数字可能性部分の外接矩形が基準サイズに適合する場合、当該外接矩形を抽出する矩形抽出手段と、
    前記矩形抽出手段により抽出された前記外接矩形が複数並んでいる場合、複数並んだ前記外接矩形を抽出する複数抽出手段と、
    前記複数抽出手段により抽出された前記外接矩形に対して、複数セグメント文字のセグメントを構成する横線および/または縦線を含んでいるか否か判定し、前記横線および/または前記縦線を含んでいる前記外接矩形を数字識別の対象領域として抽出する対象領域抽出手段と、
    前記数字認識対象範囲から、所定方向に、前記対象領域を含むように数字表示領域を切り出す表示領域切出手段と、
    を備えたことを特徴とする、画像処理装置。
  2. 前記複数抽出手段は、
    高さまたは幅が一致する前記外接矩形が複数並んでいる場合、前記高さまたは前記幅が一致する前記外接矩形を抽出する、請求項1に記載の画像処理装置。
  3. 前記複数抽出手段は、
    高さまたは幅が一致する外接矩形群が複数並んでいる場合、前記外接矩形群を構成する前記外接矩形を抽出する、請求項1に記載の画像処理装置。
  4. 前記数字表示領域において、数字識別の対象とする前記所定方向に対する両端位置を特定し、前記両端位置にて、前記所定方向と垂直に切出数字表示領域を切り出す垂直切出手段、
    を更に備えた、請求項1乃至3のいずれか一つに記載の画像処理装置。
  5. 前記垂直切出手段は、
    前記数字表示領域において、前記外接矩形の数および/または前記外接矩形間の距離が、予め定めた値を満たす領域がある場合、当該領域中の、前記所定方向に対して両端にある前記外接矩形を前記両端位置として特定し、前記両端位置にて、前記所定方向と垂直に前記切出数字表示領域を切り出す、請求項4に記載の画像処理装置。
  6. 前記垂直切出手段は、
    前記数字表示領域において、予め定めた接頭辞および/または接尾辞がある場合、前記接頭辞および/または前記接尾辞に基づいて前記両端位置を特定し、前記両端位置にて、前記所定方向と垂直に前記切出数字表示領域を切り出す、請求項4に記載の画像処理装置。
  7. 前記垂直切出手段は、
    前記数字表示領域において、予め定めた区切り文字がある場合、前記区切り文字に基づいて前記両端位置を特定し、前記両端位置にて、前記所定方向と垂直に前記切出数字表示領域を切り出す、請求項4に記載の画像処理装置。
  8. 前記対象範囲特定手段は、
    前記画像に含まれる長方形範囲を探索し、当該長方形範囲を前記数字認識対象範囲として特定する、請求項1乃至7のいずれか一つに記載の画像処理装置。
  9. 前記対象範囲特定手段は、
    前記画像において、ユーザにより指定された指定範囲、または、予め設定された設定範囲を前記数字認識対象範囲として特定する、請求項1乃至7のいずれか一つに記載の画像処理装置。
  10. 前記対象領域抽出手段は、
    前記複数抽出手段により抽出された前記外接矩形に対して、前記複数セグメント文字の上端、真ん中、もしくは、下端の前記セグメントを構成する前記横線を含んでいるか否か判定し、前記横線を含んでいる前記外接矩形を、数字の0および2乃至9に対する前記数字識別の対象領域として抽出する、請求項1乃至9のいずれか一つに記載の画像処理装置。
  11. 前記対象領域抽出手段は、
    更に、前記外接矩形が、数字の1に設定された前記基準サイズを満たす場合、前記外接矩形を、前記数字の1に対する前記数字識別の対象領域として抽出する、請求項1乃至10のいずれか一つに記載の画像処理装置。
  12. 前記数字表示領域が特定された画像における前記数字表示領域に関する数字表示領域データを記憶する数字表示領域記憶手段と、
    前記数字表示領域が特定されていない画像において、前記数字表示領域記憶手段に記憶された前記数字表示領域データに基づく前記数字表示領域に対応する領域を、連続認識領域として切り出す連続認識領域切出手段と、
    前記連続認識領域から前記数字を識別する連続数字識別手段と、
    を更に備えた、請求項1乃至11のいずれか一つに記載の画像処理装置。
  13. 輝度および色相に基づいた閾値により、前記数字認識対象範囲に関する数字認識対象範囲データを二値化して、二値化範囲データを取得する二値化手段、
    を更に備え、
    前記矩形抽出手段は、
    前記二値化範囲データをラベリング処理することで、前記二値化範囲データに基づく二値化範囲において、前記数字可能性部分を抽出し、前記数字可能性部分の前記外接矩形が前記基準サイズに適合する場合、当該外接矩形を抽出する、請求項1乃至12のいずれか一つに記載の画像処理装置。
  14. 前記数字表示領域から前記数字を識別する数字識別手段、
    を更に備えた、請求項1乃至13のいずれか一つに記載の画像処理装置。
  15. 前記数字識別手段は、
    前記数字表示領域に関する数字表示領域データに対して、複数線によるヒストグラムを行い、各線におけるピーク数に基づいて前記数字を識別する、請求項14に記載の画像処理装置。
  16. 前記数字識別手段は、
    前記数字表示領域からOCRにより前記数字を識別する、請求項14に記載の画像処理装置。
  17. 画像における日付認識対象範囲を特定する対象範囲特定手段と、
    輝度および色相に基づいた閾値により、前記日付認識対象範囲に関する日付認識対象範囲データを二値化して、二値化範囲データを取得する二値化手段と、
    前記二値化範囲データをラベリング処理することで、前記二値化範囲データに基づく二値化範囲において、数字を表している可能性のある数字可能性部分を抽出し、前記数字可能性部分の外接矩形が基準サイズに適合する場合、当該外接矩形を抽出する矩形抽出手段と、
    前記矩形抽出手段により抽出された前記外接矩形が複数並んでいる場合、複数並んだ前記外接矩形を抽出する複数抽出手段と、
    前記複数抽出手段により抽出された前記外接矩形に対して、複数セグメント文字のセグメントを構成する横線および/または縦線を含んでいるか否か判定し、前記横線および/または前記縦線を含んでいる前記外接矩形を数字識別の対象領域として抽出する対象領域抽出手段と、
    前記日付認識対象範囲から、所定方向に、前記対象領域を含むように日付表示領域を切り出す表示領域切出手段と、
    前記日付表示領域に関する日付表示領域データに対して、複数線によるヒストグラムを行い、各線におけるピーク数に基づいて前記数字を識別する数字識別手段と、
    前記数字に関する日付データを前記画像に関する画像データに付与する数字データ付与手段と、
    を備えることを特徴とする、日付識別装置。
  18. 画像における数字認識対象範囲を特定する対象範囲特定ステップと、
    前記数字認識対象範囲において、数字を表している可能性のある数字可能性部分の外接矩形が基準サイズに適合する場合、当該外接矩形を抽出する矩形抽出ステップと、
    前記矩形抽出ステップにて抽出された前記外接矩形が複数並んでいる場合、複数並んだ前記外接矩形を抽出する複数抽出ステップと、
    前記複数抽出ステップにて抽出された前記外接矩形に対して、複数セグメント文字のセグメントを構成する横線および/または縦線を含んでいるか否か判定し、前記横線および/または前記縦線を含んでいる前記外接矩形を数字識別の対象領域として抽出する対象領域抽出ステップと、
    前記数字認識対象範囲から、所定方向に、前記対象領域を含むように数字表示領域を切り出す表示領域切出ステップと、
    を含むことを特徴とする、画像処理方法。
  19. 画像における数字認識対象範囲を特定する対象範囲特定ステップと、
    前記数字認識対象範囲において、数字を表している可能性のある数字可能性部分の外接矩形が基準サイズに適合する場合、当該外接矩形を抽出する矩形抽出ステップと、
    前記矩形抽出ステップにて抽出された前記外接矩形が複数並んでいる場合、複数並んだ前記外接矩形を抽出する複数抽出ステップと、
    前記複数抽出ステップにて抽出された前記外接矩形に対して、複数セグメント文字のセグメントを構成する横線および/または縦線を含んでいるか否か判定し、前記横線および/または前記縦線を含んでいる前記外接矩形を数字識別の対象領域として抽出する対象領域抽出ステップと、
    前記数字認識対象範囲から、所定方向に、前記対象領域を含むように数字表示領域を切り出す表示領域切出ステップと、
    をコンピュータに実行させるためのプログラム。
JP2015123211A 2015-06-18 2015-06-18 画像処理装置、日付識別装置、画像処理方法、および、プログラム Active JP5997808B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015123211A JP5997808B1 (ja) 2015-06-18 2015-06-18 画像処理装置、日付識別装置、画像処理方法、および、プログラム
US14/879,000 US9646218B2 (en) 2015-06-18 2015-10-08 Image-processing apparatus, date identification apparatus, image-processing method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015123211A JP5997808B1 (ja) 2015-06-18 2015-06-18 画像処理装置、日付識別装置、画像処理方法、および、プログラム

Publications (2)

Publication Number Publication Date
JP5997808B1 JP5997808B1 (ja) 2016-09-28
JP2017010170A true JP2017010170A (ja) 2017-01-12

Family

ID=56997616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015123211A Active JP5997808B1 (ja) 2015-06-18 2015-06-18 画像処理装置、日付識別装置、画像処理方法、および、プログラム

Country Status (2)

Country Link
US (1) US9646218B2 (ja)
JP (1) JP5997808B1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018132894A (ja) * 2017-02-14 2018-08-23 株式会社Pfu 日付識別装置、日付識別方法及び日付識別プログラム
JP2019016027A (ja) * 2017-07-04 2019-01-31 中国計器工業株式会社 光学的数字読取り方法及び装置
WO2019159414A1 (ja) * 2018-02-16 2019-08-22 株式会社 東芝 読取システム、読取方法、及び記憶媒体
WO2019159415A1 (ja) * 2018-02-16 2019-08-22 株式会社 東芝 読取システム
JP2019145181A (ja) * 2019-06-11 2019-08-29 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体
JP2019145182A (ja) * 2019-06-11 2019-08-29 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体
CN112001392A (zh) * 2019-05-27 2020-11-27 株式会社东芝 读取系统、读取方法、存储介质以及移动体

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109084349A (zh) * 2018-09-29 2018-12-25 佛山市云米电器科技有限公司 帧差图像的噪点去除方法及其油烟处理系统和油烟机
US11036995B2 (en) * 2019-01-25 2021-06-15 Gracenote, Inc. Methods and systems for scoreboard region detection
CN110490192A (zh) * 2019-07-16 2019-11-22 广东工业大学 一种商品生产日期标签检测方法及系统
CN110909816B (zh) * 2019-11-29 2022-11-08 泰康保险集团股份有限公司 图片识别方法和装置
JP7497203B2 (ja) 2020-05-01 2024-06-10 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3815354A (en) * 1973-01-02 1974-06-11 Cal Tex Semiconductor Electronic watch
CH613549A5 (ja) * 1976-02-25 1979-09-28 Bbc Brown Boveri & Cie
JPS61163475A (ja) 1985-01-14 1986-07-24 Hitachi Ltd 数字認識方法
JPH01255985A (ja) * 1988-04-05 1989-10-12 Fujitsu Ltd 文字読取装置
JP3442847B2 (ja) 1994-02-17 2003-09-02 三菱電機株式会社 文字読取装置
JP3720078B2 (ja) * 1995-06-26 2005-11-24 三菱電機株式会社 多色文字画像読取装置
JP3416341B2 (ja) * 1995-07-07 2003-06-16 コニカ株式会社 画像の関心領域の画像位置認識方法
JP3546553B2 (ja) 1995-07-28 2004-07-28 富士ゼロックス株式会社 文書画像解析装置
JP3850488B2 (ja) 1996-05-13 2006-11-29 シャープ株式会社 文字抽出装置
JPH11212992A (ja) * 1998-01-27 1999-08-06 Sharp Corp 画像ファイリングシステムおよび画像ファイリングシステムを制御するプログラムを記録した記録媒体
BR9909213A (pt) * 1998-12-15 2000-11-14 Citizen Watch Co Ltd Dispositivo eletrônico
US7079452B2 (en) * 2002-04-16 2006-07-18 Harrison Shelton E Time display system, method and device
WO2009119489A1 (ja) * 2008-03-24 2009-10-01 シャープ株式会社 情報表示装置および情報読取装置
JP4724802B1 (ja) * 2010-07-30 2011-07-13 株式会社シフト 二次元コードリーダおよびプログラム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018132894A (ja) * 2017-02-14 2018-08-23 株式会社Pfu 日付識別装置、日付識別方法及び日付識別プログラム
US10380416B2 (en) 2017-02-14 2019-08-13 Pfu Limited Date identifying apparatus, date identifying method, and computer-readable recording medium
JP2019016027A (ja) * 2017-07-04 2019-01-31 中国計器工業株式会社 光学的数字読取り方法及び装置
JP2019144704A (ja) * 2018-02-16 2019-08-29 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体
WO2019159415A1 (ja) * 2018-02-16 2019-08-22 株式会社 東芝 読取システム
JP2019144703A (ja) * 2018-02-16 2019-08-29 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体
WO2019159414A1 (ja) * 2018-02-16 2019-08-22 株式会社 東芝 読取システム、読取方法、及び記憶媒体
US11301709B2 (en) 2018-02-16 2022-04-12 Kabushiki Kaisha Toshiba Reading system, reading device, and storage medium
US11455787B2 (en) 2018-02-16 2022-09-27 Kabushiki Kaisha Toshiba Reading system, reading device, reading method, and storage medium
US11900664B2 (en) 2018-02-16 2024-02-13 Kabushiki Kaisha Toshiba Reading system, reading device, reading method, and storage medium
US11915498B2 (en) 2018-02-16 2024-02-27 Kabushiki Kaisha Toshiba Reading system, reading device, and storage medium
CN112001392A (zh) * 2019-05-27 2020-11-27 株式会社东芝 读取系统、读取方法、存储介质以及移动体
JP2020194281A (ja) * 2019-05-27 2020-12-03 株式会社東芝 読取システム、読取方法、プログラム、記憶媒体、及び移動体
US11694451B2 (en) 2019-05-27 2023-07-04 Kabushiki Kaisha Toshiba Reading system, reading method, storage medium, and moving body
JP2019145181A (ja) * 2019-06-11 2019-08-29 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体
JP2019145182A (ja) * 2019-06-11 2019-08-29 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体

Also Published As

Publication number Publication date
US9646218B2 (en) 2017-05-09
US20160371557A1 (en) 2016-12-22
JP5997808B1 (ja) 2016-09-28

Similar Documents

Publication Publication Date Title
JP5997808B1 (ja) 画像処理装置、日付識別装置、画像処理方法、および、プログラム
CN110008944B (zh) 基于模板匹配的ocr识别方法及装置、存储介质
KR100664421B1 (ko) 구비된 카메라를 이용한 명함 인식을 위한 휴대용 단말기및 명함 인식 방법
CN1310187C (zh) 识别码的设备和方法
JP6494166B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4574503B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2006059124A (ja) 景観中文字列認識方式および装置
CN110751862B (zh) 一种手持式读取器及其数据处理方法
JP5992567B1 (ja) 日付識別装置
US8783570B2 (en) Reader with optical character recognition
EP3301616B1 (en) Slip processing device, slip processing method, and recording medium
JP2009027221A (ja) 情報管理システムおよびプログラム
JP6662023B2 (ja) 画像処理装置および画像処理プログラム
JP6563084B1 (ja) カード番号認識装置およびカード番号認識方法
JP2020017149A (ja) 情報処理装置及び情報処理方法
JP5278093B2 (ja) 記事関連情報提供方法、装置、プログラム、記録媒体
JP2019004365A (ja) 情報処理装置
JP2022083557A (ja) 画像読取装置及び画像読取方法
KR100389564B1 (ko) 신분증의 문자/사진정보 인식시스템 및 그 방법
JP2007011762A (ja) 領域抽出装置及び領域抽出方法
CN111831846A (zh) 信息处理装置、记录媒体及信息处理方法
JP6705984B2 (ja) 情報処理装置と、その処理方法及びプログラム
KR101625751B1 (ko) 바운더리 코드를 포함하는 ar 마커 장치, 이를 이용한 ar 제공 시스템 및 방법
JP2012204906A (ja) 画像処理装置およびプログラム
JP4725473B2 (ja) 携帯端末装置、情報表示方法、及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160826

R150 Certificate of patent or registration of utility model

Ref document number: 5997808

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150