JP2004213215A - 画像入力方法及び画像入力装置 - Google Patents
画像入力方法及び画像入力装置 Download PDFInfo
- Publication number
- JP2004213215A JP2004213215A JP2002380275A JP2002380275A JP2004213215A JP 2004213215 A JP2004213215 A JP 2004213215A JP 2002380275 A JP2002380275 A JP 2002380275A JP 2002380275 A JP2002380275 A JP 2002380275A JP 2004213215 A JP2004213215 A JP 2004213215A
- Authority
- JP
- Japan
- Prior art keywords
- image
- guide information
- processing target
- processing
- target area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】入力画像から画像処理の対象領域を確実に取得できるような撮像操作を、ユーザに対して提示できるガイド表示機能を実現した画像入力方法を提供することにある。
【解決手段】画像撮像部１０は、入力対象画像を撮像する。画像表示部１１は、撮像画像及びガイド情報を表示する。ガイド情報作成部１３は、入力画像から画像処理の対象領域を取得するためのガイド情報を作成する。処理対象領域抽出／判定部１２は、撮像された画像からガイド情報に基づいて画像処理の対象領域を抽出する。
【選択図】 図１
【解決手段】画像撮像部１０は、入力対象画像を撮像する。画像表示部１１は、撮像画像及びガイド情報を表示する。ガイド情報作成部１３は、入力画像から画像処理の対象領域を取得するためのガイド情報を作成する。処理対象領域抽出／判定部１２は、撮像された画像からガイド情報に基づいて画像処理の対象領域を抽出する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、一般的にはカメラなどの画像撮像機能を有する画像入力装置に関し、特に、ユーザに対して撮像操作のガイド表示機能を実現した画像入力方法に関する。
【０００２】
【従来の技術】
近年、例えばデジタルカメラを利用した画像入力装置を備えた携帯電話や、ＰＤＡと呼ばれる情報端末などが開発されている。このような画像入力装置を操作することにより、例えばチラシなどの用紙上に印刷されたＵＲＬ情報を読み込み、当該ＵＲＬ情報を使用してインターネットのブラウザを起動することが可能である。従来では、画像入力装置によりコード化された情報を取得して、電子商取引を行う方法が提案されている（例えば、特許文献１を参照）。
【０００３】
ところで、画像入力装置により、例えばＵＲＬ情報を取得するには、当該ＵＲＬ情報を示す文字列画像領域を確実に抽出して、文字認識ソフトウエアにより文字列を認識処理することが必要である。しかしながら、一般のユーザが例えば携帯電話に組み込まれているデジタルカメラを操作して、文字認識機能に適したＵＲＬ情報などの画像を確実に入力することは、必ずしも簡単な操作ではない。
【０００４】
具体的には、例えば、雑誌のあるページにＵＲＬ情報が大量に掲載されている場合に、ユーザの撮像操作により入力された画像から、認識対象の画像領域を判定することは容易ではない。このような問題を解決する方法として、望ましい文字の大きさを現すガイドラインを表示することで、ＯＣＲに適した文字サイズの画像を入力させる方法が提案されている（例えば、特許文献２を参照）。
【０００５】
【特許文献１】
特開２００２−４１８３２号公報
【０００６】
【特許文献２】
特開平１１−１１０５３６号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、先行技術の方法は画像の大きさを特定するためのガイドラインでしかない。認識処理では特に重要な要素として、入力画像上において画像処理（文字認識に必要な各処理）の対象領域を特定する必要があるが、当該対象領域を特定する処理をするためにユーザをガイドする適切な方法は、まだ提供されていない。
【０００８】
そこで、本発明の目的は、入力画像から画像処理の対象領域を確実に取得できるような撮像操作を、ユーザに対して提示できるガイド表示機能を実現した画像入力方法を提供することにある。
【０００９】
【課題を解決するための手段】
本発明の観点は、入力画像から画像処理の対象領域を取得するためのガイド情報を表示することにより、ユーザが行なう撮像操作をサポートするガイド表示機能を実現した画像入力方法に関する。
【００１０】
本発明の観点に従った画像入力方法は、画像を撮像する画像撮像手段と、この撮像された画像を表示する画像表示手段とを有する画像入力装置に適用する画像入力方法であって、前記画像撮像手段により入力対象画像を撮像するステップと、
前記撮像された画像から画像処理の対象領域を特定するためのガイド情報を作成するステップと、前記ガイド情報を前記画像表示手段に表示することにより前記対象領域を抽出するために必要な撮像操作をガイドするステップと、前記画像表示手段に表示された前記ガイド情報に基づいて前記撮像された画像から画像処理の対象領域を抽出するステップとを具備したことを特徴とする画像入力方法である。
【００１１】
このような画像入力方法により、例えば一般のユーザが携帯電話に組み込まれているデジタルカメラを操作して、ＵＲＬ情報などの画像を取り込む場合において、文字認識機能に適した入力画像を確実に取得できるような操作ガイドを提示することができる。
【００１２】
【発明の実施の形態】
以下図面を参照して、本発明の実施の形態を説明する。
【００１３】
（画像入力装置の構成）
図１は、本実施形態に関する画像入力装置の構成を示すブロック図である。同実施形態に関する画像入力装置は、図２に示すように、例えば携帯電話機器２０に組み込まれている。
【００１４】
画像入力装置は、図１に示すように、例えばデジタルカメラを利用した画像撮像部１０と、画像表示部１１と、画像処理の対象領域を抽出・判定する処理対象領域抽出・判定部１２と、ガイド情報作成部１３とを有する。
【００１５】
画像撮像部１０は、ユーザの撮像操作に従って対象画像１００を撮像する。画像表示部１１は、画像撮像部１０により取得される画像またはガイド情報作成部１３により作成されるガイド情報を表示する。画像表示部１１は、図２に示すように、携帯電話機器２０に搭載されている液晶表示画面１１０上に表示する。
【００１６】
処理対象領域抽出・判定部１２は、文字認識部などを含む画像処理部１４において、画像処理対象に適した処理対象領域を判定及び抽出する。ガイド情報作成部１３は、当該抽出・判定部１２により判定される処理対象領域を特定するための位置情報などを含み、ユーザの撮像操作をガイドできるガイド情報を作成する。
【００１７】
ガイド情報作成部１３は、具体的には、例えば図５に示すように、線、上下線、枠、また枠線や色反転領域や領域内のみに網掛けを行うマスク、楕円形などの領域を示すもの、あるいは枠の下側の線や枠の中央を横切る線、枠の四隅を示す四点などのように領域の一部を示すようなガイド情報２００を作成する。ガイド情報作成部１３は、ユーザの操作または処理対象領域抽出・判定部１２の判定結果に従って、ガイド情報を表示する位置、ガイド情報の大きさ、ガイド情報の形状を変更する機能を有する。
【００１８】
さらに、処理対象領域抽出・判定部１２は、ガイド情報作成部１３により表示されているガイド情報の位置に基づいて、画像表示部１１に表示されている画像から処理対象領域を抽出する。抽出方法としては、例えば画像中のガイド情報に対応する位置、またはその領域を少なくとも一部とする一定の大きさの領域をそのまま処理対象領域として抽出する。また、例えばガイド情報に対応する位置を処理対象画素と背景画素に２値化する閾値を求め、当該閾値で周辺を２値化しながら処理対象画素の連結成分を探索し、該連結成分全てに対する外接矩形を処理対象領域として抽出する。さらに、例えば前記と同様の方法で処理対象画素の連結成分を求め、該連結成分各々を処理対象領域として抽出する。但し、処理対象領域抽出・判定部１２は、以上のような抽出方法に限定されるものではなく、例えば画像全体を２値化して処理対象画素を抽出し、該処理対象画素の連結成分のうち、少なくとも一部分がガイド内部に含まれるものを処理対象領域として抽出する方法でもよい。
【００１９】
（画像入力方法の手順）
以下図１と共に、主として図３のフローチャート及び図４を参照して、本実施形態の画像入力方法を説明する。
【００２０】
まず、本実施形態は、図２に示すように、ユーザが携帯電話機器２０に組み込まれているデジタルカメラ（画像撮像部１０）を操作して、例えば雑誌などの用紙１０１上に印刷されているＵＲＬ情報などの画像１００を入力することを想定する。
【００２１】
まず、ユーザの操作により、画像撮像部１０は撮像処理を開始する（ステップＳ１）。ここで、ユーザの操作に従って、画像表示部１１は、図２に示すように、初期時のガイド情報２００を液晶表示画面１１０上に表示する。
【００２２】
画像撮像部１０は、ユーザの操作によるカメラの位置が停止して、撮像対象が特定されるまで撮像処理を継続する（ステップＳ２）。処理対象領域抽出・判定部１２は、カメラの位置が停止されると、ガイド情報２００の位置に基づいて、撮像された画像から画像処理部１４での認識処理などに適した処理対象領域を抽出できるか否かを判定する（ステップＳ３）。
【００２３】
ガイド情報作成部１３は、処理対象領域抽出・判定部１２からの判定結果に従って、撮像状態を提示し、ユーザに対して撮像操作をガイドするためのガイド情報を作成する（ステップＳ４）。ここで、処理対象領域抽出・判定部１２の判定結果がＯＫであれば、画像表示部１１は、ガイド情報２００及び適正な撮像画像を液晶表示画面１１０上に表示する（ステップＳ５のＹＥＳ，Ｓ６）。ユーザは、当該画面１１０上に表示された撮像画像を確認して、例えば携帯電話機器２０に設けられた確定ボタンを操作する（ステップＳ７のＹＥＳ）。処理対象領域抽出・判定部１２は、撮像された画像から処理対象領域を抽出して、画像処理部１４に渡す。これにより、画像処理部１４は、ユーザが指定したＵＲＬ情報の文字列画像を認識して、その認識結果を携帯電話機器２０の制御部に出力する。
【００２４】
一方、処理対象領域抽出・判定部１２の判定結果がＯＫでない場合には、画像表示部１１は、ガイド情報２００及び撮像画像を液晶表示画面１１０上に表示する（ステップＳ５のＮＯ，Ｓ８）。具体例を図４（Ａ）から（Ｃ）に示す。図４ではガイド情報２００として長方形の枠を表示する場合について図示している。図４（Ａ）に示すように画像情報１００に対してガイド情報２００の位置がずれていたり（画像情報１００に対してカメラの位置がずれていること）、図４（Ｂ）に示すようにカメラの位置は正しいが焦点距離が不適正であったり、図４（Ｃ）に示すように対象画像１００のサイズが不適正であったりした場合には、その状況を操作者に警告するために、その状態を示すガイド情報、例えば警告文を液晶表示装置１１０上に表示する。更に、画像のボケ具合の判定結果、画像中の文字サイズの判定結果、カメラの撮影対象に対する移動量の計算結果、画像の２値化や文字認識などの画像処理の結果、画像の明度の判定結果等を文字やマークでガイド情報として表示してもよい。また、ガイド情報を画面上に表示するだけでなく、音声によるアナウンスを行う方法でもよい。さらに、既に表示されているガイド情報の色、形状、大きさ、位置の少なくとも一つを変化させたり、新たなガイド情報を（例えば図形やイラスト等）を加えて表示する方法でもよい。
【００２５】
このような撮像画像と共に、ガイド情報２００を表示することにより、ユーザは、当該表示を確認しながら、適正な撮像画像を取得するように、カメラの操作（撮像操作）を再実行できる（ステップＳ９）。なお、処理対象領域を確定する方法としては、例えばユーザがカメラのシャッタボタンを押すなどの指示を与えたときに実行しても良いし、適正条件が成立した時点で自動的に実行される方法でもよい。
【００２６】
以上要するに、ユーザの撮像操作により入力した撮像画像と共に、処理対象領域抽出・判定部１２の判定結果を反映したガイド情報２００を表示することにより、ユーザに対して適正な撮像画像を取得するための操作を再実行（修正）することを促すことができる。従って、ユーザはガイド情報に従って操作できるため、画像処理に適した入力画像を容易に取得することが可能となる。これにより、携帯電話機器２０は、画像処理部１４により認識されたＵＲＬ情報（ユーザが指定した情報）を使用して、インターネットのブラウザを起動する。
【００２７】
以上のような画像入力方法において、特に処理対象領域抽出・判定部１２による抽出処理について詳細に説明する。
【００２８】
図６は、処理対象領域抽出・判定部１２による画像処理の具体例を示す図である。ここでは、画像表示部１１に表示される画像は、２５６階調のグレースケール画像である。また、処理対象画素は文字の書かれている部分の画素、背景画素は文字の書かれていない部分の画素である。さらに、文字部分の画素は黒、すなわち０、またはそれに近い値の画素値を持ち、背景部分は白、すなわち２５５、またはそれに近い値の画素値を有することを想定する。
【００２９】
図６（Ａ）に示すように、画像表示部１１により画面１１０上に表示されている線状のガイド情報２００が、処理対象の文字列画像である「ａｂ＠ｃｄ．ｃｆ」の上に位置するように、画像撮像部１０の位置調整が必要である。処理対象領域抽出・判定部１２は、ガイド情報２００に基づいて、画像表示部１１に表示されている画像から処理対象領域を抽出する。
【００３０】
ここで、処理対象領域抽出の開始点において、図６（Ｃ）に示すように、ガイド情報２００は対象文字列画像に重なるように表示されている。このため、画像表示部１１に表示されている画像中においてガイド情報２００の示す領域には、処理対象領域の少なくとも一部が必ず含まれている。即ち、ガイド情報２００が示す領域には、処理対象画素が必ず存在している。ここでは、ガイド情報２００として線を用いているので、ガイド情報２００が示す領域は線が横切る画素からなる。
【００３１】
処理対象領域抽出・判定部１２は、ガイド情報２００が示す領域内の画素値の分布をヒストグラム化し、例えば大津の方法などにより前記ヒストグラムを２値化する閾値を求める。大津の方法とは、判別および最小２乗規準に基づく自動しきい値選定法であり、例えば電子情報通信学会論文誌（Ｄ、ｖｏｌ． ６３−Ｄ， ｎｏ ４， ｐｐ．３４９−３５６， １９８０．４）に記載されている。ここで、入力画像においては処理対象画素が黒で、背景画素が白であるため、前記の閾値によってガイド情報が示す領域に含まれる画素を２値化すると、該画素の画素値が閾値未満であれば処理対象画素、閾値以上であれば背景画素となるように画像を２値化することができる。この処理では、処理対象画素に与えられている２値化結果を０、背景画素に与えられる２値化結果を１とする。
【００３２】
次に、画像中において、ガイド情報２００が示す位置を処理対象領域の初期領域とする。次に、現在の処理対象領域の上の行に注目し、この行を前記閾値によって２値化する。ここで、行とは画像を画素の２次元行列として扱った場合の行である。当該行が処理対象領域の上側に接する行であるため、当該行を２値化した結果に０が含まれる場合、すなわちガイド情報２００が示す位置において処理対象画素であると判断される画素値を持つ画素が、当該行内に存在する場合には、当該画素は処理対象領域に含まれる処理対象画素と同様に処理対象画素であると想定できる。よって、処理対象領域に当該行を加えた領域を、新たに処理対象領域として設定できる。
【００３３】
一方、当該行を２値化した結果に０が含まれない場合、すなわち当該行に処理対象画素が含まれない場合には、当該行は処理対象領域に加えられない。即ち、図６（Ｃ）に示すように、ガイド情報２００の上の行Ａを２値化した結果は０を含むため、行Ａは処理対象領域に加えられることになる。以上の処理を対象領域の上の行に対して繰り返してゆく。文字「ｆ」の最上端である画素を含む行Ｂまでの行は２値化の結果が０である画素、すなわち処理対象領域に含まれる画素を含む行であるため処理対象領域に加えられる。これに対して、その上の行Ｃは２値化の結果が０である画素を含まないため、処理対象領域に加えられない。これにより、行Ｃより上の行は処理対象領域内の処理対象画素と連結された処理対象画素を持たない行、すなわち処理対象領域に含まれない行であることが判明する。即ち、行Ｂが処理対象領域の上端となる行であることが判明する。次に、処理対象領域の下側に対しても同様の処理を行う。また、同様にして、文字「＠」の下端を含む行Ｄまでの行は処理対象領域に加えられるが、行Ｄの下の行は処理対象領域に加えられないことが判明する。以上のようにして、処理対象領域抽出・判定部１２は、図６（Ｂ）に示すように、処理対象領域の抽出結果１２０（行Ｂから行Ｄ）を出力する。
【００３４】
図７は、処理対象領域抽出・判定部１２による判定結果を、処理対象領域に含まれる各要素に外接するように表示されたガイド情報の位置、および形状を変更する場合の具体例を示す。
【００３５】
処理対象領域抽出・判定部１２は、抽出された処理対象領域に対して抽出過程で計算された閾値を用いて２値化を施し、該処理対象領域を処理対象画素と背景画素に分類する。これにより、処理対象画素が値０，背景画素が値１である２値画像を得る。次に、２値画像より処理対象画素の連結成分を抽出する。抽出する方法としては、例えば図８に示すような方法がある。
【００３６】
即ち、図８（Ａ），（Ｂ）に示すように、２値画像の左上から右下へ向かって処理対象画素を探索し、最初に発見した、ラベル番号が与えられていない処理対象画素Ｘに対し、未だいかなる画素にも与えていないあるラベル番号Ａを与える。次に、前記画素と連結している処理対象画素をすべて探索し、当該画素群に対しても前記と同様ラベル番号Ａを与える。この後、処理対象画素Ｘの位置まで戻り、前記の処理を繰り返す。この処理によって、処理対象領域内の処理対象画素の連結成分ごとに固有のラベル番号が与えられた画像Ｉを得る。
【００３７】
次に、前記画像Ｉを使用して、各ラベル番号、すなわち各ラベル番号を与えられた処理対象画素の連結成分に対する外接矩形を求める。例えば図８（Ｃ）に示すように、ラベル番号２の場合、画素ｘが最も左に存在する画素であるため、画素ｘを含む列Ｅが外接矩形の左側となる。同様にして、外接矩形の上側、右側、下側の位置を決定することができる。ラベル番号２の場合、行Ｆ、列Ｇ、行Ｈがそれぞれ外接矩形の上側、右側、下側となる。次に、前記により求めた各ラベル番号の外接矩形の画像表示部に表示されている画像上での位置を算出する。次に、算出された位置情報をガイド表示部に与え、各外接矩形を表示させる。以上のようにして、図７（Ｂ）に示すように、画像表示部１２に処理したい文字列を文字毎に分割するように変形させたガイド情報１２１を表示することができる。図７（Ｃ）は、当該処理対象領域の抽出結果から、画像処理部１４により認識処理された認識結果１４０を示す。
【００３８】
ここで、領域抽出方法としては、単に画像表示部１２により表示されているガイド情報の位置をそのまま処理対象領域として抽出する方法でもよい。
【００３９】
また、処理対象領域抽出・判定部１２の半仮定結果をガイド情報２００に反映させる場合には、撮像画像のボケなどの要素を総合的に勘案し、例えば画像処理に対する適正性を示す指標を求め、当該指標に基づいてガイド情報２００の枠の色を例えば不適で赤、適切で青となるように変化させる方法でもよい。
【００４０】
さらに、図９は、ユーザがガイド情報作成部１３によりされたガイド情報を変形させて、当該ガイド情報２００の示す領域を処理対象領域として判定する方法を示す。
【００４１】
図９（Ａ）は、操作を開始する前の撮像画像を示し、ガイド情報２００の大きさ及び位置と処理対象領域とが合致していない状態を示す。ガイド情報作成部１３は、画像表示部１２に表示されている枠状のガイド情報が処理対象の文字列画像「ａｂ＠ｃｄ．ｃｆ」を完全に囲み、他の文字列を含まずにガイド情報の位置が処理対象領域となるようにガイド情報の大きさと位置を調整する。
【００４２】
このような処理により、画像表示部１２は、図９（Ｂ）に示すように、ガイド情報により囲まれた処理対象領域１２０を表示する。なお、ここで、ガイド情報の初期状態で表示せずに、例えばタッチペンなどによって直接位置と形状を入力して表示させるなどしてもよい。画像撮像部１０は、画像表示部１２に表示されている枠状のガイドの囲む領域の画像を確定する。従って、処理対象領域抽出・判定部１２は、処理対象領域１２０を取得し、画像処理部１４に与える。これにより、画像処理部１４は、抽出された処理対象領域１２０に対応する認識結果１４０を出力できる。
【００４３】
図１０は、複数の部分に分離されている処理対象領域を撮像し、当該各撮像画像を連結して、ユーザが指定した処理対象領域を抽出する方法を示す。
【００４４】
まず、図１０（Ａ）に示すように、処理対象領域が２段（２行）に渡って書かれた文字列であり、２段の間に処理対象領域でない領域が含まれている場合を想定する。このような状態では、２段の文字列画像を一度に処理対象領域として取得することはできない。
【００４５】
そこで、同図（Ｂ），同図（Ｃ）に示すように、上の段と下の段を別々に撮像し、それらを連結することで処理対象領域全体の画像を取得する（同図（Ｆ）を参照）。具体的には、前述の方法により、図１０（Ｄ）に示すように、上の段の処理対象部分領域１２０Ａを抽出する。一方、同図（Ｅ）に示すように、下の段の処理対象部分領域１２０Ｂを抽出する。次に、抽出した各処理対象部分領域１２０Ａ，１２０Ｂの画像を連結する。
【００４６】
連結処理は、２つの処理対象領域１２０Ａ，１２０Ｂの画像の幅を合計し、連結画像の横幅とする。次に、２つの処理対象領域画像の高さを比較し、大きいほうの高さを連結画像の高さとする。さらに、上記の大きさを持つ連結画像を作成する。この連結画像に対して、処理対象領域を順番に複写する。この場合、上の段のほうが連結した画像で前に来る領域であるため、処理対象部分領域１２０Ａの画像を連結画像に左詰めで複写する。これにより、図中処理対象領域の画像の、連結部の左側の部分が作成される。次に、前記によって埋められた列の右隣の列、すなわち連結部の右側の列から、下の段の処理対象領域１２０Ｂの画像を複写する。これにより、連結部の右側の部分が作成される。従って、図１０（Ｆ）に示すように、処理対象領域全体１２０Ｃの画像を取得することができる。ここで、画像の連結処理は画像中より対応点を見つけ、当該応点の位置によって連結することもできる。
【００４７】
図１１は、前記の画像連結手法を用いた処理対象領域抽出方法の変形例を示す図である。
【００４８】
本変形例は、画像処理がＵＲＬやメールアドレス等特定の規則に則って生成された文字列に対する文字認識である場合、画像中より区切り文字、例えばＵＲＬであれば『／』や『．』、メールアドレスであれば『．』『＠』等を発見し、該区切り文字を対応点として用いることにより、画像連結処理を行なう方法である。
【００４９】
図１１（Ａ）に示すように、ここでは、画像撮像部１０により一度に撮像することができない長い文字列画像を想定する。図１１（Ｂ）に示すように、処理対象の文字列画像の先頭部分が画像表示部１２により表示されるように、画像撮像部１０の位置を調整し、ガイド情報２００を重ねるように設定する。これにより、前述の処理と同様にして、同図（Ｄ），（Ｆ）に示すように、左側の処理対象部分領域を抽出する。
【００５０】
一方、図１１（Ｃ）に示すように、処理対象の文字列画像の右側部分が画像表示部１２により表示されるように、画像撮像部１０の位置を調整し、ガイド情報２００を重ねるように設定する。これにより、前述の処理と同様にして、同図（Ｅ），（Ｇ）に示すように、右側の処理対象部分領域を抽出する。
【００５１】
次に、図１１（Ｈ）に示すように、右側と左側の２つの処理対象部分領域の画像を連結する。この連結処理は、２つの処理対象部分領域の画像から対応列を検出する。対応列の検出処理は、対象が文字列を写した画像であるため、まず区切文字を検出する。区切文字とは、例えば処理対象がＵＲＬであれば「／」や「．」、メールアドレスであれば「＠」や「．」などである。
【００５２】
区切文字の検出方法は、図１２に示すように、例えば「／」を検出するために、、処理対象部分領域の抽出過程で求められた閾値を用いて、処理対象部分領域を２値化する。次に、２値画像の各列に対して、上側の行から数えて何行目に初めて処理対象画素が出現するかを求める。ｎ列目に対する値を例えばＳｉとする。図１２に示すように、７列目で上から７行目に初めて処理対象画素が出現する場合、「Ｓ７＝７」とする。次にＳｉの値を左側からスキャンし、７列以上にわたるＳｉが単調減少する区間を探索し、当該区間を「／」の存在する区間とする。図１２に具体例では、例えば区切り文字１の区間を考える。当該区間において、Ｓｉは１９，１７，１５，１３，１０，８，６と変化し、前記の条件を満たすため「／」の存在する区間となる。同様にして、区切り文字２〜４の区間も、「／」の存在する区間となる。
【００５３】
次に、各々の画像から発見した区切文字を対応づける。候補が複数存在する場合には、共通する部分を最小にするように対応づける。図１１（Ｆ），（Ｇ）に示すように、共通する部分が最小になるように、左側の文字列の最も右側に位置する「／」と、右側の文字列の最も左側に位置する「／」とを対応付ける。但し、対応付けは、例えば区切文字の間の文字の一致度を考慮するなどして行ってもよい。次に、対応づけられた区切文字の存在する位置の最も右側の列を求める。
【００５４】
次に、図１１（Ｈ）に示すように、対応列の位置で、右側と左側の各画像を連結する。即ち、左側の画像の対応列および当該対応列より左に位置する部分と、右側の画像の対応列及び当該対応列より右側に位置する部分とを連結する。画像処理部１４は、前記の連結処理により取得された処理対象領域全体の画像に認識結果（図１１（Ｉ）を示す結果）を出力できる。
【００５５】
なお、連結方法としては、処理対象部分領域が２つの場合に処理対象部分領域画像を連結して処理対象領域画像を得る手法を示したが、３つ以上の処理対象領域画像であっても、同様に連結して処理対象領域の画像を得ることができる。また、連結処理を実行する前に、個々の処理対象部分領域に対して傾き補正やスケール補正、または明るさ補正などの処理を実行してもよい。
【００５６】
以上の処理は、連続する処理対象画像を用いて処理対象領域を検出したが、連続していない処理対象画像が処理対象領域の近傍に存在する場合、該処理対象画像も処理対象領域に含めるようにしてもよい。また、このような場合、連続する処理対象領域を、順番に連結するように並べた画像を作成して入力画像としてもよい。以下、図１３を参照して具体的に説明する。
【００５７】
図１３（Ａ）に示すように、処理対象領域が２段に渡って書かれた文字列画像を想定する。まず、画像表示部１２により表示されているガイド情報２００が処理対象の文字列画像の各段のいずれかの上に来るように、画像撮像部１０の位置を調整する。次に、前述の本実施形態と同様の方法により処理対象領域の抽出を実行する。但し、ここでは、連続して５行以上の処理対象画像を含まない行が出現した場合には、当該連続する５行の文字列画像と、その行より上の行を処理対象領域に含まれない行の文字列画像であると想定する。
【００５８】
図１３（Ａ）に示すように、ガイド情報２００が重ねられている下の段と、それに近接する上の段との間に存在する処理対象画像を含まない行は３行であり、その上下の行は処理対象画像を含む。このため、同図（Ｂ）に示すように、処理対象領域の上端となるのは、下の段の再上端である行Ａではなく、上の段の再上端である行Ｂである。以下同様の処理を繰り返せば、同図（Ｃ）に示すように、処理対象領域の抽出結果１２０を取得できる。
【００５９】
ここで、処理対象領域が複数段にわたる場合には、同図（Ｄ）に示すように、撮像した画像を各段ごとの画像に分割し、前記各段ごとの画像各々を処理対象部分領域画像として、処理対象領域の画像を順番に並べた画像を作成して入力画像としてもよい。この場合、段の切れ目は、例えば各行毎に処理対象画素の数を数え、前記が０である行を検出し、前記のような行の連続の中央を段の切れ目とするなどの手段によって検出できる。
【００６０】
以上のようにして、処理対象領域の画像を簡単に取得することができる。ここで、本実施形態では、画像表示部１１により表示された画像中より処理対象領域を抽出する方法を前提としたが、これに限ることなく画像撮像部１０において撮像した画像から処理対象領域を抽出してもよい。
【００６１】
また、本実施形態は、携帯電話機器２０に搭載した画像入力装置を想定したが、これに限ることなく、ＰＤＡなどの情報端末にも適用できる。また、画像撮像部１０としては、デジタルカメラを想定したが、ビデオカメラ等の撮像装置でもよい。
【００６２】
【発明の効果】
以上詳述したように本発明によれば、入力画像から画像処理の対象領域を確実に取得できるような撮像操作を、ユーザに対して提示できるガイド表示機能を実現した画像入力方法及び画像入力装置を提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態に関する画像入力装置の構成を示すブロック図。
【図２】同実施形態に関する画像入力装置を適用した携帯電話機器の外観を示す図。
【図３】同実施形態に関する画像入力方法の手順を説明するフローチャート。
【図４】同実施形態に関する画像入力方法でのガイド情報の表示形態を示す図。
【図５】同実施形態に関するガイド情報の具体例を示す図。
【図６】同実施形態に関する処理対象領域抽出・判定部による画像処理の具体例を示す図。
【図７】同処理対象領域抽出・判定部による画像処理の具体例を示す図。
【図８】同処理対象領域抽出・判定部による連結成分の抽出方法を説明するための図。
【図９】同処理対象領域抽出・判定部による処理対象領域の判定方法を説明するための図。
【図１０】同処理対象領域抽出・判定部による複数の処理対象領域を抽出する方法を説明するための図。
【図１１】画像連結手法を用いた処理対象領域抽出方法の変形例を示す図。
【図１２】同変形例における区切り文字の検出方法を示す図。
【図１３】同処理対象領域抽出・判定部による非連続での処理対象領域を抽出する方法を説明するための図。
【符号の説明】
１０…画像撮像部、１１…画像表示部、１２…処理対象領域抽出・判定部、
１３…ガイド情報作成部、１４…画像処理部、２０…携帯電話機器、
１１０…液晶表示画面、１００…対象画像、２００…ガイド情報。
【発明の属する技術分野】
本発明は、一般的にはカメラなどの画像撮像機能を有する画像入力装置に関し、特に、ユーザに対して撮像操作のガイド表示機能を実現した画像入力方法に関する。
【０００２】
【従来の技術】
近年、例えばデジタルカメラを利用した画像入力装置を備えた携帯電話や、ＰＤＡと呼ばれる情報端末などが開発されている。このような画像入力装置を操作することにより、例えばチラシなどの用紙上に印刷されたＵＲＬ情報を読み込み、当該ＵＲＬ情報を使用してインターネットのブラウザを起動することが可能である。従来では、画像入力装置によりコード化された情報を取得して、電子商取引を行う方法が提案されている（例えば、特許文献１を参照）。
【０００３】
ところで、画像入力装置により、例えばＵＲＬ情報を取得するには、当該ＵＲＬ情報を示す文字列画像領域を確実に抽出して、文字認識ソフトウエアにより文字列を認識処理することが必要である。しかしながら、一般のユーザが例えば携帯電話に組み込まれているデジタルカメラを操作して、文字認識機能に適したＵＲＬ情報などの画像を確実に入力することは、必ずしも簡単な操作ではない。
【０００４】
具体的には、例えば、雑誌のあるページにＵＲＬ情報が大量に掲載されている場合に、ユーザの撮像操作により入力された画像から、認識対象の画像領域を判定することは容易ではない。このような問題を解決する方法として、望ましい文字の大きさを現すガイドラインを表示することで、ＯＣＲに適した文字サイズの画像を入力させる方法が提案されている（例えば、特許文献２を参照）。
【０００５】
【特許文献１】
特開２００２−４１８３２号公報
【０００６】
【特許文献２】
特開平１１−１１０５３６号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、先行技術の方法は画像の大きさを特定するためのガイドラインでしかない。認識処理では特に重要な要素として、入力画像上において画像処理（文字認識に必要な各処理）の対象領域を特定する必要があるが、当該対象領域を特定する処理をするためにユーザをガイドする適切な方法は、まだ提供されていない。
【０００８】
そこで、本発明の目的は、入力画像から画像処理の対象領域を確実に取得できるような撮像操作を、ユーザに対して提示できるガイド表示機能を実現した画像入力方法を提供することにある。
【０００９】
【課題を解決するための手段】
本発明の観点は、入力画像から画像処理の対象領域を取得するためのガイド情報を表示することにより、ユーザが行なう撮像操作をサポートするガイド表示機能を実現した画像入力方法に関する。
【００１０】
本発明の観点に従った画像入力方法は、画像を撮像する画像撮像手段と、この撮像された画像を表示する画像表示手段とを有する画像入力装置に適用する画像入力方法であって、前記画像撮像手段により入力対象画像を撮像するステップと、
前記撮像された画像から画像処理の対象領域を特定するためのガイド情報を作成するステップと、前記ガイド情報を前記画像表示手段に表示することにより前記対象領域を抽出するために必要な撮像操作をガイドするステップと、前記画像表示手段に表示された前記ガイド情報に基づいて前記撮像された画像から画像処理の対象領域を抽出するステップとを具備したことを特徴とする画像入力方法である。
【００１１】
このような画像入力方法により、例えば一般のユーザが携帯電話に組み込まれているデジタルカメラを操作して、ＵＲＬ情報などの画像を取り込む場合において、文字認識機能に適した入力画像を確実に取得できるような操作ガイドを提示することができる。
【００１２】
【発明の実施の形態】
以下図面を参照して、本発明の実施の形態を説明する。
【００１３】
（画像入力装置の構成）
図１は、本実施形態に関する画像入力装置の構成を示すブロック図である。同実施形態に関する画像入力装置は、図２に示すように、例えば携帯電話機器２０に組み込まれている。
【００１４】
画像入力装置は、図１に示すように、例えばデジタルカメラを利用した画像撮像部１０と、画像表示部１１と、画像処理の対象領域を抽出・判定する処理対象領域抽出・判定部１２と、ガイド情報作成部１３とを有する。
【００１５】
画像撮像部１０は、ユーザの撮像操作に従って対象画像１００を撮像する。画像表示部１１は、画像撮像部１０により取得される画像またはガイド情報作成部１３により作成されるガイド情報を表示する。画像表示部１１は、図２に示すように、携帯電話機器２０に搭載されている液晶表示画面１１０上に表示する。
【００１６】
処理対象領域抽出・判定部１２は、文字認識部などを含む画像処理部１４において、画像処理対象に適した処理対象領域を判定及び抽出する。ガイド情報作成部１３は、当該抽出・判定部１２により判定される処理対象領域を特定するための位置情報などを含み、ユーザの撮像操作をガイドできるガイド情報を作成する。
【００１７】
ガイド情報作成部１３は、具体的には、例えば図５に示すように、線、上下線、枠、また枠線や色反転領域や領域内のみに網掛けを行うマスク、楕円形などの領域を示すもの、あるいは枠の下側の線や枠の中央を横切る線、枠の四隅を示す四点などのように領域の一部を示すようなガイド情報２００を作成する。ガイド情報作成部１３は、ユーザの操作または処理対象領域抽出・判定部１２の判定結果に従って、ガイド情報を表示する位置、ガイド情報の大きさ、ガイド情報の形状を変更する機能を有する。
【００１８】
さらに、処理対象領域抽出・判定部１２は、ガイド情報作成部１３により表示されているガイド情報の位置に基づいて、画像表示部１１に表示されている画像から処理対象領域を抽出する。抽出方法としては、例えば画像中のガイド情報に対応する位置、またはその領域を少なくとも一部とする一定の大きさの領域をそのまま処理対象領域として抽出する。また、例えばガイド情報に対応する位置を処理対象画素と背景画素に２値化する閾値を求め、当該閾値で周辺を２値化しながら処理対象画素の連結成分を探索し、該連結成分全てに対する外接矩形を処理対象領域として抽出する。さらに、例えば前記と同様の方法で処理対象画素の連結成分を求め、該連結成分各々を処理対象領域として抽出する。但し、処理対象領域抽出・判定部１２は、以上のような抽出方法に限定されるものではなく、例えば画像全体を２値化して処理対象画素を抽出し、該処理対象画素の連結成分のうち、少なくとも一部分がガイド内部に含まれるものを処理対象領域として抽出する方法でもよい。
【００１９】
（画像入力方法の手順）
以下図１と共に、主として図３のフローチャート及び図４を参照して、本実施形態の画像入力方法を説明する。
【００２０】
まず、本実施形態は、図２に示すように、ユーザが携帯電話機器２０に組み込まれているデジタルカメラ（画像撮像部１０）を操作して、例えば雑誌などの用紙１０１上に印刷されているＵＲＬ情報などの画像１００を入力することを想定する。
【００２１】
まず、ユーザの操作により、画像撮像部１０は撮像処理を開始する（ステップＳ１）。ここで、ユーザの操作に従って、画像表示部１１は、図２に示すように、初期時のガイド情報２００を液晶表示画面１１０上に表示する。
【００２２】
画像撮像部１０は、ユーザの操作によるカメラの位置が停止して、撮像対象が特定されるまで撮像処理を継続する（ステップＳ２）。処理対象領域抽出・判定部１２は、カメラの位置が停止されると、ガイド情報２００の位置に基づいて、撮像された画像から画像処理部１４での認識処理などに適した処理対象領域を抽出できるか否かを判定する（ステップＳ３）。
【００２３】
ガイド情報作成部１３は、処理対象領域抽出・判定部１２からの判定結果に従って、撮像状態を提示し、ユーザに対して撮像操作をガイドするためのガイド情報を作成する（ステップＳ４）。ここで、処理対象領域抽出・判定部１２の判定結果がＯＫであれば、画像表示部１１は、ガイド情報２００及び適正な撮像画像を液晶表示画面１１０上に表示する（ステップＳ５のＹＥＳ，Ｓ６）。ユーザは、当該画面１１０上に表示された撮像画像を確認して、例えば携帯電話機器２０に設けられた確定ボタンを操作する（ステップＳ７のＹＥＳ）。処理対象領域抽出・判定部１２は、撮像された画像から処理対象領域を抽出して、画像処理部１４に渡す。これにより、画像処理部１４は、ユーザが指定したＵＲＬ情報の文字列画像を認識して、その認識結果を携帯電話機器２０の制御部に出力する。
【００２４】
一方、処理対象領域抽出・判定部１２の判定結果がＯＫでない場合には、画像表示部１１は、ガイド情報２００及び撮像画像を液晶表示画面１１０上に表示する（ステップＳ５のＮＯ，Ｓ８）。具体例を図４（Ａ）から（Ｃ）に示す。図４ではガイド情報２００として長方形の枠を表示する場合について図示している。図４（Ａ）に示すように画像情報１００に対してガイド情報２００の位置がずれていたり（画像情報１００に対してカメラの位置がずれていること）、図４（Ｂ）に示すようにカメラの位置は正しいが焦点距離が不適正であったり、図４（Ｃ）に示すように対象画像１００のサイズが不適正であったりした場合には、その状況を操作者に警告するために、その状態を示すガイド情報、例えば警告文を液晶表示装置１１０上に表示する。更に、画像のボケ具合の判定結果、画像中の文字サイズの判定結果、カメラの撮影対象に対する移動量の計算結果、画像の２値化や文字認識などの画像処理の結果、画像の明度の判定結果等を文字やマークでガイド情報として表示してもよい。また、ガイド情報を画面上に表示するだけでなく、音声によるアナウンスを行う方法でもよい。さらに、既に表示されているガイド情報の色、形状、大きさ、位置の少なくとも一つを変化させたり、新たなガイド情報を（例えば図形やイラスト等）を加えて表示する方法でもよい。
【００２５】
このような撮像画像と共に、ガイド情報２００を表示することにより、ユーザは、当該表示を確認しながら、適正な撮像画像を取得するように、カメラの操作（撮像操作）を再実行できる（ステップＳ９）。なお、処理対象領域を確定する方法としては、例えばユーザがカメラのシャッタボタンを押すなどの指示を与えたときに実行しても良いし、適正条件が成立した時点で自動的に実行される方法でもよい。
【００２６】
以上要するに、ユーザの撮像操作により入力した撮像画像と共に、処理対象領域抽出・判定部１２の判定結果を反映したガイド情報２００を表示することにより、ユーザに対して適正な撮像画像を取得するための操作を再実行（修正）することを促すことができる。従って、ユーザはガイド情報に従って操作できるため、画像処理に適した入力画像を容易に取得することが可能となる。これにより、携帯電話機器２０は、画像処理部１４により認識されたＵＲＬ情報（ユーザが指定した情報）を使用して、インターネットのブラウザを起動する。
【００２７】
以上のような画像入力方法において、特に処理対象領域抽出・判定部１２による抽出処理について詳細に説明する。
【００２８】
図６は、処理対象領域抽出・判定部１２による画像処理の具体例を示す図である。ここでは、画像表示部１１に表示される画像は、２５６階調のグレースケール画像である。また、処理対象画素は文字の書かれている部分の画素、背景画素は文字の書かれていない部分の画素である。さらに、文字部分の画素は黒、すなわち０、またはそれに近い値の画素値を持ち、背景部分は白、すなわち２５５、またはそれに近い値の画素値を有することを想定する。
【００２９】
図６（Ａ）に示すように、画像表示部１１により画面１１０上に表示されている線状のガイド情報２００が、処理対象の文字列画像である「ａｂ＠ｃｄ．ｃｆ」の上に位置するように、画像撮像部１０の位置調整が必要である。処理対象領域抽出・判定部１２は、ガイド情報２００に基づいて、画像表示部１１に表示されている画像から処理対象領域を抽出する。
【００３０】
ここで、処理対象領域抽出の開始点において、図６（Ｃ）に示すように、ガイド情報２００は対象文字列画像に重なるように表示されている。このため、画像表示部１１に表示されている画像中においてガイド情報２００の示す領域には、処理対象領域の少なくとも一部が必ず含まれている。即ち、ガイド情報２００が示す領域には、処理対象画素が必ず存在している。ここでは、ガイド情報２００として線を用いているので、ガイド情報２００が示す領域は線が横切る画素からなる。
【００３１】
処理対象領域抽出・判定部１２は、ガイド情報２００が示す領域内の画素値の分布をヒストグラム化し、例えば大津の方法などにより前記ヒストグラムを２値化する閾値を求める。大津の方法とは、判別および最小２乗規準に基づく自動しきい値選定法であり、例えば電子情報通信学会論文誌（Ｄ、ｖｏｌ． ６３−Ｄ， ｎｏ ４， ｐｐ．３４９−３５６， １９８０．４）に記載されている。ここで、入力画像においては処理対象画素が黒で、背景画素が白であるため、前記の閾値によってガイド情報が示す領域に含まれる画素を２値化すると、該画素の画素値が閾値未満であれば処理対象画素、閾値以上であれば背景画素となるように画像を２値化することができる。この処理では、処理対象画素に与えられている２値化結果を０、背景画素に与えられる２値化結果を１とする。
【００３２】
次に、画像中において、ガイド情報２００が示す位置を処理対象領域の初期領域とする。次に、現在の処理対象領域の上の行に注目し、この行を前記閾値によって２値化する。ここで、行とは画像を画素の２次元行列として扱った場合の行である。当該行が処理対象領域の上側に接する行であるため、当該行を２値化した結果に０が含まれる場合、すなわちガイド情報２００が示す位置において処理対象画素であると判断される画素値を持つ画素が、当該行内に存在する場合には、当該画素は処理対象領域に含まれる処理対象画素と同様に処理対象画素であると想定できる。よって、処理対象領域に当該行を加えた領域を、新たに処理対象領域として設定できる。
【００３３】
一方、当該行を２値化した結果に０が含まれない場合、すなわち当該行に処理対象画素が含まれない場合には、当該行は処理対象領域に加えられない。即ち、図６（Ｃ）に示すように、ガイド情報２００の上の行Ａを２値化した結果は０を含むため、行Ａは処理対象領域に加えられることになる。以上の処理を対象領域の上の行に対して繰り返してゆく。文字「ｆ」の最上端である画素を含む行Ｂまでの行は２値化の結果が０である画素、すなわち処理対象領域に含まれる画素を含む行であるため処理対象領域に加えられる。これに対して、その上の行Ｃは２値化の結果が０である画素を含まないため、処理対象領域に加えられない。これにより、行Ｃより上の行は処理対象領域内の処理対象画素と連結された処理対象画素を持たない行、すなわち処理対象領域に含まれない行であることが判明する。即ち、行Ｂが処理対象領域の上端となる行であることが判明する。次に、処理対象領域の下側に対しても同様の処理を行う。また、同様にして、文字「＠」の下端を含む行Ｄまでの行は処理対象領域に加えられるが、行Ｄの下の行は処理対象領域に加えられないことが判明する。以上のようにして、処理対象領域抽出・判定部１２は、図６（Ｂ）に示すように、処理対象領域の抽出結果１２０（行Ｂから行Ｄ）を出力する。
【００３４】
図７は、処理対象領域抽出・判定部１２による判定結果を、処理対象領域に含まれる各要素に外接するように表示されたガイド情報の位置、および形状を変更する場合の具体例を示す。
【００３５】
処理対象領域抽出・判定部１２は、抽出された処理対象領域に対して抽出過程で計算された閾値を用いて２値化を施し、該処理対象領域を処理対象画素と背景画素に分類する。これにより、処理対象画素が値０，背景画素が値１である２値画像を得る。次に、２値画像より処理対象画素の連結成分を抽出する。抽出する方法としては、例えば図８に示すような方法がある。
【００３６】
即ち、図８（Ａ），（Ｂ）に示すように、２値画像の左上から右下へ向かって処理対象画素を探索し、最初に発見した、ラベル番号が与えられていない処理対象画素Ｘに対し、未だいかなる画素にも与えていないあるラベル番号Ａを与える。次に、前記画素と連結している処理対象画素をすべて探索し、当該画素群に対しても前記と同様ラベル番号Ａを与える。この後、処理対象画素Ｘの位置まで戻り、前記の処理を繰り返す。この処理によって、処理対象領域内の処理対象画素の連結成分ごとに固有のラベル番号が与えられた画像Ｉを得る。
【００３７】
次に、前記画像Ｉを使用して、各ラベル番号、すなわち各ラベル番号を与えられた処理対象画素の連結成分に対する外接矩形を求める。例えば図８（Ｃ）に示すように、ラベル番号２の場合、画素ｘが最も左に存在する画素であるため、画素ｘを含む列Ｅが外接矩形の左側となる。同様にして、外接矩形の上側、右側、下側の位置を決定することができる。ラベル番号２の場合、行Ｆ、列Ｇ、行Ｈがそれぞれ外接矩形の上側、右側、下側となる。次に、前記により求めた各ラベル番号の外接矩形の画像表示部に表示されている画像上での位置を算出する。次に、算出された位置情報をガイド表示部に与え、各外接矩形を表示させる。以上のようにして、図７（Ｂ）に示すように、画像表示部１２に処理したい文字列を文字毎に分割するように変形させたガイド情報１２１を表示することができる。図７（Ｃ）は、当該処理対象領域の抽出結果から、画像処理部１４により認識処理された認識結果１４０を示す。
【００３８】
ここで、領域抽出方法としては、単に画像表示部１２により表示されているガイド情報の位置をそのまま処理対象領域として抽出する方法でもよい。
【００３９】
また、処理対象領域抽出・判定部１２の半仮定結果をガイド情報２００に反映させる場合には、撮像画像のボケなどの要素を総合的に勘案し、例えば画像処理に対する適正性を示す指標を求め、当該指標に基づいてガイド情報２００の枠の色を例えば不適で赤、適切で青となるように変化させる方法でもよい。
【００４０】
さらに、図９は、ユーザがガイド情報作成部１３によりされたガイド情報を変形させて、当該ガイド情報２００の示す領域を処理対象領域として判定する方法を示す。
【００４１】
図９（Ａ）は、操作を開始する前の撮像画像を示し、ガイド情報２００の大きさ及び位置と処理対象領域とが合致していない状態を示す。ガイド情報作成部１３は、画像表示部１２に表示されている枠状のガイド情報が処理対象の文字列画像「ａｂ＠ｃｄ．ｃｆ」を完全に囲み、他の文字列を含まずにガイド情報の位置が処理対象領域となるようにガイド情報の大きさと位置を調整する。
【００４２】
このような処理により、画像表示部１２は、図９（Ｂ）に示すように、ガイド情報により囲まれた処理対象領域１２０を表示する。なお、ここで、ガイド情報の初期状態で表示せずに、例えばタッチペンなどによって直接位置と形状を入力して表示させるなどしてもよい。画像撮像部１０は、画像表示部１２に表示されている枠状のガイドの囲む領域の画像を確定する。従って、処理対象領域抽出・判定部１２は、処理対象領域１２０を取得し、画像処理部１４に与える。これにより、画像処理部１４は、抽出された処理対象領域１２０に対応する認識結果１４０を出力できる。
【００４３】
図１０は、複数の部分に分離されている処理対象領域を撮像し、当該各撮像画像を連結して、ユーザが指定した処理対象領域を抽出する方法を示す。
【００４４】
まず、図１０（Ａ）に示すように、処理対象領域が２段（２行）に渡って書かれた文字列であり、２段の間に処理対象領域でない領域が含まれている場合を想定する。このような状態では、２段の文字列画像を一度に処理対象領域として取得することはできない。
【００４５】
そこで、同図（Ｂ），同図（Ｃ）に示すように、上の段と下の段を別々に撮像し、それらを連結することで処理対象領域全体の画像を取得する（同図（Ｆ）を参照）。具体的には、前述の方法により、図１０（Ｄ）に示すように、上の段の処理対象部分領域１２０Ａを抽出する。一方、同図（Ｅ）に示すように、下の段の処理対象部分領域１２０Ｂを抽出する。次に、抽出した各処理対象部分領域１２０Ａ，１２０Ｂの画像を連結する。
【００４６】
連結処理は、２つの処理対象領域１２０Ａ，１２０Ｂの画像の幅を合計し、連結画像の横幅とする。次に、２つの処理対象領域画像の高さを比較し、大きいほうの高さを連結画像の高さとする。さらに、上記の大きさを持つ連結画像を作成する。この連結画像に対して、処理対象領域を順番に複写する。この場合、上の段のほうが連結した画像で前に来る領域であるため、処理対象部分領域１２０Ａの画像を連結画像に左詰めで複写する。これにより、図中処理対象領域の画像の、連結部の左側の部分が作成される。次に、前記によって埋められた列の右隣の列、すなわち連結部の右側の列から、下の段の処理対象領域１２０Ｂの画像を複写する。これにより、連結部の右側の部分が作成される。従って、図１０（Ｆ）に示すように、処理対象領域全体１２０Ｃの画像を取得することができる。ここで、画像の連結処理は画像中より対応点を見つけ、当該応点の位置によって連結することもできる。
【００４７】
図１１は、前記の画像連結手法を用いた処理対象領域抽出方法の変形例を示す図である。
【００４８】
本変形例は、画像処理がＵＲＬやメールアドレス等特定の規則に則って生成された文字列に対する文字認識である場合、画像中より区切り文字、例えばＵＲＬであれば『／』や『．』、メールアドレスであれば『．』『＠』等を発見し、該区切り文字を対応点として用いることにより、画像連結処理を行なう方法である。
【００４９】
図１１（Ａ）に示すように、ここでは、画像撮像部１０により一度に撮像することができない長い文字列画像を想定する。図１１（Ｂ）に示すように、処理対象の文字列画像の先頭部分が画像表示部１２により表示されるように、画像撮像部１０の位置を調整し、ガイド情報２００を重ねるように設定する。これにより、前述の処理と同様にして、同図（Ｄ），（Ｆ）に示すように、左側の処理対象部分領域を抽出する。
【００５０】
一方、図１１（Ｃ）に示すように、処理対象の文字列画像の右側部分が画像表示部１２により表示されるように、画像撮像部１０の位置を調整し、ガイド情報２００を重ねるように設定する。これにより、前述の処理と同様にして、同図（Ｅ），（Ｇ）に示すように、右側の処理対象部分領域を抽出する。
【００５１】
次に、図１１（Ｈ）に示すように、右側と左側の２つの処理対象部分領域の画像を連結する。この連結処理は、２つの処理対象部分領域の画像から対応列を検出する。対応列の検出処理は、対象が文字列を写した画像であるため、まず区切文字を検出する。区切文字とは、例えば処理対象がＵＲＬであれば「／」や「．」、メールアドレスであれば「＠」や「．」などである。
【００５２】
区切文字の検出方法は、図１２に示すように、例えば「／」を検出するために、、処理対象部分領域の抽出過程で求められた閾値を用いて、処理対象部分領域を２値化する。次に、２値画像の各列に対して、上側の行から数えて何行目に初めて処理対象画素が出現するかを求める。ｎ列目に対する値を例えばＳｉとする。図１２に示すように、７列目で上から７行目に初めて処理対象画素が出現する場合、「Ｓ７＝７」とする。次にＳｉの値を左側からスキャンし、７列以上にわたるＳｉが単調減少する区間を探索し、当該区間を「／」の存在する区間とする。図１２に具体例では、例えば区切り文字１の区間を考える。当該区間において、Ｓｉは１９，１７，１５，１３，１０，８，６と変化し、前記の条件を満たすため「／」の存在する区間となる。同様にして、区切り文字２〜４の区間も、「／」の存在する区間となる。
【００５３】
次に、各々の画像から発見した区切文字を対応づける。候補が複数存在する場合には、共通する部分を最小にするように対応づける。図１１（Ｆ），（Ｇ）に示すように、共通する部分が最小になるように、左側の文字列の最も右側に位置する「／」と、右側の文字列の最も左側に位置する「／」とを対応付ける。但し、対応付けは、例えば区切文字の間の文字の一致度を考慮するなどして行ってもよい。次に、対応づけられた区切文字の存在する位置の最も右側の列を求める。
【００５４】
次に、図１１（Ｈ）に示すように、対応列の位置で、右側と左側の各画像を連結する。即ち、左側の画像の対応列および当該対応列より左に位置する部分と、右側の画像の対応列及び当該対応列より右側に位置する部分とを連結する。画像処理部１４は、前記の連結処理により取得された処理対象領域全体の画像に認識結果（図１１（Ｉ）を示す結果）を出力できる。
【００５５】
なお、連結方法としては、処理対象部分領域が２つの場合に処理対象部分領域画像を連結して処理対象領域画像を得る手法を示したが、３つ以上の処理対象領域画像であっても、同様に連結して処理対象領域の画像を得ることができる。また、連結処理を実行する前に、個々の処理対象部分領域に対して傾き補正やスケール補正、または明るさ補正などの処理を実行してもよい。
【００５６】
以上の処理は、連続する処理対象画像を用いて処理対象領域を検出したが、連続していない処理対象画像が処理対象領域の近傍に存在する場合、該処理対象画像も処理対象領域に含めるようにしてもよい。また、このような場合、連続する処理対象領域を、順番に連結するように並べた画像を作成して入力画像としてもよい。以下、図１３を参照して具体的に説明する。
【００５７】
図１３（Ａ）に示すように、処理対象領域が２段に渡って書かれた文字列画像を想定する。まず、画像表示部１２により表示されているガイド情報２００が処理対象の文字列画像の各段のいずれかの上に来るように、画像撮像部１０の位置を調整する。次に、前述の本実施形態と同様の方法により処理対象領域の抽出を実行する。但し、ここでは、連続して５行以上の処理対象画像を含まない行が出現した場合には、当該連続する５行の文字列画像と、その行より上の行を処理対象領域に含まれない行の文字列画像であると想定する。
【００５８】
図１３（Ａ）に示すように、ガイド情報２００が重ねられている下の段と、それに近接する上の段との間に存在する処理対象画像を含まない行は３行であり、その上下の行は処理対象画像を含む。このため、同図（Ｂ）に示すように、処理対象領域の上端となるのは、下の段の再上端である行Ａではなく、上の段の再上端である行Ｂである。以下同様の処理を繰り返せば、同図（Ｃ）に示すように、処理対象領域の抽出結果１２０を取得できる。
【００５９】
ここで、処理対象領域が複数段にわたる場合には、同図（Ｄ）に示すように、撮像した画像を各段ごとの画像に分割し、前記各段ごとの画像各々を処理対象部分領域画像として、処理対象領域の画像を順番に並べた画像を作成して入力画像としてもよい。この場合、段の切れ目は、例えば各行毎に処理対象画素の数を数え、前記が０である行を検出し、前記のような行の連続の中央を段の切れ目とするなどの手段によって検出できる。
【００６０】
以上のようにして、処理対象領域の画像を簡単に取得することができる。ここで、本実施形態では、画像表示部１１により表示された画像中より処理対象領域を抽出する方法を前提としたが、これに限ることなく画像撮像部１０において撮像した画像から処理対象領域を抽出してもよい。
【００６１】
また、本実施形態は、携帯電話機器２０に搭載した画像入力装置を想定したが、これに限ることなく、ＰＤＡなどの情報端末にも適用できる。また、画像撮像部１０としては、デジタルカメラを想定したが、ビデオカメラ等の撮像装置でもよい。
【００６２】
【発明の効果】
以上詳述したように本発明によれば、入力画像から画像処理の対象領域を確実に取得できるような撮像操作を、ユーザに対して提示できるガイド表示機能を実現した画像入力方法及び画像入力装置を提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態に関する画像入力装置の構成を示すブロック図。
【図２】同実施形態に関する画像入力装置を適用した携帯電話機器の外観を示す図。
【図３】同実施形態に関する画像入力方法の手順を説明するフローチャート。
【図４】同実施形態に関する画像入力方法でのガイド情報の表示形態を示す図。
【図５】同実施形態に関するガイド情報の具体例を示す図。
【図６】同実施形態に関する処理対象領域抽出・判定部による画像処理の具体例を示す図。
【図７】同処理対象領域抽出・判定部による画像処理の具体例を示す図。
【図８】同処理対象領域抽出・判定部による連結成分の抽出方法を説明するための図。
【図９】同処理対象領域抽出・判定部による処理対象領域の判定方法を説明するための図。
【図１０】同処理対象領域抽出・判定部による複数の処理対象領域を抽出する方法を説明するための図。
【図１１】画像連結手法を用いた処理対象領域抽出方法の変形例を示す図。
【図１２】同変形例における区切り文字の検出方法を示す図。
【図１３】同処理対象領域抽出・判定部による非連続での処理対象領域を抽出する方法を説明するための図。
【符号の説明】
１０…画像撮像部、１１…画像表示部、１２…処理対象領域抽出・判定部、
１３…ガイド情報作成部、１４…画像処理部、２０…携帯電話機器、
１１０…液晶表示画面、１００…対象画像、２００…ガイド情報。
Claims (8)
- 画像を撮像する画像撮像手段と、この撮像された画像を表示する画像表示手段とを有する画像入力装置に適用する画像入力方法であって、
前記画像撮像手段により入力対象画像を撮像するステップと、
前記撮像された画像から画像処理の対象領域を特定するためのガイド情報を作成するステップと、
前記ガイド情報を前記画像表示手段に表示することにより前記対象領域を抽出するために必要な撮像操作をガイドするステップと
前記画像表示手段に表示された前記ガイド情報に基づいて前記撮像された画像から画像処理の対象領域を抽出するステップと
を具備したことを特徴とする画像入力方法。 - 前記ガイド情報作成ステップは、前記抽出ステップの処理に応じて再度ガイド情報を作成し、
前記ガイドステップは前記再度作成されたガイド情報を再表示することを特徴とする請求項１記載の画像入力方法。 - 前記抽出ステップは、複数の画像領域を連結して、画像処理の対象領域として抽出することを特徴とする請求項１記載の画像入力方法。
- 前記画像撮像手段はデジタルカメラであり、前記画像入力装置として当該デジタルカメラにより撮像された文字列画像を認識する文字認識機能を有する携帯機器に適用することを特徴とする請求項１記載の画像入力方法。
- 画像を撮像する画像撮像手段と、
この撮像された画像を表示する画像表示手段と、
前記撮像された画像から画像処理の対象領域を特定するためのガイド情報を作成するガイド情報作成手段と、
前記ガイド情報を前記画像表示手段に表示して前記対象領域を抽出するために必要な撮像操作をガイドするためのガイド手段と、
前記画像表示手段に表示された前記ガイド情報に基づいて前記撮像された画像から画像処理の対象領域を抽出する画像抽出手段とを具備したことを特徴とする画像入力装置。 - 前記ガイド情報作成手段は、前記画像抽出手段の処理に応じて再度ガイド情報を作成し、
前記ガイド手段は前記再度作成されたガイド情報を再表示することを特徴とする請求項５記載の画像入力装置。 - 前記画像抽出手段は、複数の画像領域を連結して、画像処理の対象領域として抽出することを特徴とする請求項５記載の画像入力装置。
- 前記画像撮像手段はデジタルカメラであり、
前記抽出された画像処理の対象領域における文字列画像を認識する文字認識機能を更に設けたことを特徴とする請求項５記載の画像入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002380275A JP2004213215A (ja) | 2002-12-27 | 2002-12-27 | 画像入力方法及び画像入力装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002380275A JP2004213215A (ja) | 2002-12-27 | 2002-12-27 | 画像入力方法及び画像入力装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004213215A true JP2004213215A (ja) | 2004-07-29 |
Family
ID=32816549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002380275A Pending JP2004213215A (ja) | 2002-12-27 | 2002-12-27 | 画像入力方法及び画像入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004213215A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7916893B2 (en) | 2006-01-24 | 2011-03-29 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method, and program |
| CN102625103A (zh) * | 2012-03-23 | 2012-08-01 | 李卫伟 | 解码方法及装置 |
| JP2012226748A (ja) * | 2011-04-15 | 2012-11-15 | Lg Electronics Inc | ネットワークシステム及びその制御方法 |
-
2002
- 2002-12-27 JP JP2002380275A patent/JP2004213215A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7916893B2 (en) | 2006-01-24 | 2011-03-29 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method, and program |
| JP2012226748A (ja) * | 2011-04-15 | 2012-11-15 | Lg Electronics Inc | ネットワークシステム及びその制御方法 |
| US9043033B2 (en) | 2011-04-15 | 2015-05-26 | Lg Electronics Inc. | Network system and control method thereof |
| CN102625103A (zh) * | 2012-03-23 | 2012-08-01 | 李卫伟 | 解码方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104871180B (zh) | 用于ocr的基于文本图像质量的反馈 | |
| JP4630936B1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体 | |
| US8175380B2 (en) | Apparatus and method for improving text recognition capability | |
| JP2002279433A (ja) | 映像中の文字検索方法及び装置 | |
| JP4574503B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP5907022B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2001266068A (ja) | 表認識方法と表認識装置と文字認識装置及び表認識プログラムを記録した記憶媒体 | |
| JP3866600B2 (ja) | 画像処理装置及び画像処理方法 | |
| US20080063271A1 (en) | Character extracting apparatus, method, and program | |
| JP2000207489A (ja) | 文字抽出方法、装置および記録媒体 | |
| JP2010152800A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JPH07120389B2 (ja) | 光学的文字読取装置 | |
| JP6630341B2 (ja) | シンボルの光学的検出方法 | |
| JP3936436B2 (ja) | 表認識方法 | |
| JP2004213215A (ja) | 画像入力方法及び画像入力装置 | |
| JP2007310675A (ja) | Ｑｒコード認識装置、ｑｒコード認識装置の制御方法、ｑｒコード認識装置制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2010186246A (ja) | 画像処理装置、方法、及び、プログラム | |
| JP3805161B2 (ja) | 文字読取装置、文字読取方法、文字読取プログラムを記録したコンピュータ読み取り可能な情報記憶媒体 | |
| JPS6337487A (ja) | 文字認識装置 | |
| JP7112261B2 (ja) | 光学式読取装置、該光学式読取装置を用いる光学式読取方法、及びコンピュータプログラム | |
| JP2000011192A (ja) | 画像間位置合わせ方法 | |
| JP4974367B2 (ja) | 領域分割方法及び装置、並びにプログラム | |
| KR940003623B1 (ko) | 한글문자 인식 빗침 자획추출방법 | |
| JP5068883B1 (ja) | 画像処理装置およびこれを備えた原稿読取システム | |
| JPH08137987A (ja) | 光学式文字読取装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060120 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060425 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060626 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060705 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060728 |