JP2015090500A - 画像認識装置、画像認識プログラム、画像認識方法、撮像装置 - Google Patents

Abstract

【課題】 画像認識結果における誤認識を防止する。
【解決手段】 認識画像を取得する画像取得部と、抽出条件に基づいて、認識画像に含まれる複数の個別画像の中から、画像認識処理を行う対象画像を抽出する抽出部と、対象画像に対する画像認識処理を施して認識結果を出力する認識部と、を有してなる。ここで、抽出条件は、認識画像における個別画像の大きさに関する条件であり、認識画像または２値画像に含まれる基準画像の大きさに対する個別画像の大きさの比である。
【選択図】図１５

Description

本発明は、画像認識装置と、情報処理装置を画像認識装置として機能させる画像認識プログラムと、情報処理装置が実行する画像認識方法と、画像認識装置を有する撮像装置とに関するものである。

デジタルカメラなどの撮像装置により撮像した画像から、画像に含まれる文字など個別の画像を抽出し、抽出した個別の画像について画像認識を行い、認識結果を出力する、画像認識技術が知られている。

ところで、画像認識技術では、認識対象の画像の状態によっては、画像認識の結果に誤認識が生じるおそれがあるため、認識対象の画像を補正する必要がある。

なお、画像認識技術における補正の例としては、２値画像から文字矩形と文章領域を抽出し画像の斜め補正を行う技術が開示されている（例えば、特許文献１参照）。

また、画像認識技術における補正の別の例としては、歪んで変形して見える画像から、自動的に文字を読み取る技術が開示されている（例えば、特許文献２参照）。

しかしながら、文字画像などの認識対象を含む画像に、ナンバープレートの止めネジや表面の汚れなど、認識対象ではない画像が含まれる場合には、止めネジや汚れなどを文字であると誤認識する場合がある。

つまり、認識対象ではない画像が含まれる画像について画像認識処理を行った場合には、画像認識処理後に認識結果をユーザが確認し、誤認識した結果を修正する必要がある。このような修正処理は、ユーザの画像認識処理への利便性を低下させていた。

本発明は、画像認識結果における誤認識を防止することができる画像認識装置を提供することを目的とする。

本発明は、認識画像を取得する画像取得部と、抽出条件に基づいて、認識画像に含まれる複数の個別画像の中から、画像認識処理を行う対象画像を抽出する抽出部と、対象画像に対する画像認識処理を施して認識結果を出力する認識部と、を有してなり、抽出条件は、認識画像における個別画像の大きさに関する条件である、ことを特徴とする。

本発明によれば、画像認識結果における誤認識を防止することができる。

本発明に係る撮像装置の実施の形態を示す正面図である。 上記撮像装置の上面図である。 上記撮像装置の背面図である。 上記撮像装置の機能構成例を示す機能ブロック図である。 上記撮像装置によるスルー画表示処理を示すフローチャートである。 上記撮像装置の画像取り込み後の認識画像のスルー画表示を示す模式図である。 上記撮像装置の２値画像のスルー画表示を示す模式図である。 上記撮像装置による画像認識処理を示すフローチャートである。 上記撮像装置の撮像時の確認画面を示す模式図である。 上記撮像装置の対象画像の確認画面を示す模式図である。 斜め補正前の認識画像を示す模式図である。 斜め補正後の認識画像を示す模式図である。 取り込み後の認識画像を示す模式図である。 ２値化変換後の２値画像を示す模式図である。 対象画像の特定後の２値化画像を示す模式図である。 誤認識が生じている画像認識処理結果を示す模式図である。 上記撮像装置による画像認識処理結果を示す模式図である。 上記撮像装置によるヘッダー情報付加処理を示すフローチャートである。 上記ヘッダー情報付加処理後のファイルフォーマットを示す模式図である。 上記撮像装置による画像データ保存処理を示すフローチャートである。 上記認識画像保存処理後のファイルフォーマットを示す模式図である。 上記撮像装置のＬＣＤモニタの画面遷移を示す模式図である。 上記撮像装置のメモリテーブルを示す模式図である。 本発明に係る撮像装置の別の実施の形態における取り込み後の認識画像を示す模式図である。 上記撮像装置による画像認識処理結果を示す模式図である。

以下、本発明に係る画像認識装置と、情報処理装置を画像認識装置として機能させる画像認識プログラムと、情報処理装置が実行する画像認識方法と、画像認識装置を有する撮像装置との実施の形態について、図面を参照しながら説明する。

●撮像装置（１）●
まず、本発明に係る撮像装置の実施の形態について、説明する。ここで、本発明に係る撮像装置は、本発明に係る画像認識装置を有してなる。以下の説明において、撮像装置の一機能として画像認識処理が実現される場合を説明する。

●撮像装置の構成
図１は、本発明に係る撮像装置の実施の形態を示す正面図である。同図において、撮像装置１の筐体であるカメラボディＣＢの正面には、ストロボ発光部３、ファインダ４の対物面、リモコン受光部６及び撮像レンズを含む撮像光学系を構成する鏡胴ユニット７が配置されている。カメラボディＣＢの一方の側面部には、メモリカード装填室及び電池装填室の蓋２が設けられている。

図２は、撮像装置１の上面図である。同図において、カメラボディＣＢの上面には、レリーズスイッチＳＷ１が配置されている。また、カメラボディＣＢの上面には、モードダイヤルＳＷ２及びサブ液晶ディスプレイ（サブＬＣＤ（Liquid Crystal Display））（以下「液晶ディスプレイ」を「ＬＣＤ」という。）１１が配置されている。

図３は、撮像装置１の背面図である。同図において、カメラボディＣＢの背面には、ファインダ４の接眼部、ＡＦ用発光ダイオード（以下「発光ダイオード」を「ＬＥＤ（Light Emitting Diode）」という。）８が配置されている。また、同図において、ストロボＬＥＤ９、被写体画像と拡大画像及び各種設定画面を表示する表示部としてのＬＣＤモニタ１０が配置されている。

また、図３において、カメラボディＣＢの背面には、電源スイッチ１３、広角方向ＺＯＯＭスイッチＳＷ３、望遠方向ズームスイッチＳＷ４、セルフタイマの設定及び解除スイッチＳＷ５、メニュースイッチＳＷ６が配置されている。

また、図３において、カメラボディＣＢの背面には、上移動及びストロボセットスイッチＳＷ７、右移動スイッチＳＷ８、ディスプレイスイッチＳＷ９、下移動及びマクロスイッチＳＷ１０が配置されている。

さらに、図３において、カメラボディＣＢの背面には、左移動及び画像確認スイッチＳＷ１１、ＯＫスイッチＳＷ１２、クイックアクセススイッチＳＷ１３が配置されている。

●撮像装置の機能ブロック
次に、撮像装置１の機能ブロックの例について説明する。図４は、撮像装置１の機能構成例を示す機能ブロック図である。撮像装置１の各種動作（処理）は、デジタル信号処理ＩＣ（Integrated Circuit）等で構成されるデジタルスチルカメラプロセッサ１０４（以下「プロセッサ１０４」という。）と、プロセッサ１０４において動作する撮像プログラムによって制御される。

画像処理手段であるプロセッサ１０４は、第１のＣＣＤ（Charge
Coupled Device）信号処理ブロック１０４−１と、第２のＣＣＤ信号処理ブロック１０４−２とを有する。また、プロセッサ１０４は、ＣＰＵ（Central Processing Unit）ブロック１０４−３と、ローカルＳＲＡＭ（Static
Random Access Memory）１０４−４とを有する。

また、プロセッサ１０４は、ＵＳＢ（Universal
Serial Bus）ブロック１０４−５と、シリアルブロック１０４−６とを有する。また、プロセッサ１０４は、ＪＰＥＧ（Joint Photographic Experts Group）ＣＯＤＥＣブロック１０４−７と、リサイズ（ＲＥＳＩＺＥ）ブロック１０４−８とを有する。

また、プロセッサ１０４は、ＴＶ信号表示ブロック１０４−９と、メモリカードコントローラブロック１０４−１０と、を有してなる。これら各ブロックは相互にバスラインで接続されている。

プロセッサ１０４の外部には、ＲＡＷ−ＲＧＢ画像データ、ＹＵＶ画像データ及びＪＰＥＧ画像データを保存するためのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１０３が配置されている。また、プロセッサ１０４の外部には、ＲＡＭ（Random Access Memory）１０７が配置されている。

さらに、プロセッサ１０４の外部には、内蔵メモリ１２０及び撮像プログラムである制御プログラムが格納されているＲＯＭ（Read Only Memory）１０８、が配置されている。ＳＤＲＡＭ１０３とＲＡＭ１０７とＲＯＭ１０８は、バスラインを介してプロセッサ１０４に接続している。

プロセッサ１０４は、ＲＯＭ１０８に格納されている各種制御プログラムを実行し、各種制御プログラムによる機能を実現する。

ＳＤＲＡＭ１０３は、フレームメモリに相当する。ＲＯＭ１０８に格納されている各種制御プログラムには、本発明に係る画像認識装置の動作を実現するプログラムである、画像認識プログラムが含まれる。

つまり、撮像装置１において、ＲＯＭ１０８に格納される画像認識プログラムをプロセッサ１０４に実行させ、ＳＤＲＡＭ１０３、ＲＡＭ１０７、記憶部に相当する内蔵メモリ１２０を使用することにより、本発明に係る画像認識方法を実行している。すなわち、撮像装置１は、本発明に係る画像認識装置の画像取得部と抽出部と認識部と変換部と基準値変更部との機能を有している。

プロセッサ１０４は、主にＣＰＵブロック１０４−３等がバスで接続されたコンピュータを実体とし、ＲＯＭ１０８に記憶された画像認識プログラムをＣＰＵブロック１０４−３が実行する。つまり、プロセッサ１０４では、以上の構成により画像データに対して以下で説明する認識画像の２値化処理と画像認識処理が施される。

画像認識プログラムは、あらかじめ、ＲＯＭ１０８に記憶される。ここで、画像認識プログラムは、メモリカード１９２に記憶させて、メモリカードスロット１９１を介してＲＯＭ１０８に読み込むことができる。あるいは、ネットワーク（不図示）を介して画像認識プログラムをＲＯＭ１０８にダウンロードしてもよい。

撮像光学系を構成する鏡胴ユニット７は、ＺＯＯＭレンズ７−１ａを有するＺＯＯＭ光学系７−１、ＦＯＣＵＳレンズ７−２ａを有するＦＯＣＵＳ光学系７−２、絞り７−３ａ、を有する絞りユニット７−３を備える。また、鏡胴ユニット７は、メカニカルシャッタ（メカシャッタ）７−４ａを有するメカシャッタユニット７−４を備える。

ＺＯＯＭ光学系７−１は、ＺＯＯＭモータ７−１ｂによって駆動される。また、ＦＯＣＵＳ光学系７−２は、ＦＯＣＵＳレンズ移動手段としてのＦＯＣＵＳモータ７−２ｂによって駆動される。また、絞りユニット７−３は、絞りモータ７−３ｂによって駆動される。さらに、メカシャッタユニット７−４は、メカシャッタモータ７−４ｂによって駆動される。

ＺＯＯＭモータ７−１ｂ、ＦＯＣＵＳモータ７−２ｂ、絞りモータ７−３ｂ及びメカシャッタモータ７−４ｂの各モータは、モータードライバ７−５によって駆動される。モータードライバ７−５はプロセッサ１０４のＣＰＵブロック１０４−３によって動作が制御される。

鏡胴ユニット７を構成するズームレンズ７−１ａとＦＯＣＵＳレンズ７−２ａは、撮像素子であるＣＣＤ１０１の受光面上に被写体像を結像させる撮像レンズを構成する。ＣＣＤ１０１は、受光面に結像された被写体像を電気的な画像信号に変換してＦ／Ｅ（Front/End）−ＩＣ１０２に出力する。

なお、撮像装置１において、撮像素子は、ＣＣＤに限定されず、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いてもよい。

Ｆ／Ｅ−ＩＣ１０２は、ＣＤＳ（相関２重サンプリング部）１０２−１、ＡＧＣ（Auto Gain Control）１０２−２及びＡ／Ｄ（Analog/Digital）変換部１０２−３を有する。Ｆ／Ｅ−ＩＣ１０２は、被写体像から変換された画像信号に対して、所定の処理を施し、デジタル信号に変換する。変換されたデジタル画像信号は、ＣＣＤ信号処理ブロック１０４−１に入力される。これらの信号処理動作は、プロセッサ１０４のＣＣＤ信号処理ブロック１０４−１から出力されるＶＤ信号（垂直駆動信号）とＨＤ信号（水平駆動信号）により、ＴＧ（Timing Generator）１０２−４を介して制御される。

ＣＣＤ信号処理ブロック１０４−１は、ＣＣＤ１０１からＦ／Ｅ−ＩＣ１０２を経由して入力されたデジタル画像データに対して、ホワイトバランス調整及びγ調整等の信号処理を行うとともに、ＶＤ信号及びＨＤ信号を出力する。

また、ＣＰＵブロック１０４−３は、不図示のストロボ回路を制御して動作させることによってストロボ発光部３から照明光を発光させる。

ＵＳＢブロック１０４−５は、ＵＳＢコネクタ１２２に結合される。シリアルブロック１０４−６は、シリアルドライバ回路１２３−１を介してＲＳ−２３２Ｃコネクタ１２３−２に結合される。

ＴＶ信号表示ブロック１０４−９は、ＬＣＤドライバ１１７を介してＬＣＤモニタ１０に結合され、また、ＴＶ信号表示ブロック１０４−９は、ビデオアンプ（ＡＭＰ）１１８を介してビデオジャック１１９にも結合される。

メモリカードコントローラブロック１０４−１０は、メモリカードスロット１９１のカード接点に結合されている。メモリカード１９２がこのメモリカードスロット１９１に装填されると、メモリカード１９２の接点に接触して電気的に接続され、装填されたメモリカード１９２に画像ファイルを記憶する。

●撮像装置の動作●
次に、撮像装置１の動作について説明をする。図１から図３に示した撮像装置１において、モードダイヤルＳＷ２を操作し、「記録モード（撮影モード）」を選択すると、撮像装置１は記録モードでの動作を開始する。より詳しくは、図３に示した操作ｋｅｙユニット（ＳＷ１〜ＳＷ１３）に含まれるモードダイヤルＳＷ２の状態が記録モード−オンになったことを、ＣＰＵブロック１０４−３が検知することで、記録モードでの動作が開始する。

ＣＰＵブロック１０４−３はモータードライバ７−５を制御し、鏡胴ユニット７を撮像可能な位置に移動させる。さらに、ＣＣＤ１０１、Ｆ／Ｅ−ＩＣ１０２及びＬＣＤモニタ１０等の各部に電源が投入されて動作が開始される。各部の電源が投入されると、ファインダモードでの動作が開始する。

ファインダモードで動作中の撮像装置１は、撮像レンズを介してＣＣＤ１０１の受光面に結像された被写体像に係る画像信号がＣＤＳ１０２−１に出力される。このアナログＲＧＢ信号は、ＡＧＣ（自動利得制御回路）１０２−２を介してＡ／Ｄ変換部１０２−３にてデジタル画像信号に変換される。

このデジタル画像信号に含まれるＲ・Ｇ・Ｂの各信号は、プロセッサ１０４内の第２のＣＣＤ信号処理ブロック１０４−２が具備するＹＵＶ変換手段によって、ＹＵＶ画像データに変換されて、フレームメモリとしてのＳＤＲＡＭ１０３に記録される。

なお、第２のＣＣＤ信号処理ブロック１０４−２は、ＲＧＢ画像信号に対してフィルタリング処理等の適切な処理を施してＹＵＶ画像データへと変換する。

ＹＵＶ画像データは、ＣＰＵブロック１０４−３によって読み出されて、ＴＶ信号表示ブロック１０４−９を介してビデオアンプ１１８及びビデオジャック１１９に送られて、これに接続されたＴＶ（テレビジョン）にて表示される。

また、ＣＰＵブロック１０４−３によって読み出されたＹＵＶ画像データは、ＬＣＤドライバ１１７を介してＬＣＤモニタ１０に送られて表示に供される。この処理が１／３０秒間隔で行われて表示が更新され、撮像対象とする被写体をＬＣＤモニタ１０の表示によって視認しながら撮像することができるファインダモードでの動作となる。

ＣＣＤ１０１は複数の駆動モード（駆動条件）を設定することができる。この駆動モードによって、ＣＣＤ１０１から出力される画像信号の出力条件を変更することができる。

●スルー画表示処理
次に、撮像装置１によるスルー画表示処理について説明する。ここで、撮像装置１において、スルー画表示処理は、後述する画像認識処理を行う前に行われる。

図５は、撮像装置１によるスルー画表示処理を示すフローチャートである。同図に示すように、撮像装置１では、撮像光学系を介して被写体像が認識画像としてＣＣＤ１０１に取り込まれる（Ｓ１０１）。

図６は、撮像装置１の画像取り込み後の認識画像のスルー画表示を示す模式図である。同図に示すように、撮像装置１に取り込まれた後の認識画像は、ＬＣＤモニタ１０にカラー画像でスルー画表示される。

撮像装置１は、認識画像を２値化された画像（以下「２値画像」という。）に変換する２値化変換処理を行うにあたり、輝度成分の値を０または１のいずれに変換するかの基準値（閾値）を変更する必要があるか否かをユーザに確認する（Ｓ１０２）。

ここで、基準値変更は、画像認識処理の対象となる文字などの対象画像の下地の着色の有無、着色度合、着色のグラデーションの状態、あるいは画像上の影の度合などに鑑みて行う。また、基準値変更の要否は、例えばメニュースイッチＳＷ６から受け付ける。

２値化変換処理の基準値の変更が必要な場合には（Ｓ１０２：Ｙｅｓ）、撮像装置１では基準値を変更する（Ｓ１０３）。撮像装置１において、ＹＵＶ画像の輝度成分を使用して２値化を行う場合は、輝度成分は０〜２５５の値をとるため、基準値もこの値の中から選択される。

撮像装置１では、変換部の処理として認識画像をＳ１０３によって設定された基準値に基づいてＹＵＶ画像の輝度成分を使用して２値画像に変換する（Ｓ１０４）。ここで、Ｓ１０４の処理は、本発明に係る画像認識装置の変換部による処理に相当する。

変換後の２値画像では、基準値以上の場合には画素値が“１”に設定され、基準値以下の場合には画素値が“０”に設定される。

なお、基準値の変更が不要な場合には（Ｓ１０２：Ｎｏ）、認識画像は変更前の基準値に基づいて２値画像に変換される。

図７は、撮像装置１の２値画像のスルー画表示を示す模式図である。同図に示すように、撮像装置１では、変換後の２値画像をＬＣＤモニタ１０にスルー画表示する（Ｓ１０５）。

撮像装置１は、ＬＣＤモニタ１０に文字情報を表示するなどして、表示されている２値画像の状態が適切であるか否かをユーザに確認させ、その確認結果をメニュースイッチＳＷ６などから受け付ける（Ｓ１０６）。

ここで、２値画像の状態が適切であるか否かとは、表示されている２値画像により文字認識などの画像認識処理を行うことができるか否かを意味する。

２値画像の状態が適切である場合には（Ｓ１０６：Ｙｅｓ）、撮像装置１は、スルー画表示処理を終了するか否か（他にスルー画表示処理を行う必要がある認識画像があるか否か）をユーザに確認する（Ｓ１０７）。

なお、２値画像の状態が適切ではない旨の入力があった場合には（Ｓ１０６：Ｎｏ）、撮像装置１では、Ｓ１０３の処理に戻り、２値化の基準値変更処理を行う。

スルー画表示処理を行う必要がある認識画像がない場合には（Ｓ１０７：Ｙｅｓ）、撮像装置１は、スルー画表示処理を終了する。

また、スルー画表示処理を行う必要がある認識画像がある場合には（Ｓ１０７：Ｎｏ）、撮像装置１は、Ｓ１０１の処理に戻り、認識画像の取り込みを行う。ここで、ＣＣＤ１として３０ＦＰＳのものを用いる場合には、約３３ｍｓｅｃ周期で認識画像の取り込み処理が行われる。

２値画像のスルー画表示を行うことで、撮像装置１は、２値画像が画像認識処理に適しているか否かなどの状態をユーザに目視にて確認させることができる。

●画像認識処理
次に、撮像装置１による画像認識処理について説明する。以下の説明において、画像認識処理の一例として、撮像装置１により車両のナンバープレートを撮像し、ナンバープレートの文字情報を認識する処理を示す。

撮像装置１は、画像認識処理を行う認識モードと、通常の撮像画像の取得処理を行う撮影モードとの２つの動作モードを備える。ここで、認識モードと撮影モードとは、切替可能である。

認識モードでは、画像認識処理による認識結果が内蔵メモリ１２０に記憶される。また、撮影モードでは、撮像画像が認識結果と関連付けて内蔵メモリ１２０に記憶される。

図８は、撮像装置１による画像認識処理を示すフローチャートである。同図に示すように、撮像装置１では、ＬＣＤモニタ１０に文字情報を表示するなどして、画像認識処理を行う認識モードであるか否かをユーザに確認させ、その確認結果をメニュースイッチＳＷ６などから受け付ける（Ｓ２０１）。

画像認識処理は、認識画像（カラー画像）または認識画像を上述の２値化変換した２値画像を用いて行う。

なお、認識モードではない場合（通常の認識画像を取得する撮影モードである場合）には（Ｓ２０１：Ｎｏ）、画像認識処理は実行されず、Ｓ２０１の処理に戻る。

認識モードである場合には（Ｓ２０１：Ｙｅｓ）、撮像装置１は、先のスルー画表示処理を行う際に取得した認識画像または２値画像において画像認識処理を行う認識領域を特定する（Ｓ２０２）。

図９は、撮像装置の撮像時の確認画面を示す模式図である。同図に示すように、撮像装置１のＬＣＤモニタ１０には、認識画像のスルー画上に認識領域を示す枠Ａ１が表示される。ユーザは、上移動及びストロボセットスイッチＳＷ７、右移動スイッチＳＷ８、下移動及びマクロスイッチＳＷ１０、左移動及び画像確認スイッチＳＷ１１などを操作して枠Ａ１の位置を適切な位置に移動させることができる。

図１０は、撮像装置１の対象画像の確認画面を示す模式図である。同図に示すように、枠Ａ１が画像認識処理の対象であるナンバープレート上にある場合には、ＯＫスイッチＳＷ１２を操作して、枠Ａ１の位置を確定する。

次に、撮像装置１は、認識画像が傾斜のついた位置から撮像された場合に正面から撮像した画像のように補正する、いわゆる斜め補正を行うか否かをユーザに確認する（Ｓ２０３）。

斜め補正を行う場合には（Ｓ２０３：Ｙｅｓ）、撮像装置１は、認識画像に対して斜め補正を行う（Ｓ２０４）。ここで、斜め補正の処理については、公知の画像処理方法により行う。

図１１は、斜め補正前の認識画像を示す模式図である。同図には、斜め補正が必要な認識画像のナンバープレートＮＰを示す。

図１２は、斜め補正後の認識画像を示す模式図である。同図に示すように、斜め補正後の認識画像によれば、ナンバープレートＮＰの正面から撮像したのと同様の画像を得ることができる。

なお、斜め補正を行わない場合には（Ｓ２０３：Ｎｏ）、撮像装置１は、Ｓ２０５の処理に移行する。

撮像装置１は、抽出条件に基づいて、認識画像または２値画像に含まれる個別画像の特定を行う（Ｓ２０５）。

図１３は、取り込み後の認識画像を示す模式図である。また、図１４は、２値化変換後の２値画像を示す模式図である。

個別画像とは、認識画像または２値画像に含まれる画像認識処理を行う対象画像の候補となる１または複数の画像をいう。図１３，１４に示すように、認識画像または２値画像に含まれるナンバープレートＮＰの数字Ｎ１，Ｎ２や文字Ｃ１，Ｃ２やネジＳの画像が、個別画像に該当する。

撮像装置１は、対象画像の抽出条件を確定する（Ｓ２０６）。ここで、対象画像の抽出条件とは、認識画像または２値画像における個別画像の大きさに関する条件である。つまり、対象画像の抽出条件とは、認識画像または２値画像に含まれる基準画像の大きさに対する個別画像の大きさの比である。

また、基準画像とは、画像認識処理を行う対象画像を含む所定の面積を有する領域の画像をいう。図１３，１４において、ナンバープレートＮＰの画像は、数字Ｎ１，Ｎ２や文字Ｃ１，Ｃ２などの対象画像を含む所定の面積を有する領域の画像であるため、基準画像に該当する。ここで、基準画像の大きさに対する個別画像の大きさの数値範囲は、あらかじめＲＯＭ１０８などに記憶させておく。

図１３，１４に示すように、数字Ｎ１，Ｎ２や文字Ｃ１，Ｃ２は、ナンバープレートＮＰの全体の大きさ（面積）において十分な大きさ（面積）を有している。つまり、数字Ｎ１，Ｎ２の画像や文字Ｃ１，Ｃ２の画像は、画像認識処理を行う認識画像または２値画像に含まれるナンバープレートＮＰの画像の大きさに対して十分な大きさを有しているため、対象画像に該当する。

一方、図１３，１４に示すように、ネジＳは、ナンバープレートＮＰの全体の大きさにおいて十分な大きさを有していない。つまり、ネジＳの画像は、画像認識処理を行う認識画像または２値画像に含まれるナンバープレートＮＰの画像の大きさに対して十分な大きさを有していないため、対象画像に該当しない。

撮像装置１は、対象画像の抽出条件確定後、確定した抽出条件に基づいて対象画像の抽出を行う（Ｓ２０７）。

図１５は、対象画像の特定後の２値化画像を示す模式図である。同図に示すように、ナンバープレートＮＰを含む２値画像において、上述の抽出条件により、数字Ｎ１と文字Ｃ１の個別画像は対象画像Ｔ１として特定される。また、上述の抽出条件により、文字Ｃ２の個別画像は、対象画像Ｔ２として特定される。さらに、数字Ｎ２の個別画像は対象画像Ｔ３として特定される。

一方、ネジＳの個別画像は、上述の抽出条件により対象画像には該当しないため、対象画像として特定されていない。

撮像装置１は、対象画像の抽出した後、その対象画像に対して画像認識処理を施す（Ｓ２０８）。

図１６は、誤認識が生じている画像認識処理結果を示す模式図である。同図において、上述の抽出条件に基づくことなく画像認識処理を施したため、認識画像または２値画像に含まれるネジＳを文字や数字の個別画像であると誤認識して誤認識文字Ｆ１，Ｆ２として処理している。

図１７は、画像認識処理結果を示す模式図である。同図に示すように、撮像装置１は、本発明に係る画像認識方法における抽出条件に基づいて対象画像を抽出して、画像認識処理を行っている。このため、撮像装置１は、ネジＳを文字や数字などの画像と誤認識せず、認識すべき対象である数字Ｎ１，Ｎ２や文字Ｃ１，Ｃ２の画像（対象画像）のみを認識して認識結果を出力することができる。

そして、撮像装置１は、認識結果を内蔵メモリ１２０に記憶する。

以上説明したように、撮像装置１によれば、抽出条件に基づいて対象画像のみを認識して認識結果を出力するため、画像認識結果における誤認識を防止することができる。

●ヘッダー情報付加処理
次に、撮像装置１による、撮像画像を含むファイル（以下「画像ファイル」という。）に上述の画像認識処理による画像認識結果をヘッダー情報として付加して保存する、ヘッダー情報付加処理について説明する。

ここで、ヘッダー情報付加処理とは、例えば車両のナンバープレートの画像認識処理後、そのナンバープレートを付けた車両の画像を撮像して、撮像画像に画像認識結果を関連付けて保存する処理である。

図１８は、撮像装置によるヘッダー情報付加処理を示すフローチャートである。同図に示すように、撮像装置１では、上述の画像認識処理を行った後、ユーザによりレリーズスイッチＳＷ１（シャッター）が押下されたか否かを確認して、撮像画像の取得がされたか否かを確定する（Ｓ３０１）。

レリーズスイッチＳＷ１が押下されない場合には、撮像装置１はＳ３０１の処理を繰り返す。

レリーズスイッチＳＷ１が押下された場合には、撮像装置１は画像を撮像する（Ｓ３０２）。

画像の撮像後、撮像装置１は、撮像画像を圧縮し、Ｅｘｉｆ（Exchangeable
image file format）形式のファイル（画像ファイル）を作成する（Ｓ３０３）。

撮像装置１では、画像ファイルの作成後、先に処理した画像認識結果を例えばＥｘｉｆのヘッダーに設定する（Ｓ３０４）。ここで、画像認識結果は、Ｅｘｉｆの付属情報であるユーザコメント領域の他に、メーカノート領域にも設定することができる。

画像認識結果を設定後、撮像装置１は、画像ファイルをＲＡＭ１０７やメモリカード１９２に記録する（Ｓ３０５）。

図１９は、ヘッダー情報付加処理後のファイルフォーマットを示す模式図である。同図に示すように、ヘッダー情報付加処理後のファイルフォーマットには、撮像画像（主画像データ）ＩＤと共にサムネイル画像ＳＩと画像ヘッダーＩＨとが記録される。ここで、画像ヘッダーＩＨには、上述の画像認識処理による画像認識結果が記録される。

以上説明したように、撮像装置１は、ヘッダー情報付加処理を行うことにより、画像ファイルに画像認識結果を含めて記録することができる。

●認識画像保存処理
次に、撮像装置１による、画像ファイルと共に画像認識処理に用いた認識画像を保存する、認識画像保存処理について説明する。

図２０は、撮像装置による画像データ保存処理を示すフローチャートである。同図に示すように、撮像装置１は、上述の画像認識処理を行った後、ユーザによりレリーズスイッチＳＷ１（シャッター）が押下されたか否かを確認して、撮像画像の取得がされたか否かを確定する（Ｓ４０１）。

レリーズスイッチＳＷ１が押下されない場合には、撮像装置１はＳ４０１の処理を繰り返す。

レリーズスイッチＳＷ１が押下された場合には、撮像装置１は画像を撮像する（Ｓ４０２）。

画像の撮像後、撮像装置１は、撮像画像を圧縮し、Ｅｘｉｆ形式のファイル（画像ファイル）を作成する（Ｓ４０３）。

撮像装置１は、画像ファイルの作成後、先に処理した画像認識結果をＥｘｉｆのヘッダーに設定する（Ｓ４０４）。

また、撮像装置１は、画像認識結果と共に画像認識処理に用いた認識画像も画像ファイルに追加する（Ｓ４０５）。

画像認識結果と認識画像とを設定後、撮像装置１は、画像ファイルをＲＡＭ１０７やメモリカード１９２に記録する（Ｓ４０６）。

図２１は、認識画像保存処理後のファイルフォーマットを示す模式図である。同図に示すように、認識画像保存処理後のファイルフォーマットには、撮像画像（主画像データ）ＩＤと共にサムネイル画像ＳＩと画像ヘッダーＩＨと認識画像ＲＤとが記録される

以上説明したように、撮像装置１は、認識画像保存処理を行うことにより、画像ファイルに画像認識結果と認識画像とを含めて保存することができる。

●撮像装置の画面遷移
次に、撮像装置１による、ＬＣＤモニタ１０の画面遷移動作について説明する。

図２２は、撮像装置１のＬＣＤモニタ１０の画面遷移を示す模式図である。同図に示すようにＬＣＤモニタ１０には、画像ファイル再生画面１０Ａと、画像認識結果表示画面１０Ｂと、認識画像表示画面１０Ｃとが表示される。

ここで、画像ファイル再生画面１０Ａとは、画像ファイルに含まれる通常の撮像画像をＬＣＤモニタ１０に再生（表示）する画面である。

また、画像認識結果表示画面１０Ｂとは、通常の撮像画像、認識画像、または２値画像と同時に、画像認識結果をＬＣＤモニタ１０に表示する画面である。図２２において、画像認識結果表示画面１０Ｂには、通常の撮像画像に画像認識結果を重畳して表示している。

図２３は、撮像装置のメモリテーブルを示す模式図である。画像認識結果表示画面１０Ｂには、同図に示すような画像認識結果と共に画像ヘッダーに保存される画像ファイルに関連するその他の情報（車両に関する詳細情報など）を表示することもできる。

さらに、認識画像表示画面１０Ｃとは、画像認識処理に用いた認識画像をＬＣＤモニタ１０に表示する画面である。

図２２に示すように、撮像装置１では、ディスプレイスイッチＳＷ９を押下するたびに、画像ファイル再生画面１０Ａと、画像認識結果表示画面１０Ｂと、認識画像表示画面１０Ｃとの表示を切り替えることができる。

そのため、撮像装置１では、画像ファイルに含まれる画像認識結果を、撮像画像と同時に確認することができる。

以上説明した実施の形態によれば、撮像装置１は、抽出条件に基づいて基準画像の大きさに対して所定の大きさの比を有する対象画像のみを抽出して、画像認識処理を行うため、画像認識結果における誤認識を防止することができる。

●撮像装置（２）●
次に、本発明に係る撮像装置の別の実施の形態について、先に説明した実施の形態の撮像装置との相違点を中心に説明する。

図２４は、本発明に係る撮像装置の別の実施の形態における取り込み後の認識画像を示す模式図である。同図に示すように、撮像装置１では、画像認識処理を行う認識画像として、先に説明した車両のナンバープレートのほかに、例えば工事現場における記録用の白板１００を対象にすることもできる。

ここで、白板１００には、例えば工事名、工種、測点、撮影日、撮影地点などの文字が表示されている。

図２５は、撮像装置１による画像認識処理結果を示す模式図である。同図に示すように、撮像装置１では、白板１００に表示されている文字を前述の画像認識処理により、誤認識することなく文字情報１００Ａとして認識することができる。

１ 撮像装置
２ 蓋
３ ストロボ発光部
４ ファインダ
６ リモコン受光部
７ 鏡胴ユニット
７−１ ＺＯＯＭ光学系
７−２ ＦＯＣＵＳ光学系
７−３ ユニット
７−４ メカシャッタユニット
７−５ モータードライバ
９ ストロボＬＥＤ
１０ ＬＣＤモニタ
１０Ａ 画像ファイル再生画面
１０Ｂ 画像認識結果表示画面
１０Ｂ 認識画像表示画面
１３ 電源スイッチ
１００ 白板
１０１ ＣＣＤ
１０２ Ｆ／Ｅ−ＩＣ
１０２−１ ＣＤＳ
１０２−３ Ａ／Ｄ変換部
１０３ ＳＤＲＡＭ
１０４ デジタルスチルカメラプロセッサ
１０４−１ ＣＣＤ信号処理ブロック
１０４−２ ＣＣＤ信号処理ブロック
１０４−３ ＣＰＵブロック
１０４−５ ＵＳＢブロック
１０４−６ シリアルブロック
１０４−７ ＣＯＤＥＣブロック
１０４−９ ＴＶ信号表示ブロック
１０４−１０ メモリカードコントローラブロック
１０８ ＲＯＭ
１１４ ストロボ回路
１１７ ＬＣＤドライバ
１１８ ビデオアンプ
１１９ ビデオジャック
１２０ 内蔵メモリ
１２２ ＵＳＢコネクタ
１２３−１ シリアルドライバ回路
１２３−２ ＲＳ−２３２Ｃコネクタ
１０２１ ＣＤＳ
１９１ メモリカードスロット
１９２ メモリカード
Ａ１ 枠
Ｃ１ 文字
Ｃ２ 文字
Ｆ１ 誤認識文字
Ｆ２ 誤認識文字
ＩＨ 画像ヘッダー
ＩＤ 主画像データ
Ｎ１ 数字
Ｎ２ 数字
ＮＰ ナンバープレート
ＲＤ 認識画像
ＳＩ サムネイル画像
Ｔ１ 対象画像
Ｔ２ 対象画像

特許第３８６６６００号公報 特許第４７６０３６２号公報

Claims (11)

1. 認識画像を取得する画像取得部と、
   抽出条件に基づいて、前記認識画像に含まれる複数の個別画像の中から、画像認識処理を行う対象画像を抽出する抽出部と、
   前記対象画像に対する画像認識処理を施して認識結果を出力する認識部と、
   を有してなり、
   前記抽出条件は、前記認識画像における前記個別画像の大きさに関する条件である、
   ことを特徴とする画像認識装置。
2. 前記認識画像を２値画像に変換する変換部、
   を備え、
   前記抽出部は、前記抽出条件に基づいて、前記２値画像に含まれる複数の個別画像の中から、画像認識処理を行う対象画像を抽出し、
   前記抽出条件は、前記２値画像における前記個別画像の大きさに関する条件である、
   請求項１記載の画像認識装置。
3. 前記抽出条件は、前記認識画像または２値画像に含まれる基準画像の大きさに対する前記個別画像の大きさの比である、
   請求項１または２記載の画像認識装置。
4. 前記２値画像の基準値を変更する基準値変更部と、
   を備え、
   前記変換部は、前記基準値に基づいて前記認識画像を前記２値画像に変換する、
   請求項２または３記載の画像認識装置。
5. 前記認識結果が表示される表示部、
   を備え、
   前記表示部には、前記認識結果が、前記２値画像と同時に表示される、
   請求項２乃至４のいずれかに記載の画像認識装置。
6. 前記認識結果が表示される表示部、
   を備え、
   前記表示部には、前記認識結果が、前記認識画像と同時に表示される、
   請求項１記載の画像認識装置。
7. 認識画像を取得する画像取得ステップと、
   抽出条件に基づいて、前記認識画像に含まれる複数の個別画像の中から、画像認識処理を行う対象画像を抽出する抽出ステップと、
   前記対象画像に対する画像認識処理を施して認識結果を出力する認識ステップと、
   を情報処理装置に実行させる画像認識プログラムであり、
   前記抽出条件は、前記認識画像における前記個別画像の大きさに関する条件である、
   ことを特徴とする画像認識プログラム。
8. 認識画像を取得する画像取得ステップと、
   抽出条件に基づいて、前記認識画像に含まれる複数の個別画像の中から、画像認識処理を行う対象画像を抽出する抽出ステップと、
   前記対象画像に対する画像認識処理を施して認識結果を出力する認識ステップと、
   を情報処理装置が実行する画像認識方法であり、
   前記抽出条件は、前記認識画像における前記個別画像の大きさに関する条件である、
   ことを特徴とする画像認識方法。
9. 取得した認識画像に含まれる個別画像を画像認識する画像認識装置を有してなる撮像装置であって、
   前記画像認識装置は、
   認識画像を取得する画像取得部と、
   抽出条件に基づいて、前記認識画像に含まれる複数の個別画像の中から、画像認識処理を行う対象画像を抽出する抽出部と、
   前記対象画像に対する画像認識処理を施して認識結果を出力する認識部と、
   を有してなり、
   前記抽出条件は、前記認識画像における前記個別画像の大きさに関する条件である、
   ことを特徴とする撮像装置。
10. 認識モードと撮影モードとの２つの動作モードが切替可能であって、
    前記画像認識装置が出力する前記認識結果を記憶する記憶部と、
    前記記憶部に記憶された前記認識結果が表示される表示部と、
    を備え、
    前記認識モードに切り替えられているときに、前記画像認識装置が出力する前記認識結果が前記記憶部に記憶され、
    前記撮影モードに切り替えられているときに、前記画像認識装置が取得した撮像画像が前記認識結果と関連付けて前記記憶部に記憶され、
    前記記憶部に関連付けて記憶されている前記認識結果と前記撮像画像とは、同時に前記表示部に表示される、
    請求項９記載の撮像装置。
11. 前記認識画像を２値画像に変換する変換部、
    を備え、
    前記抽出部は、前記抽出条件に基づいて、前記２値画像に含まれる複数の個別画像の中から、画像認識処理を行う対象画像を抽出し、
    前記抽出条件は、前記２値画像における前記個別画像の大きさに関する条件であり、
    前記認識モードに切り替えられているときに、前記画像認識装置が出力する前記認識結果と、前記画像認識装置が変換した前記２値画像と、が関連付けて前記記憶部に記憶され、
    前記撮影モードに切り替えられているときに、前記画像認識装置が出力する前記認識結果と、前記画像認識装置が取得した撮像画像と、が関連付けて前記記憶部に記憶され、
    前記記憶部に関連付けて記憶されている前記認識結果と前記２値画像と前記撮像画像とは、同時に前記表示部に表示される、
    請求項９または１０記載の撮像装置。

Images