JP2006186930A - 撮像装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】特殊なセンサ類を必要とせずに、撮影画像の向きに応じた適切な処理を行うことのできる撮像装置を提供する。
【解決手段】カメラ本体を横または縦に向けた状態で被写体を撮影可能な撮像装置において、撮影画像を複数の異なる方向から文字認識するための文字認識部３２ａを備える。制御部３２は、この文字認識部３２ａによって得られた各方向の認識文字数をカウント数記憶部３２ｂに記憶し、最も多く文字を認識できた方向を当該撮影画像の向きとして判別する。これにより、特殊なセンサ類を必要とせずに、撮影画像の向きを検出可能とし、その向きに応じた適切な処理を行うことができる。
【選択図】 図２

Description

本発明は、例えばデジタルカメラ等の撮像装置に係り、特に、画像データを縦横変換して記録する場合などに用いて好適な撮像装置と、この撮像装置に用いられる画像処理方法及びプログラムに関する。

デジタルカメラで被写体を撮影する場合に、撮影者は被写体の構図によってカメラ本体を横向きに構えて撮影したり、縦向きに構えて撮影することがある。ところが、カメラ側では、通常、横向きの状態で撮影画像を記録するため、撮影者がカメラを縦向きにして撮影した場合には、後に当該撮影画像を９０度回転させて再生表示するといった面倒な操作が必要となる。

従来、カメラ本体に縦横センサを組み込んでおき、この縦横センサによって撮影画像の向きを検出して、その結果を当該撮影画像に付しておく方法が知られている（例えば、特許文献１参照）。

なお、「撮影画像の向き」とは、撮影時のカメラ本体の向きに対応したものであり、カメラ本体を横向きにして撮影した画像を「横画像」、カメラを縦向きにして撮影した画像を「縦画像」と一般的に呼んでいる。

また、縦横センサとしては、例えば筐体内部に導電体の球を有し、その筐体内部四隅にそれぞれ電極が設置されたものが用いられる。筐体が傾くと、内部の球が傾いた方向に移動し、筐体内部の電極に触れ、その接触した電極が通電状態になることを検知して傾きを検出する。
特開平１０−２４３２６３号公報（段落番号[００２０]、[００４１]）

上述したように、従来、縦横センサを用いて撮影画像の向きを検出する方法はあった。しかしながら、このような方法では、カメラ本体に縦横センサを組み込むための実装スペースを必要とするため、機器が大型化し、また、部品点数の増加に伴いコストアップするなどの問題がある。

本発明は前記のような点に鑑みなされたもので、特殊なセンサ類を必要とせずに、撮影画像の向きに応じた適切な処理を行うことのできる撮像装置、画像処理方法及びプログラムを提供することを目的とする。

本発明の請求項１に係る撮像装置は、カメラ本体を横または縦に向けた状態で被写体を撮影可能な撮像装置において、撮影画像を複数の異なる方向から文字認識する文字認識手段と、この文字認識手段の認識結果に基づいて当該撮影画像の向きを判別する判別手段と、この判別手段によって判別された向きに応じて当該撮影画像を適切に処理する画像処理手段とを具備して構成される。

このような構成によれば、撮影画像に含まれる文字を認識できた方向を当該撮影画像の向きとして判別することで、特殊なセンサ類を必要とせずに、撮影画像の向きを検出可能とし、その向きに応じた適切な処理を行うことができる。

また、本発明の請求項２は、前記請求項１記載の撮像装置において、前記文字認識手段は、撮影画像を少なくとも３つの異なる方向から文字認識するものであり、第１の方向は前記カメラ本体を横向きにした状態で撮影した画像に対応し、第２の方向は前記カメラ本体を横向きの状態から一方の方向に傾けて縦向きにして撮影した画像に対応し、第３の方向は前記カメラ本体を横向きの状態から他方の方向に傾けて縦向きにして撮影した画像に対応していることを特徴とする。

このような構成によれば、カメラ本体を横向きにした状態で撮影した画像に対応した第１の方向と、カメラ本体を横向きの状態から一方の方向に傾けて縦向きにして撮影した画像に対応した第２の方向、カメラ本体を横向きの状態から他方の方向に傾けて縦向きにして撮影した画像に対応した第３の方向から文字認識を行うことで、これらの認識方向から撮影画像の向きを判別することができる。

また、本発明の請求項３は、前記請求項１または２記載の撮像装置において、撮影画像を複数の異なるエリアに分割する分割手段を備え、前記文字認識手段は、前記分割手段によって分割された各エリア内の画像を認識対象として抽出し、各エリア毎に所定の順で文字認識を行うことを特徴とする。

このような構成によれば、撮影画像を各エリアに分割して文字認識することで、これらエリア毎の認識結果を順に検査しながら当該撮影画像の向きを迅速に判別することができる。

また、本発明の請求項４は、前記請求項１記載の撮像装置において、前記判別手段は、前記文字認識手段によって撮影画像を各方向で文字認識して得られた文字数を比較し、最も多く文字認識できた方向を当該撮影画像の向きとして判別することを特徴とする。

このような構成によれば、撮影画像を各方向で文字認識した場合に、最も多く文字を認識できた方向が当該撮影画像の向きとして判別される。

また、本発明の請求項５は、前記請求項１記載の撮像装置において、撮影画像を記録するための記録手段を備え、前記画像処理手段は、前記判別手段によって判別された向きに応じて当該撮影画像を回転させて前記記録手段に記録することを特徴とする。

このような構成によれば、撮影画像を記録するときに、その撮影画像の向きが判別されて適切に処理される。

また、本発明の請求項６は、前記請求項１記載の撮像装置において、撮影画像を記録するための記録手段と、再生時に前記記録手段に記録された撮影画像を表示する表示手段とを備え、前記画像処理手段は、前記判別手段によって判別された向きに応じて当該撮影画像を回転させて前記表示手段に表示することを特徴とする。

このような構成によれば、撮影画像を再生表示するときに、その撮影画像の向きが判別されて適切に処理される。

また、本発明の請求項７は、前記請求項１、５または６記載の撮像装置において、前記判別手段によって得られた向きを判別結果として表示する判別結果表示手段と、この判別結果表示手段によって表示された向きを訂正する訂正手段とを具備し、前記画像処理手段は、前記訂正手段による訂正後の向きに応じて当該撮影画像を適切に処理することを特徴とする。

このような構成によれば、判別結果として得られた撮影画像の向きを必要に応じて適宜訂正することができ、その訂正後の向きに応じて当該撮影画像が適切に処理される。

本発明の請求項８に係る画像処理方法は、カメラ本体を横または縦に向けた状態で被写体を撮影可能な撮像装置に用いられる画像処理方法において、撮影画像を複数の異なる方向から文字認識するステップと、この文字認識結果に基づいて当該撮影画像の向きを判別するステップと、この判別された向きに応じて当該撮影画像を適切に処理するステップとを備えたことを特徴とする。

このような画像処理方法によれば、前記各ステップに従った処理を実行することにより、前記請求項１記載の発明と同様の作用効果が奏せられる。

本発明の請求項９に係るプログラムは、カメラ本体を横または縦に向けた状態で被写体を撮影可能な撮像装置に搭載されたコンピュータによって実行されるプログラムであって、前記コンピュータに、撮影画像を複数の異なる方向から文字認識する機能と、この文字認識結果に基づいて当該撮影画像の向きを判別する機能と、この判別された向きに応じて当該撮影画像を適切に処理する機能とを実現させることを特徴とする。

したがって、コンピュータが前記各機能を実現するためのプログラムを実行することにより、前記請求項１記載の発明と同様の作用効果が奏せられる。

本発明によれば、撮影画像を複数の異なる方向から文字認識し、その認識結果に基づいて当該撮影画像の向きを判別して処理するようにしたため、その都度、ユーザ自身が撮影画像の向きに応じて当該撮影画像を回転させるなどの面倒な操作を必要とせずに適切に処理することができ、また、方向判別に特殊なセンサ類を必要としないため、機器の小型化やコストダウンを図ることができる。

以下、図面を参照して本発明の実施形態を説明する。

図１は本発明の第１の実施形態に係る撮像装置としてデジタルカメラを例にした場合の外観構成を示す図であり、図１（ａ）は主に前面の構成、同図（ｂ）は主に背面の構成を示す斜視図である。

このデジタルカメラ１は、略矩形の薄板状のカメラ本体２の前面に、撮影レンズ３、セルフタイマランプ４、光学ファインダ窓５、ストロボ発光部６、マイクロホン部７などを有し、上面の（ユーザにとって）右端側には電源キー８及びシャッタキー９などが設けられている。

電源キー８は、電源のオン／オフ毎に操作するキーであり、シャッタキー９は、撮影時に撮影タイミングを指示するキーである。

また、デジタルカメラ１の背面には、撮影モード（Ｒ）キー１０、再生モード（Ｐ）キー１１、光学ファインダ１２、スピーカ部１３、マクロキー１４、ストロボキー１５、メニュー（ＭＥＮＵ）キー１６、リングキー１７、セット（ＳＥＴ）キー１８、表示部１９などが設けられている。

撮影モードキー１０は、電源オフの状態から操作することで自動的に電源オンとして静止画の撮影モードに移行する一方で、電源オンの状態から繰返し操作することで、静止画モード、動画モードを循環的に設定する。静止画モードは、静止画を撮影するためのモードである。また、動画モードは、動画を撮影するためのモードであり、特に本実施形態では音声付き動画の撮影が可能であるとする。

前記シャッタキー９は、これらの撮影モードに共通に使用される。すなわち、静止画モードでは、シャッタキー９が押下されたときのタイミングで静止画の撮影が行われる。動画モードでは、シャッタキー９が押下されたときのタイミングで動画の撮影が開始され、シャッタキー９が再度押下されたときにその動画の撮影が終了する。

再生モードキー１１は、電源オフの状態から操作することで自動的に電源オンとして再生モードに移行する。光学ファインダ１２は、撮影時にユーザが撮影対象となる被写体を光学的に確認するためのものである。

マクロキー１４は、静止画の撮影モードで通常撮影とマクロ撮影とを切換える際に操作する。ストロボキー１５は、ストロボ発光部６の発光モードを切換える際に操作する。メニューキー１６は、各種メニュー項目等を選択する際に操作する。リングキー１７は、上下左右各方向への項目選択用のキーが一体に形成されたものであり、このリングキー１７の中央に位置するセットキー１８は、その時点で選択されている項目を設定する際に操作する。

表示部１９は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生モード時には選択した画像等を再生表示する。

なお、図示はしないがデジタルカメラ１の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとして、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタ等が設けられている。

図２はデジタルカメラ１の電子回路構成を示すブロック図である。

このデジタルカメラ１には、前記撮影レンズ３を構成する図示せぬフォーカスレンズおよびズームレンズを含むレンズ光学系２２がモータ２１の駆動により光軸方向に所定の範囲内で移動可能に設けられており、その光軸後方に撮像素子であるＣＣＤ２３が配設されている。このＣＣＤ２３は、撮影レンズ３を通して入力される被写体の各部位からの光を受光し、その光の強度に応じた電気信号を出力する。

基本モードである記録モード時において、ＣＣＤ２３がタイミング発生器（ＴＧ）２４、ドライバ２５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。このＣＣＤ２３の光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路２６でサンプルホールドされ、Ａ／Ｄ変換器２７でデジタルデータに変換される。

そして、カラープロセス回路２８において、画素補間処理及びγ補正処理を含む画像処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｕ，Ｖ（Ｃｂ，Ｃｒ）が生成され、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ２９に出力される。

ＤＭＡコントローラ２９は、カラープロセス回路２８の出力する輝度信号Ｙ及び色差信号Ｕ，Ｖを、同じくカラープロセス回路２８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ２９内部のバッファに書き込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）３０を介してバッファメモリとして使用されるＤＲＡＭ３１にＤＭＡ転送を行う。

制御部３２は、デジタルカメラ１全体の制御を行うものであり、ＣＰＵと、このＣＰＵで実行される動作プログラムを記憶したＲＯＭ、及びワークメモリとして使用されるＲＡＭなどを含むマイクロコンピュータにより構成される。本実施形態において、この制御部３２には、文字認識部３２ａとカウント数記憶部３２ｂが設けられる。

文字認識部３２ａは、画像中に含まれる文字を認識処理する。なお、ここでは文字認識部３２ａを制御部３２内に組み込む構成としたが、制御部３２とは別に認識エンジンとして設けることも可能である。カウント数記憶部３２ｂは、後述する３つの方向で撮影画像を文字認識した場合に得られる文字数（Ｒａ，Ｒｂ，Ｒｃ）を記憶する部分である。

制御部３２は、前記輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース３０を介してＤＲＡＭ３１より読み出し、ＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に書き込む。

デジタルビデオエンコーダ３５は、前記輝度及び色差信号をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４より定期的に読み出し、これらのデータを元にビデオ信号を発生して表示部１９に出力する。

この表示部１９は、上述した如く撮影時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ３５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ３３から取込んでいる画像情報に基づく画像をリアルタイムに表示することとなる。

このように、表示部１９にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、例えば静止画撮影を行いたいタイミングでシャッタキー９を押下操作すると、トリガ信号が発生する。

制御部３２は、このトリガ信号に応じて、その時点でＣＣＤ２３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送の終了後、直ちにＣＣＤ２３からのＤＲＡＭ３１への経路を停止し、記録保存の状態に遷移する。

この記録保存の状態では、制御部３２がＤＲＡＭ３１に書き込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース３０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読み出して、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）回路３７に書き込み、このＪＰＥＧ回路３７でＡＤＣＴ（Ａｄａｐｔｉｖｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。

そして得た符号データを該ＪＰＥＧ回路３７から読み出して１画像のデータファイルとして記録用のメモリ３８に書き込む。このメモリ３８としては、予め本体に内蔵されたフラッシュメモリ等の内部メモリの他に、記録媒体として着脱自在に装着されるメモリカードなどを含む。１フレーム分の輝度及び色差信号の圧縮処理及びメモリ３８への全圧縮データの書込み終了に伴って、制御部３２はＣＣＤ２３からＤＲＡＭ３１への経路を再び起動する。

制御部３２には、さらに音声処理部３９、ＵＳＢインタフェース（Ｉ／Ｆ）４０、ストロボ駆動部４１が接続される。

音声処理部３９は、ＰＣＭ音源等の音源回路を備え、音声の録音時には前記マイクロホン部（ＭＩＣ）７より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（ＭＰＥＧ−１ ａｕｄｉｏ ｌａｙｅｒ ３）規格に従ってデータ圧縮して音声データファイルを作成してメモリ３８へ送出する一方、音声の再生時にはメモリ３８から読み出された音声データファイルの圧縮を解いてアナログ化し、上述したデジタルカメラ１の背面側に設けられるスピーカ部（ＳＰ）１３を通じて出力する。

ＵＳＢインタフェース４０は、ＵＳＢコネクタを介して有線接続されるパーソナルコンピュータ等の他の情報端末装置との間で画像データ、その他の送受を行う場合の通信制御を行う。ストロボ駆動部４１は、撮影時に図示せぬストロボ用の大容量コンデンサを充電した上で、制御部３２からの制御に基づいてストロボ発光部６を閃光駆動する。

なお、前記キー入力部３６は、上述したシャッタキー９の他に、電源キー８、撮影モードキー１０、再生モードキー１１、マクロキー１４、ストロボキー１５、メニューキー１６、リングキー１７、セットキー１８などから構成され、それらのキー操作に伴う信号は直接制御部３２へ送出される。

また、静止画像ではなく動画像の撮影時においては、シャッタキー９が押下操作されたときに、上述したＪＰＥＧ回路３７によりｍｏｔｉｏｎ−ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの手法により撮影動画をデータ圧縮してメモリ３８へ記録する。再度シャッタキー９が操作されると、動画データの記録を終了する。

一方、基本モードである再生モード時には、制御部３２がメモリ３８に記録されている画像データを選択的に読み出し、ＪＰＥＧ回路３７で記録モード時にデータ圧縮した手順と全く逆の手順で、圧縮されている画像データを伸長する。そして、この伸長した画像データをＤＲＡＭインタフェース３０を介してＤＲＡＭ３１に保持させた上で、このＤＲＡＭ３１の保持内容をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に記憶させ、このＶＲＡＭ３４より定期的に画像データを読み出してビデオ信号を発生し、表示部１９で再生出力させる。

選択した画像データが静止画像ではなく動画像であった場合には、その動画データを構成する複数フレームの静止画データを時系列の順で順次再生して表示し、すべての静止画データの再生を終了した時点で、例えば、次に再生の指示がなされるまで先頭に位置する静止画データを表示するなどを行う。

図３はデジタルカメラ１の撮影時のカメラ本体２の向きを示す図である。

被写体を撮影する場合に、その被写体の構図によってカメラ本体２を横向きに構えて撮影したり、縦向きに構えて撮影することがある。図３（ａ）はカメラ本体２を横向きにした状態である。例えば集合写真を撮る場合など、被写体の画像を横方向に納めたい場合に、このような構えで撮影を行うことが多い。

また、同図（ｂ）はカメラ本体２を横向きの状態から一方の方向に９０度傾けて縦向きにした状態、つまり、撮影者から見てカメラ本体２を右９０度回転させてシャッタキー８を下にした状態である。同図（ｃ）はカメラ本体２を横向きの状態から他方の方向に９０度傾けて縦向きにした状態、つまり、撮影者から見てカメラ本体２を左９０度回転させてシャッタキー８を上にした状態である。例えば建物を撮る場合など、被写体の画像を縦方向に納めたい場合に、このような構えで撮影を行うことが多い。

図４は撮影画像と文字認識の各方向との関係を説明するための図である。図中のＡ，Ｂ，Ｃは文字認識の方向を示す。

デジタルカメラ１によって撮影された各画像は、図４に示すように横向きを基準にして記録される。このため、図３（ｂ），（ｃ）に示したように、撮影者がカメラ本体２を縦向きに構えて撮影すると、後に当該撮影画像を画面上で確認する場合に９０度回転させる作業が必要となる。

そこで、本発明では、撮影画像に含まれる文字を認識し、その認識できた方向から撮影時の向きつまり撮影画像の向きを判別することで、その向きに応じた適切な処理を行うことを特徴とするものである。

具体的には、図４に示すように、撮影画像をＡ，Ｂ，Ｃの各方向にスキャニングして、当該撮影画像に含まれる文字を認識する。Ａ方向は、図３（ａ）のようにカメラ本体２を横向きにした状態で撮影した画像に対応している。Ｂ方向は、図３（ｂ）のようにカメラ本体２のシャッタキー８を下に縦向きにした状態で撮影した画像に対応している。Ｃ方向は、図３（ｃ）のようにカメラ本体２のシャッタキー８を上に縦向きにした状態で撮影した画像に対応している。

これらＡ，Ｂ，Ｃの各方向で撮影画像の文字認識を行った結果、最も多く文字を認識できた方向を撮影画像の向きと判別する。つまり、例えばＡ方向で最も多く文字を認識できたとしたら、当該撮影画像は横向きにした状態で撮影した画像ものと判別して、その向きに応じた適切な処理を行う。つまり、当該撮影画像を横向きの状態で記録したり、再生時に横向きの状態で画面上に表示するなどを行う。

なお、図３（ａ）の状態を逆さにしてシャッタキー８を下側に構えて、被写体を撮影するようなことはあまりないため、その向きは判別対象外とし、図４のＡ方向とは逆方向での文字認識は行わないものとする。

次に、図５および図６のフローチャートを参照しながら、デジタルカメラ１の動作について詳しく説明する。なお、以下のフローチャートで示される処理は、デジタルカメラ１に搭載されたマイクロコンピュータである制御部３２がＲＯＭ等に記録されたプログラムを読み込むことにより実行される。

図５および図６は第１の実施形態におけるデジタルカメラ１の撮影時の処理動作を示すフローチャートである。

今、撮影モードキー１０の操作により静止画撮影モードを設定した状態で、撮影者が被写体に向かってカメラ本体２を図３（ａ）〜（ｃ）のいずれかの構えで静止画の撮影を行う場合を想定する。

シャッタキー８の押下に伴い（ステップＡ１１のＹｅｓ）、撮像素子であるＣＣＤ２３を通じて被写体の撮影画像が取り込まれる（ステップＡ１２）。なお、撮影処理については図２で既に詳しく説明しているため、ここでは省略する。

前記ＣＣＤ２３を通じて被写体の撮影画像は、所定のカラープロセス処理を経た後、バッファメモリとして使用されるＤＲＡＭ３１に展開される（ステップＡ１３）。この場合、撮影時のカメラ本体２の構えに関係なく、図４に示すように撮影画像は横方向でＤＲＡＭ３１に格納される。

ここで、撮影画像の向きを判別するため、制御部３２は当該撮影画像に含まれる文字を各方向から認識処理する。

すなわち、まず、制御部３２は、前記ＤＲＡＭ３１に格納された撮影画像に対し、図４のＡ方向からスキャニングして文字認識を行う（ステップＡ１４）。なお、撮影画像に含まれる文字を認識するための方法としては、一般的に知られている公知の技術を用いるものとし、その詳しい説明は省略する。

一般的には、撮影画像を所定の方向にスキャニングしていき、文字に相当する部分の輪郭を追跡して切り出すといった処理を行う。この場合、切り出した文字画像の識別法として、パターン整合法と構造解析法が用いられる。

パターン整合法は、切り出した文字画像のパターンを予め文字認識用の辞書に登録された標準文字パターンとマッチングして文字を認識する方法であり、パターンの整合度を上げるために複合類似度法が用いられることが多い。複合類似度法は、特徴抽出の重付け標準文字パターンを文字カテゴリごとに複数用意してマッチングを行う方法である。また、構造解析法は、細線化、折れ線近似処理などの前処理を経て、屈曲点の特徴を抽出して標準パターンの特徴部と順次照合する方法である。

その他、様々な画像処理を利用して文字を認識する技術が存在するが、本発明は特にその方法について限定されるものではない。また、本発明では、撮影画像中の文字を認識可能な方向を判別することが目的であるため、その文字自体の認識精度に関しては特に要求されるものではない。

このような方法により撮影画像をＡ方向から文字認識すると、制御部３２は当該撮影画像の中で認識できた文字数をカウントし（ステップＡ１５）、そのカウント数（Ｒａとする）をカウント数記憶部３２ｂに記憶する（ステップＡ１６）。図４の例では、Ａ方向の文字認識により撮影画像中の「ＡＢＣチーム」の５文字が順次認識されて、カウント数Ｒａ＝５となる。

続いて、制御部３２は、前記ＤＲＡＭ３１に格納された撮影画像に対し、図４のＢ方向からスキャニングして文字認識を行う（ステップＡ１７）。そして、制御部３２は当該撮影画像の中で認識できた文字数をカウントし（ステップＡ１８）、そのカウント数（Ｒｂとする）をカウント数記憶部３２ｂに記憶する（ステップＡ１９）。図４の例では、Ｂ方向では文字を認識できないので、カウント数Ｒｂ＝０である。

また、制御部３２は、前記ＤＲＡＭ３１に格納された撮影画像に対し、図４のＣ方向からスキャニングして文字認識を行う（ステップＡ２０）。そして、制御部３２は当該撮影画像の中で認識できた文字数をカウントし（ステップＡ２１）、そのカウント数（Ｒｃとする）をカウント数記憶部３２ｂに記憶する（ステップＡ２２）。図４の例では、Ｃ方向では文字を認識できないので、カウント数Ｒｃ＝０である。

上述したように、Ａ方向は図３（ａ）のようにカメラ本体２を横向きにして撮影した画像、Ｂ方向は図３（ｂ）のようにカメラ本体２のシャッタキー８を下に縦向きにして撮影した画像（撮影者から向かって右９０度回転させた縦向きの画像）、Ｃ方向は図３（ｃ）のようにカメラ本体２のシャッタキー８を上に縦向きにして撮影した画像（撮影者から向かって左９０度回転させた縦向きの画像）に対応している。

ここで、制御部３２は、カウント数記憶部３２ｂに記憶したカウント数Ｒａ，Ｒｂ，Ｒｃを比較する（ステップＡ２３）。その比較の結果、Ｒａ＞Ｒｂ，Ｒｃであった場合、つまり、Ａ方向の文字認識で得られた文字数が最も多かった場合に、制御部３２は当該撮影画像を横向きの画像であると判別する（ステップＡ２４）。

また、Ｒｂ＞Ｒａ，Ｒｃであった場合、つまり、Ｂ方向の文字認識で得られた文字数が最も多かった場合に、制御部３２は当該撮影画像を右９０度回転させた縦向きの画像であると判別する（ステップＡ２５）。Ｒｃ＞Ｒａ，Ｒｂであった場合、つまり、Ｃ方向の文字認識で得られた文字数が最も多かった場合に、制御部３２は当該撮影画像を左９０度回転させた縦向きの画像であると判別する（ステップＡ２６）。一方、Ｒａ＝Ｒｂ＝Ｒｃであった場合には（すべてが０の場合も含む）、制御部３２は判別不可とする（ステップＡ２７）。図４の例では、Ｒａの値が最も多くなるので、その撮影画像は横向きの画像であると判別されることになる。

このようにして、撮影画像を文字認識できた方向に基づいて当該撮影画像の向きを判別した場合に、その判別結果を直ぐに撮影画像に反映させて記録するのではなく、一旦撮影者に確認させることが好ましい。これは、撮影者によっては、縦向きで撮った画像を通常通り横向きの状態で記録しておきたい場合もあるためである。

そこで、制御部３２は、例えば「今撮影した画像は右９０度回転させた縦向きの画像として記録します。よろしいですか？」といったようなメッセージを判別結果として表示部１９の画面上に表示する（ステップＡ２８）。その結果、撮影者（ユーザ）から特に訂正の指示がなければ、あるいは、判別結果に従うといったＯＫ指示が明示的にあれば（ステップＡ２９のＮｏ）、制御部３２は、前記判別結果に対応したフラグを撮影画像に付加した後、その撮影画像をＪＰＥＧ回路３７で圧縮処理してメモリ３８に記録する（ステップＡ３１）。

また、前記ステップＡ２９で判別結果に対する訂正指示があれば、制御部３２はその訂正指示に従って判別結果を訂正することにより（ステップＡ３０）、その訂正後の判別結果に対応したフラグを撮影画像に付加して記録する（ステップＡ３１）。この場合、例えば、判別結果では「右９０度回転させた縦向きの画像」として記録するところを、撮影者（ユーザ）から「横向き画像」に訂正する指示があれば、当該撮影画像に「横向き画像」のフラグ（Ｆａとする）を付して記録することになる。

以後、例えば再生を行う場合において、制御部３２はその再生対象として選択された撮影画像のフラグに基づいて当該撮影画像を回転させて表示部１９の画面上に表示するといった処理を行う。

図７および図８に具体例を挙げる。それぞれに（ａ）図は撮影画像の記録状態、（ｂ）図は撮影画像の再生状態を表している。

例えば、撮影画像が図７（ａ）のように横向きに記録されている場合において、「右９０度回転させた縦向きの画像」を示すフラグ（Ｆｂとする）が付加されているものとする。このような場合には、再生の際にフラグＦｂに従って当該撮影画像が撮影時と同じ向きつまり右９０度回転させた状態で画面上に表示されることになる。

また、撮影画像が図８（ａ）のように横向きに記録されている場合において、「左９０度回転させた縦向きの画像」を示すフラグ（Ｆｃとする）が付加されているものとする。このような場合には、再生の際にフラグＦｃに従って当該撮影画像が撮影時と同じ向きつまり左９０度回転させた状態で画面上に表示されることになる。

このように、撮影画像に付されたフラグに従って当該撮影画像が自動的に適正な向きに変えられて表示される。したがって、その都度、ユーザ自身が撮影画像の向きを考えながら回転させるといった面倒な操作を必要とせずに、撮影時と同じ向きで撮影画像を画面上で確認することができる。また、縦横センサのような特殊なセンサ類を必要としないため、機器の小型化やコストダウンを図ることも可能である。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

前記第１の実施形態では、撮影画像の全体を検索範囲としてＡ，Ｂ，Ｃの各方向に文字認識を行うものとしたが、スピードアップのために、撮影画像を複数のエリアに分割し、そのエリア毎に文字認識を行うようにしても良い。

具体的には、図９に示すように、撮影画像をその中心点を基準にして複数（ここでは３つ）の矩形エリアＥａ，Ｅｂ，Ｅｃに分割する。そして、まず、矩形エリアＥａ内の画像に対してＡ，Ｂ，Ｃの各方向に文字認識を行う。この矩形エリアＥａ内の画像に対する文字認識結果から当該撮影画像の向きが判別できれば、ここで終了する。判別不可であれば、次に矩形エリアＥｂからＥａを引いた範囲で同様に文字認識する。判別不可であれば、次に矩形エリアＥｃからＥｂを引いた範囲で同様に文字認識する。

以下に、図１０のフローチャートを参照して、具体的な処理動作について説明する。なお、ここでは分割認識を行う場合の処理についてのみ説明する。また、前記第１の実施形態と同様に、このフローチャートで示される処理は、デジタルカメラ１に搭載されたマイクロコンピュータである制御部３２がＲＯＭ等に記録されたプログラムを読み込むことにより実行される。

図１０は第２の実施形態におけるデジタルカメラ１の分割認識処理を示すフローチャートである。今、図９に示したように、撮影画像を３つの矩形エリアＥａ，Ｅｂ，Ｅｃに分割して文字認識する場合を想定する。

まず、制御部３２は、ＤＲＡＭ３１に格納された撮影画像の中心を含む矩形エリアＥａ内の画像を認識対象として抽出する（ステップＢ１１）。制御部３２は、この抽出した画像をＡ，Ｂ，Ｃの各方向に文字認識する（ステップＢ１２）。そして、制御部３２は、これらの方向での認識文字数を示すカウント数Ｒａ，Ｒｂ，Ｒｃに基づいて撮影画像の向きを判別する（ステップＢ１３）。

この場合、前記第１の実施形態で説明したように、Ａ方向は横向きの画像、Ｂ方向は右９０度回転させた縦向きの画像）、Ｃ方向は縦向きの画像に対応しており、最も認識文字数の多い方向が撮影画像の向きとして判別される。撮影画像の向きを判別できた場合には（ステップＢ１４のＹｅｓ）、制御部３２はその判別結果を表示部１９の画面上に表示して（ステップＢ２３）、ここでの処理を抜ける。

一方、前記矩形エリアＥａでは撮影画像の向きを判別できなかった場合には（ステップＢ１４のＮｏ）、制御部３２は、次に撮影画像の中心を含む矩形エリアＥｂからＥａを引いたエリア内の画像を次の認識対象として抽出する（ステップＢ１５）。制御部３２は、この抽出した画像をＡ，Ｂ，Ｃの各方向に文字認識する（ステップＢ１６）。そして、制御部３２は、これらの方向での認識文字数を示すカウント数Ｒａ，Ｒｂ，Ｒｃに基づいて撮影画像の向きを判別する（ステップＢ１７）。その結果、撮影画像の向きを判別できた場合には（ステップＢ１８のＹｅｓ）、制御部３２はその判別結果を表示部１９の画面上に表示して（ステップＢ２３）、ここでの処理を抜ける。

前記矩形エリアＥｂ−Ｅａのエリアでは撮影画像の向きを判別できなかった場合には（ステップＢ１８のＮｏ）、制御部３２は、次に撮影画像の中心を含む矩形エリアＥｃからＥｂを引いたエリア内の画像を次の認識対象として抽出する（ステップＢ１９）。制御部３２は、この抽出した画像をＡ，Ｂ，Ｃの各方向に文字認識する（ステップＢ２０）。そして、制御部３２は、これらの方向での認識文字数を示すカウント数Ｒａ，Ｒｂ，Ｒｃに基づいて撮影画像の向きを判別する（ステップＢ２１）。その結果、撮影画像の向きを判別できた場合には（ステップＢ２２のＹｅｓ）、制御部３２はその判別結果を表示部１９の画面上に表示して（ステップＢ２３）、ここでの処理を抜ける。

また、前記矩形エリアＥｃ−Ｅｂのエリアは最終エリアであるため、このエリアで撮影画像の向きを判別できなかった場合には（ステップＢ２２のＮｏ）、制御部３２は判別不可である旨の結果を表示部１９の画面上に表示して（ステップＢ２３）、ここでの処理を抜ける。

以後は、前記第１の実施形態と同様に、ユーザからの確認指示に従って、当該撮影画像に判別結果に対応したフラグを付してメモリ３８に記録しておく。これにより、撮影時に前記フラグに従って当該撮影画像を適切な向きに回転させて画面上に表示することが可能となる。

このように、撮影画像を複数のエリアに分割し、各エリア毎に文字認識を行って、撮影画像の向きが判別できた時点で処理を終了するので、撮影画像全体を検索範囲として文字認識する場合よりスピードアップを図ることができる。

なお、エリアの分割数や分割範囲などは、図示せぬ設定画面によりユーザが適宜設定可能であり、また、エリア毎に認識を行う順番も適宜設定可能であるとする。前記設定画面は、メニューキー１６の操作により表示される。制御部３２は、この設定画面にて任意に設定されたエリア情報に基づいて撮影画像をエリア毎に順に文字認識する。

また、前記各実施形態では、撮影時に撮影画像をメモリに記録する際に、その向きを判別するものとして説明したが、例えばメモリ３８に既に記録されている撮影画像を再生する場合に、前記同様の手法にて撮影画像の向きを判別して適切に処理するようにしても良い。

詳しくは、再生時において、メモリ３８から再生対象として選択された撮影画像を読み出すときに、その撮影画像を上述したようにＡ，Ｂ，Ｃの各方向で文字認識を行う。そして、最も多く文字を認識できた方向を撮影画像の向きと判別する。この場合、前記第２の実施形態のように各エリアに分けて順に文字認識することでも良い。

撮影画像の向きを判別後、その判別結果を表示してユーザに確認した後、その向きに応じて当該撮影画像を適切な向きに回転させて画面上に表示する。これにより、向きが異なる多数の撮影画像がメモリ３８内に混在して記録されている場合でも、再生時にはそれぞれに適切な向きに変えた状態で各画像を表示することができる。

また、このように再生時に撮影画像の向きと判別した場合において、その旨のフラグ（Ｆａ，Ｆｂ，Ｆｃ）を再生画像に付しておけば、次回から方向判別処理をその都度行わなくとも、その画像に付されたフラグに従って適切な向きに変えて表示することが可能である。

また、撮影画像中の文字を認識する方向として、図４に示すようにＡ，Ｂ，Ｃの３方向を想定したが、さらに、図４のＡ方向とは逆方向を含めて４方向での認識を行うようにしても良い。

さらに、前記各実施形態では、デジタルカメラを例にして説明したが、本発明はこれに限るものでなく、静止画の撮影機能を備えたデジタルムービカメラの他、カメラ付きの携帯電話機、カメラ付きのＰＤＡ（Personal Digital Assistant）など、撮像機能を備えた電子機器であれば、そのすべてに適用可能である。

要するには、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、上述した各実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。

図１は本発明の第１の実施形態に係る撮像装置としてデジタルカメラを例にした場合の外観構成を示す図であり、図１（ａ）は主に前面の構成、同図（ｂ）は主に背面の構成を示す斜視図である。 図２は同実施形態におけるデジタルカメラの電子回路構成を示すブロック図である。 図３は同実施形態におけるデジタルカメラの撮影時のカメラ本体の向きを示す図であり、図３（ａ）はカメラ本体を横向きにした状態、同図（ｂ）はカメラ本体を横向きの状態から一方の方向に９０度傾けて縦向きにした状態、同図（ｃ）はカメラ本体を横向きの状態から他方の方向に９０度傾けて縦向きにした状態を示す図である。 図４は撮影画像と文字認識の各向との関係を説明するための図である。 図５は同実施形態におけるデジタルカメラの撮影時の処理動作を示すフローチャートである。 図６は同実施形態におけるデジタルカメラの撮影時の処理動作を示すフローチャートである。 図７は撮影画像の具体例を示す図であり、図７（ａ）は撮影画像の記録状態、同図（ｂ）は撮影画像の再生状態を示す図である。 図８は撮影画像の具体例を示す図であり、図８（ａ）は撮影画像の記録状態、同図（ｂ）は撮影画像の再生状態を示す図である。 図９は本発明の第２の実施形態における撮影画像と文字認識の各エリアとの関係を説明するための図である。 図１０は第２の実施形態におけるデジタルカメラの分割認識処理を示すフローチャートである。

符号の説明

１…デジタルカメラ、２…カメラ本体、３…撮影レンズ、４…セルフタイマランプ、５…光学ファインダ窓、６…ストロボ発光部、７…マイクロホン部、８…電源キー、９…シャッタキー、１０…撮影モードキー、１１…再生モードキー、１２…光学ファインダ、１３…スピーカ部、１４…マクロキー、１５…ストロボキー、１６…メニュー（ＭＥＮＵ）キー、１７…リングキー、１８…セット（ＳＥＴ）キー、１９…表示部、２１…モータ、２２…レンズ光学系、２３…ＣＣＤ、２４…タイミング発生器（ＴＧ）、２５…ドライバ、２６…サンプルホールド回路（Ｓ／Ｈ）、２７…Ａ／Ｄ変換器、２８…カラープロセス回路、２９…ＤＭＡコントローラ、３０…ＤＲＡＭインタフェース（Ｉ／Ｆ）、３１…ＤＲＡＭ、３２…制御部、３２ａ…文字認識部、３２ｂ…カウント数記憶部、３３…ＶＲＡＭコントローラ、３４…ＶＲＡＭ、３５…デジタルビデオエンコーダ、３６…キー入力部、３７…ＪＰＥＧ回路、３８…メモリ、３９…音声処理部、４０…ＵＳＢインタフェース（Ｉ／Ｆ）、４１…ストロボ駆動部。

Claims (9)

1. カメラ本体を横または縦に向けた状態で被写体を撮影可能な撮像装置において、
   撮影画像を複数の異なる方向から文字認識する文字認識手段と、
   この文字認識手段の認識結果に基づいて当該撮影画像の向きを判別する判別手段と、
   この判別手段によって判別された向きに応じて当該撮影画像を適切に処理する画像処理手段と
   を具備したことを特徴とする撮像装置。
2. 前記文字認識手段は、撮影画像を少なくとも３つの異なる方向から文字認識するものであり、第１の方向は前記カメラ本体を横向きにした状態で撮影した画像に対応し、第２の方向は前記カメラ本体を横向きの状態から一方の方向に傾けて縦向きにして撮影した画像に対応し、第３の方向は前記カメラ本体を横向きの状態から他方の方向に傾けて縦向きにして撮影した画像に対応していることを特徴とする請求項１記載の撮像装置。
3. 撮影画像を複数の異なるエリアに分割する分割手段を備え、
   前記文字認識手段は、前記分割手段によって分割された各エリア内の画像を認識対象として抽出し、各エリア毎に所定の順で文字認識を行うことを特徴とする請求項１または２記載の撮像装置。
4. 前記判別手段は、前記文字認識手段によって撮影画像を各方向で文字認識して得られた文字数を比較し、最も多く文字認識できた方向を当該撮影画像の向きとして判別することを特徴とする請求項１記載の撮像装置。
5. 撮影画像を記録するための記録手段を備え、
   前記画像処理手段は、前記判別手段によって判別された向きに応じて当該撮影画像を回転させて前記記録手段に記録することを特徴とする請求項１記載の撮像装置。
6. 撮影画像を記録するための記録手段と、
   再生時に前記記録手段に記録された撮影画像を表示する表示手段とを備え、
   前記画像処理手段は、前記判別手段によって判別された向きに応じて当該撮影画像を回転させて前記表示手段に表示することを特徴とする請求項１記載の撮像装置。
7. 前記判別手段によって得られた向きを判別結果として表示する判別結果表示手段と、
   この判別結果表示手段によって表示された向きを訂正する訂正手段とを具備し、
   前記画像処理手段は、前記訂正手段による訂正後の向きに応じて当該撮影画像を適切に処理することを特徴とする請求項１、５または６記載の撮像装置。
8. カメラ本体を横または縦に向けた状態で被写体を撮影可能な撮像装置に用いられる画像処理方法において、
   撮影画像を複数の異なる方向から文字認識するステップと、
   この文字認識結果に基づいて当該撮影画像の向きを判別するステップと、
   この判別された向きに応じて当該撮影画像を適切に処理するステップと
   を備えたことを特徴とする画像処理方法。
9. カメラ本体を横または縦に向けた状態で被写体を撮影可能な撮像装置に搭載されたコンピュータによって実行されるプログラムであって、
   前記コンピュータに、
   撮影画像を複数の異なる方向から文字認識する機能と、
   この文字認識結果に基づいて当該撮影画像の向きを判別する機能と、
   この判別された向きに応じて当該撮影画像を適切に処理する機能と
   を実現させることを特徴とするプログラム。

Images