JP2005026933A

JP2005026933A - Image input/output device

Info

Publication number: JP2005026933A
Application number: JP2003189109A
Authority: JP
Inventors: Isamu Yoshitake; 勇吉武; Yasunori Hagari; 安範葉狩
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2003-06-30
Filing date: 2003-06-30
Publication date: 2005-01-27

Abstract

<P>PROBLEM TO BE SOLVED: To obtain a device which can be carried and enables a user to easily recognize characters and pictures which are small and difficult to be recognized. <P>SOLUTION: An image input part acquires image data included in a character or a picture as a target. A control part 22 subjects acquired image data to image processing for making characters and pictures in an image easy to be recognized. A display part 26 displays an image resulting from the processing. The control part 22 transfers the image resulting from the processing to a communication part 27, and the communication part 27 transmits it to the other device through a network. Image processing performed in the control part 22 is enlargement processing for enlarging image data, color conversion processing for changing the color of image data by bicoloring, or the like, and a user operates an operation/in put part 25 to select a desired image processing method. The user can easily visually recognize small characters and pictures by using an image input/output device having this constitution. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の読み取り及び表示をおこなう画像入出力装置に関し、特に、画像中の小さな文字などを視認しやすいように画像を表示する画像入出力装置に関する。
【０００２】
【従来の技術】
近年、ますます高度化が進む情報化社会の中にあって、限られた時間や空間の中でいかに多くの情報を伝えるかということは、大きなテーマである。特に新聞・雑誌等の紙媒体や、電車の中吊り広告、製品の取扱説明書などにおいては、小さなスペースの中にどれだけ多くの情報を詰め込めるかが、コスト削減の観点から、重要な問題となっている。
【０００３】
しかしながら、お年寄りや目の不自由な人々にとって、小さな文字を認識することは容易ではなく、細かい文字で書かれた文章を数行読むだけでも、目には相当な負担がかかってしまう。
【０００４】
そこで、高齢者や目に障害を抱えた人達を対象とした、新聞や雑誌などの文字を拡大して読むための、いわゆる「拡大読書器」の開発がおこなわれている。これは、ＣＣＤカメラ等を用いて紙媒体に書かれた文章を取り込み、それを数倍〜数十倍の大きさに拡大して、大画面のモニタに表示する装置である（例えば、特許文献１。）。
【０００５】
また、米国のアップル・コンピュータ・インコーポレイテッド社は、コンピュータのモニタ画面上の文字を部分的に拡大表示や白黒反転させることのできる「クロスビュー」という名の機能を、自社のコンピュータのＯＳに搭載させている。
【０００６】
【特許文献１】
特開平１１−３０５１４９号公報
【０００７】
【発明が解決しようとする課題】
しかし、上述した「拡大読書器」は据え置き型で且つ大型の形状を有しており、設置場所が限定されるため、使用できる場面が特定されてしまう。また、装置の値段も個人が所有するにしては高価なものであり、現在のところ一般家庭には普及していない。
【０００８】
一方、アップル・コンピュータ・インコーポレイテッド社の「クロスビュー」も、コンピュータの画面上の機能であるため、その利用範囲や用途は限定されてしまう。
【０００９】
本発明は上記実状に鑑みてなされたものであり、小さくて見難い文字や絵を見易くする機能を持ち、時や場所を選ばず簡単に使用できるような装置を実現可能とすることを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の観点に係る画像入出力装置は、
片手で保持可能な筐体と、
前記筐体の所定位置に配置され、前記筐体を保持しながら片手で操作可能に形成された操作部と、
前記筐体の所定位置に配置され、実空間を撮影する撮像部と、
前記筐体の内部に配置され、前記撮像部が撮影した画像の画像データを入力する画像入力部と、
前記筐体の内部に配置され、前記画像入力部から入力された画像データを記憶する画像記憶部と、
前記筐体の内部に配置され、前記画像を拡大する拡大処理と文字を見やすくするための所定の画像処理とを画像データに対して行う画像処理部と、
前記筐体の所定位置に配置され、前記画像処理部で処理された前記画像データにより定義される画像を表示する画像表示部と、を備えることを特徴とする。
【００１１】
前記画像処理は、前記画像データを２値化する処理であってもよい。画像データを２値化することにより、より視認しやすい形で画像を表示することが可能となる。
【００１２】
前記画像中の色領域を、前記画像の各画素の色成分を用いて検出し、該検出結果に基づいて前記画像データを撮影画像の文字領域のデータと背景領域のデータとに分類する領域分類手段をさらに備えていてもよい。これにより、画像データ中の文字列が識別される。
【００１３】
前記画像処理部は、
前記文字領域を構成する色領域の色と前記背景領域を構成する色領域の色とを識別するための閾値を設定し、
該閾値を用いて、前記画像データを前記文字領域の色を表すデータと前記背景領域の色を表すデータとの２つのデータに２値化するものであってよい。
この構成によれば、白黒画像だけでなくカラー画像を２値化することが可能となる。
【００１４】
ユーザの操作に応答して、前記文字領域の色と前記背景領域の色を指定する手段を備えてもよい。これにより、より自由度の高い２値化画像を得ることが可能となる。
【００１５】
前記２値化された画像データを通信回線を介して他の機器に送信する通信部をさらに備えていてもよい。この構成によれば、大画面を有する機器などで２値化画像を視認することが可能となる。
【００１６】
ユーザの操作に応答して、前記２値化された画像データの前記文字領域の色を表すデータと前記背景領域の色を表すデータとを、他の色を表すデータに変換する手段を備えてもよい。これにより、例えば色盲の人などの画像認識を容易にすることができる。
【００１７】
前記画像処理部は、例えば、前記撮像部が揺れることによって生じる撮像面上の画像のぶれを補正する。これにより、撮影時の自然環境や装置使用者の健康状態にあまり左右されずに画像を取得することが可能となる。
【００１８】
前記撮像部は、所定の光学軸方向の画像を撮像し、前記画像表示部は画面を備え、
前記撮像部と前記画像表示部とは、
前記筐体の互いに表裏面となる面上に配置され、
前記撮像部の撮像用の撮影光学軸と、前記画像表示部の画像表示面に垂直な中心軸とは、ほぼ同一となるように形成されていてもよい。
この構成によれば、虫眼鏡を使うような感覚で画像入出力装置を用いることが可能となる。
【００１９】
前記撮像部は前記筐体の端部に配置され、
前記撮像部の撮影用の撮影光学軸は、前記画像表示部の画像表示面に垂直な中心軸に対して、所定の角度を有して交差するように形成されていてもよい。この構成によれば、様々な状態にある角度にある文字や絵の画像を取得することが可能となる。
【００２０】
また、前記撮像部は、撮像方向を変更可能に形成されていてもよい。
【００２１】
撮像対象を照明する照明部をさらに備えていてもよい。これにより、暗いところにある文字や絵の画像を取得することが可能となる。
【００２２】
前記照明部と前記撮像部とは、前記筐体上に互いに近傍して配置され、
前記照明部の照明方向と前記撮像部の撮像方向とは、連動して移動可能に構成されていてもよい。
この構成によれば、狭くて暗い場所での画像取得が可能となる。
【００２３】
前記操作部は、
前記画像表示部の近傍に配置され、
前記画像表示部を視認しながら操作可能に形成されていてもよい。
【００２４】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態に係る画像入出力装置を説明する。
【００２５】
（第１の実施の形態）
本発明の第１の実施の形態に係る画像入出力装置について、図面を参照しながら説明する。
【００２６】
本実施の形態に係る画像入出力装置１は、画像入出力装置１を使用する人間（以下、ユーザ）が片手で保持できるような小型且つ軽量の外形を有しており、図１（ａ）にその外観を断面図で示すように、画像を取得するためのレンズ部１１と小型で平面表示が可能な液晶パネルから構成されるディスプレイ１２と各種の入力作業をおこなうための操作キー１３と取得した画像をネットワークを介して送信するためのアンテナ１４とを備える。ディスプレイ１２と操作キー１３とは、画像入出力装置１の同一面上に設けられ、ユーザがディスプレイ１２を視認しながら操作キー１３を操作できるように形成されている。レンズ部１１は、ディスプレイ１２や操作キー１３とは反対側の面に設けられ、その中心軸がディスプレイ１２の中心軸とほぼ等しくなるように平行に配置されている。画像入力面（レンズ部１１が設けられている面）の真上に画像表示面（ディスプレイ１２が設けられている面）が位置しているため、ユーザは、図１（ｂ）に例示するように虫眼鏡を使用する時と同じような操作感覚で、画像入出力装置１を使用することができる。
【００２７】
また、画像入出力装置１は、図２にその内部構成を示すように、画像入力部２１と、全体を制御する制御部２２と、ＲＡＭ２３と、記憶部２４と、複数の操作キーからなる操作・入力部２５と、表示部２６と、通信部２７と、音声制御部２８と、を備える。
【００２８】
画像入力部２１は、レンズ部１１や撮像素子等から構成され、画像取得部２１ａと画像バッファ２１ｂとを有する。画像取得部２１ａは、文章や絵を含む画像を所定のフォーマットの静止画像として一定時間Δｔおきに取得する。画像バッファ２１ｂは画像取得部２１ａが取得した画像データを一時記憶し、制御部２２の処理速度に応じて制御部２２に順次転送する。
【００２９】
制御部２２は画像入出力装置１の全体の動作を制御するものであり、マイクロプロセッサ等から構成され、後述するプログラム記憶領域２４ａに格納されている動作プログラムに従ってＲＡＭ２３をワークエリアとして使用して動作する。
また制御部２２は、プログラム記憶領域２４ａから呼び出した後述する画像処理プログラムに従って、画像入力部２１から入力された画像を画像処理し、表示部２６に供給する。
【００３０】
ＲＡＭ２３は、プログラム実行領域２３ａと作業領域２３ｂとを有し、制御部２２のワークエリアとして機能する。
【００３１】
記憶部２４は、フラッシュメモリ、ハードディスク装置などから構成され、制御部２２の動作を規定する動作プログラムを記憶するプログラム記憶領域２４ａと、画像入力部２１が取得した画像やその他の処理結果を記憶するデータ記憶領域２４ｂと、を有する。
【００３２】
プログラム記憶領域２４ａは、画像入力部２１が取得した画像データに対して画像処理をおこなうための画像処理プログラムを記憶する。この画像処理はユーザが画像中の小さな文字等を認識しやすいようにするための処理であり、その処理方法としては、拡大モード、強調モード、色変換モード、音声モード等がある。拡大モードは、画像を所定の倍率に拡大する画像処理方法である。例えば図３（ａ）に示すように、薬瓶のラベルには小さな文字で文章が書かれていて読みづらいことが多い。拡大モード処理は、このようなラベルの画像を取得し、図３（ｂ）のように拡大して画面上に表示するための処理である。強調モードは、画像中の文字の色が淡くて読み取り難いような場合に、画像のコントラストを変えることによって画像中の文字を強調する画像処理方法である。例えば図３（ａ）に示すように、薬瓶のラベルに小さな文字で文章が書かれていて、しかもその文字の色が薄いような場合、拡大表示しただけでは読みづらさが解消されない。強調モード処理は、このようなラベルの画像を取得して拡大し、その画像を文字色と背景色とからなる２色画像に変換して図３（ｃ）に示すように表示させるための処理である。色変換モードは、前述した２色画像の色遣いを変え、ユーザが指定した任意の色の２色画像として表示させるための画像処理方法である。例えば図３（ａ）の薬瓶のラベルには白地に黒文字で文章が書かれているが、色変換モード処理は、このラベルの画像を取得して拡大し、図３（ｄ）に示すような黒地に白文字の画像に変換する処理である。音声モードは、画像中の文章を、文字列をパターン認識してテキストデータ化するＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ）処理によって読み取り、その文章に対応する音声データを合成して出力する処理方法である。音声モード処理によれば、例えば図３（ａ）に示すような薬瓶のラベルに書かれた文章が、図３（ｅ）に示すようにあたかも画像入出力装置１が文章を音読しているかのように出力される。
【００３３】
また、プログラム記憶領域２４ａは、上述の４つの画像処理とは別の、手ぶれ補正処理をおこなうための手ぶれ補正処理プログラムを記憶する。画像入出力装置１を保持するユーザの手は、多かれ少なかれ震え（手ぶれ）を起こす。したがって、たとえユーザ自身が同じ場所で画像を取得し続けているつもりでも、Δｔ毎の画像は一枚一枚微妙に異なった位置で取得されることになる。手ぶれ補正処理とは、手ぶれによる一枚一枚の画像位置のずれを補正し、Δｔ毎の画像をそれぞれ同じ位置で取得されたものとして表示するための処理である。
【００３４】
データ記憶領域２４ｂは、上述した画像処理や手ぶれ補正処理をおこなう際に必要となる、様々なデータを記憶する。具体的には、画像表示のずれを補正する手ぶれ補正処理のための基準位置となる画像の位置データや、手ぶれ補正が必要か否かを判定するための所定の閾値などである。
【００３５】
操作・入力部２５は、携帯電話のダイヤル時等に使用する操作キー１３や、その他必要な各種キーから構成されており、押下したキーに応じた信号を制御部２２に供給する。
【００３６】
表示部２６は、ディスプレイ１２等から構成され、文字や画像等の様々な情報を表示する。
【００３７】
通信部２７は、ＲＦ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙ）信号処理回路（高周波回路）等から構成され、移動体通信ネットワークを構成する基地局との間で、音声制御部２８によって処理された音声信号や制御部２２によって画像処理された画像の画像データ等を送受信する。
【００３８】
音声制御部２８は、マイクやスピーカ等を備え、音声信号を処理する。具体的には、前述の音声モード処理によって音声データに変換された文字列を、所定の速度、高さ、音量の音声として出力する。
【００３９】
次に、本発明の第１の実施の形態に係る画像入出力装置１の基本動作を図４のフローチャートを参照して説明する。画像入出力装置１の動作がスタートするのは、画像入出力装置１が画像を取得できる状態になった時点である。より詳細には、ユーザが画像入出力装置１の電源をＯＮし、操作キー１３の「＊」ボタンを長押しして画像入出力装置１をカメラモード（画像を取得できる状態）にセットすると、画像入出力装置１の動作がスタートする。
【００４０】
まず、操作・入力部２５はユーザによってカメラモードが指示されたことを示す所定の信号を、制御部２２に送信する。制御部２２は操作・入力部２５からの信号を受信し、画像取得部２１ａに対して、画像を取得するように指示を送る。
画像取得部２１ａは、その指示を受けて実空間を撮影し、撮影した画像を所定のフォーマットの画像データとして取得する（ステップＳ１０１）。画像バッファ２１ｂは画像取得部２１ａが取得した画像データを制御部２２に転送し、制御部２２はその画像を所定の倍率に拡大する（ステップＳ１０２）。
【００４１】
制御部２２は、記憶部２４のプログラム記憶領域２４ａから所定の手ぶれ補正処理プログラムを呼び出す。さらに、呼び出した手ぶれ補正処理プログラムに従って、取得画像に対して手ぶれ補正処理をおこなう（ステップＳ１０３）。尚、手ぶれ補正処理の処理動作についての詳細な説明は、後述する。
【００４２】
制御部２２は、操作・入力部２５から画像処理に関する指示が出ているか否かを判別する（ステップＳ１０４）。詳細には、制御部２２が画像処理の指定に対応する信号を操作・入力部２５から受信したか否か、つまり画像処理の指示に相当する操作キー１３の所定のキーが押下されたことを示す信号が操作・入力部２５から発せられているか否か、を判別する。画像処理が指示されていない場合（Ｓ１０４：Ｎｏ）、即ち画像処理方法が指定されていない場合、処理はステップＳ１０１にリターンする。一方、画像処理方法が指定された場合（Ｓ１０４：Ｙｅｓ）、即ち画像処理方法の指定に相当する所定の信号を受信した場合、制御部２２は、記憶部２４のプログラム記憶領域２４ａから、指定された画像処理方法に対応する所定の画像処理プログラムを呼び出す。そして、呼び出した画像処理プログラムに従って、手ぶれ補正処理をおこなった結果の画像データに対して、画像処理をおこなう（ステップＳ１０５）。尚、ここでの画像処理は上述した拡大モード、色変換モード、強調モード、音声モードのうちいずれかの画像処理方法を用いるものであり、画像処理方法の選択および処理動作の詳細な説明は、後述する。
【００４３】
制御部２２は、画像処理の処理結果である画像データを、表示部２６に供給する。表示部２６は、画像データを受け取り、処理結果の画像を自己のディスプレイ１２に表示する（ステップＳ１０６）。
【００４４】
次に、制御部２２は、操作・入力部２５から処理結果の画像データを他の端末機器に転送する指示が出ているか否かを判別する（ステップＳ１０７）。詳細には、制御部２２が転送の指示に対応する信号を操作・入力部２５から受信したか否か、つまり転送の指示に相当する操作キー１３の所定のキーが押下されたことを示す信号が操作・入力部２５から発せられているか否か、を判別する。転送指定があった場合（Ｓ１０７：Ｙｅｓ）、処理はステップＳ１０８に進む。転送指定がない場合（Ｓ１０７：Ｎｏ）、処理はステップＳ１０９にジャンプする。
【００４５】
転送指示があった場合、制御部２２は、処理結果の画像データを指定された所定の端末機器に転送するよう、通信部２７に指示する。通信部２７はその指示を受け、画像データを基地局やネットワークを介して所定の端末機器に送信する（ステップＳ１０８）。
【００４６】
制御部２２は、操作・入力部２５から動作を終了する指示が出ているか否かを判別する（ステップＳ１０９）。即ち、操作・入力部２５がカメラモードの終了を意味する所定の信号を発しているか否かを判別する。終了の指示が出ていない場合、即ち画像入出力装置１が画像を取得する状態（カメラモード）になっている場合、処理はステップＳ１０１にリターンする。一方、操作・入力部２５から処理動作を終了する指示が出ている場合、そのまま処理を終える。
【００４７】
以上が、画像入出力装置１の基本動作である。次に、上述の動作のステップＳ１０３に相当する手ぶれ補正処理の処理動作について、図５のフローチャートを参照して説明する。尚、このフローチャートにおけるスタートは図４のステップＳ１０２に、このフローチャートにおけるエンドは図４のステップＳ１０４に、それぞれ対応している。
【００４８】
まず、制御部２２は、画像バッファ２１ｂから送られた画像データが最初に転送されたもの（画像取得部２１ａがΔｔ毎に取得する画像のうちで最初に取得されたもの）であるか否か、即ちそれ以前に他の画像データが画像バッファ２１ｂから送られていないかどうかを判別する（ステップＳ２０１）。
【００４９】
画像データが最初に転送されたものであった場合（Ｓ２０１：Ｙｅｓ）、制御部２２はその画像データを基準位置のデータとして設定し、記憶部２４のデータ記憶領域２４ｂに格納する（ステップＳ２０２）。一方、画像データが最初に送られたものでなかった場合（Ｓ２０１：Ｎｏ）、即ち基準位置の画像データが既に設定され、記憶されていた場合、処理はステップＳ２０３へ進む。
【００５０】
制御部２２は、記憶部２４のデータ記憶領域２４ｂから基準位置の画像データを呼び出し、現在の画像データと基準位置の画像データとの間でどれだけ位置がずれているのかを判定する（ステップＳ２０３）。
【００５１】
制御部２２は、ステップＳ２０３で求めたずれ値を、データ記憶領域２４ｂに記憶されている所定の閾値と比較する（ステップＳ２０４）。求めたずれ値が所定の閾値よりも大きかった場合（Ｓ２０４：Ｙｅｓ）、ステップＳ２０２に進み、現在の画像データを新たな基準位置の画像データとして設定し、記憶部２４のデータ記憶部２４ｂに格納する。一方、求めたずれ値が所定の閾値よりも小さかった場合（Ｓ２０４：Ｎｏ）、処理はステップＳ２０５に進む。
【００５２】
制御部２２は、ステップＳ２０３で求めたずれ値に基づいて、現在の画像の位置と基準位置とが合致するように、即ち現在の画像データと基準位置の画像データとの位置データが等しくなるように、位置を補正する（ステップＳ２０５）。
【００５３】
以上が、手ぶれ補正処理の処理動作である。この処理によれば、例えばユーザが高齢なため画像入出力装置１を持つ手が震えてしまうような場合でも、Δｔ毎の画像に位置のばらつきが生じず、同じ位置の画像を安定して得つづけることができる。
【００５４】
次に、図４のフローチャートにおけるステップＳ１０５に相当する画像処理の動作を説明する。上述したように、画像処理には拡大モード、色変換モード、強調モード、音声モードの４つの処理方法があり、ユーザは操作・入力部２５を操作してこれらの中からひとつの処理方法を選択して入力する。具体的には、まず図６（ａ）に示すようにカメラモードの状態の画面で画面右下隅に表示されている「ヘルプ」を、操作キー１３の上下左右キーの右を押下して選択する。次に、図６（ｂ）に示すようなモード選択画面が表示されるので、ユーザはその画面に表示された中から所望のものにカーソルを合わせて操作キー１３を押下し、画像処理方法を選択する。以下に、ユーザが画像処理方法を選択した際の画像入出力装置１の動作を、図７のフローチャートを参照して説明する。尚、このフローチャートにおけるスタートは図４のステップＳ１０３に、このフローチャートにおけるエンドは図４のステップＳ１０５に、それぞれ対応している。
【００５５】
まず制御部２２は、操作・入力部２５から画像を拡大する指示が出ているか否かを判別する（ステップＳ３０１）。即ち、操作・入力部２５によって画像を拡大するための倍率が指定され、拡大の実行指示が出されているか否かを判別する。画像の拡大が指示されている場合（Ｓ３０１：Ｙｅｓ）、制御部２２は、操作・入力部２５から倍率を指定する所定の信号を受信し、それに基づいて画像を拡大する（ステップＳ３０２）。一方、拡大の指示および拡大倍率の指定がされていない場合（Ｓ３０１：Ｎｏ）、処理はステップＳ３０３に進む。
【００５６】
次に、制御部２２は、操作・入力部２５から指定された画像処理方法が音声モードであるか否かを判別する（ステップＳ３０３）。即ち、操作・入力部２５から、音声モードが選択されたことを示す所定の信号を受信したか否かを判別する。操作・入力部２５からの指定が音声モードでなかった場合（Ｓ３０３：Ｎｏ）、即ち操作・入力部２５から発せられた信号が音声モードを示すものでなかった場合、処理はステップＳ３０５に進む。一方、音声モードであった場合（Ｓ３０３：Ｙｅｓ）、制御部２２は記憶部２４のプログラム記憶領域２４ａから所定の音声モード処理プログラムを呼び出す。さらに、呼び出した音声モード処理プログラムに従って、画像データに対して音声モード処理をおこなう（ステップＳ３０４）。尚、音声モード処理の処理動作についての詳細は、後述する。
【００５７】
ステップＳ３０３において操作・入力部２５からの指定が音声モードでないと判別された場合、制御部２２は操作・入力部２５から指定された画像処理方法が拡大モードなのかそれ以外（強調モード、色変換モード）なのかを判別する。即ち、画像を２色化する画像処理方法（強調モード、色変換モード）が指定されているのか、２色化を伴わない画像処理方法（拡大モード）が指定されているのかを判別する（ステップＳ３０５）。強調モード又は色変換モードが指定されている場合、即ち画像の２色化が指示されている場合（Ｓ３０５：Ｙｅｓ）、処理はステップＳ３０６に進む。一方、２色化が指定されていない場合（Ｓ３０５：Ｎｏ）、そのまま処理を終わる。
【００５８】
２色化を伴う画像処理方法が選択された場合、制御部２２は、どの２色で２色化するかを指定するよう、表示部２６を通してユーザ側に要求する。具体的には、制御部２２は表示部２６に指示を送り、画像データ中の背景色と文字色とから２色を選択するよう促す画面を、ディスプレイ１２に表示させる。ユーザ側が２色を選択すると、即ち２色が指定されたことを示す所定の信号を操作・入力部２５から受け取ると、制御部２２は指定された２色（文字色と背景色）から、２色化のための閾値Ｔ（例えば、指定された２色の間にある色度）を設定する（ステップＳ３０６）。
【００５９】
次に、制御部２２は、画像中の各ドットの色（例えば、その色度）を閾値Ｔと比較する（ステップＳ３０７）。そして比較結果から、画像中の全ドットを、背景色と文字色とのどちらに近いのかに分別し、画像を２色化する（ステップＳ３０８）。なお、画像の色を２色化する手法自体は任意である。例えば、各ドットの色と、指定された２色との色度図上の距離或いはＲ（赤）Ｇ（緑）Ｂ（青）空間（ただし、色の成分も任意である）内の距離を求め、距離の短い方に、そのドットの色を修正するようにする等、任意の手法を採用可能である。
【００６０】
次に、制御部２２は画像処理方法の指定が色変換モードであるか否か、即ち操作・入力部から色変換の指定が出ているか否かを判別する（ステップＳ３０９）。操作・入力部２５からの指定が色変換モードではなかった場合、即ち強調モードだった場合（Ｓ３０９：Ｎｏ）、そのまま処理を終わる。一方、色変換が指示され、変換後の色が指定されていた場合（Ｓ３０９：Ｙｅｓ）、制御部２２は、２色化した画像を、さらに指定された２色を用いた２色画像に変換し（ステップＳ３１０）、変換した画像を表示部２６に転送する。
【００６１】
以上が、画像入出力装置１の画像処理の動作である。次に先程説明を省略した、画像処理動作のステップＳ３０４に当たる音声モード処理の処理動作を、図８を参照して説明する。音声モード処理は、画像から文字領域を抽出し、文字を読み取ってテキストデータ化して、音声に変換して出力する処理である。
【００６２】
制御部２２は、記憶部２４のプログラム記憶領域２４ａから音声モード処理プログラムを呼び出し、そのプログラムに基づいて、画像データ中の文字を音声データ化する処理をおこなう。詳細には、まず制御部２２は画像データを文字領域と背景領域とに分け、画像中から文字領域を抽出する（ステップＳ４０１）。次に制御部２２は、抽出した文字領域をＯＣＲ処理して領域内から文字列を読み取り、それをテキストデータに変換する（ステップＳ４０２）。さらに、そのテキストデータに対応する音声データを合成し（ステップＳ４０３）、テキストデータを音声データに変換して音声制御部２８に供給する。音声制御部２８はこれを出力する（ステップＳ４０４）。
【００６３】
以上説明したように、上記構成によれば、４つの画像処理（拡大モード処理、強調モード処理、色変換モード処理、音声モード処理）により、見難い小さな文字や絵などを視認しやすい形で表示することができる。また、小型で持ち運びが可能なため、ふとした場面で見難い文字等を視認する必要に迫られた際などには、すぐに本実施の形態に係る画像入出力装置１を取り出して使用することができる。
【００６４】
（第２の実施の形態）
次に、本発明の第２の実施の形態に係る画像入出力装置１’について図面を参照しながら説明する。
【００６５】
本発明の第２の実施の形態に係る画像入出力装置１’は、図９（ａ）および（ｂ）に外観図で示すように、レンズ部１１と、ディスプレイ１２と、操作キー１３と、アンテナ１４と、発光部１５とを備える。尚、図９（ｂ）ではアンテナ１４の図示を省略している。画像入出力装置１’が前述の第１の実施の形態に係る画像入出力装置１と相違する点は、発光部１５を備える点と、レンズ部１１が画像入出力装置１’の端部に位置している点とである。尚、画像入出力装置１’の、前述の画像入出力装置１と同一の構成を取る部分については、同一の符号を付している。
【００６６】
発光部１５はＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）等から構成され、操作キー１３によって操作されて光を発し、レンズ部１１が画像を取得する際に被写体を照明する。レンズ部１１と発光部１５とは一体に形成されており、画像入出力装置１’の端部に配置され、操作キー１３の操作によって軸を中心として３６０度回転する。
【００６７】
画像入出力装置１’の動作が前述の画像入出力装置１の処理動作と相違する点は、通常の画像取得動作（図４のステップＳ１０１）の代りに、一連の暗視モード処理をおこなう点である。暗視モード処理は、暗い場所等で画像を取得する際に、発光部１５が光を発して目標物を照らすことにより、見やすい形で画像を取得するための処理である。暗視モード処理の動作を、図１０のフローチャートを参照して説明する。尚、暗視モード処理の動作は図４のステップＳ１０１に相当しており、図１０におけるフローチャートのエンドは、図４におけるステップＳ１０２に相当している。
【００６８】
まず、操作・入力部２５はユーザによってカメラモードが指示されたことを示す所定の信号を、制御部２２に送信する。制御部２２は操作・入力部２５からの信号を受信し、画像取得部２１ａに対して、画像を取得するように指示を送る。
画像取得部２１ａは、その指示を受けて実空間を撮影し、撮影した画像を所定のフォーマットの画像データとして取得する（ステップＳ５０１）。画像バッファ２１ｂは、画像取得部２１ａが取得した画像データを制御部２２に転送する。
【００６９】
制御部２２は、記憶部２４のプログラム記憶領域２４ａから画像の明るさを算出する所定のプログラムを呼び出し、そのプログラムに従って、画像データ全体の平均の明るさを算出する（ステップＳ５０２）。詳細には、まず画像の各ドットを輝度毎に振り分けて図１１に例示するような輝度のヒストグラムを作成し、この結果から画像全体の平均の明るさを算出する。
【００７０】
制御部２２は、求めた明るさを、予め記憶部２４に記憶されている所定の閾値と比較する（ステップＳ５０３）。明るさが不十分（所定値以下）であった場合は、処理はステップＳ５０４に進む。一方、画像の明るさが十分であった場合、即ち所定の閾値を超えていた場合には、処理はステップＳ５０５に進む。
【００７１】
ステップＳ５０３の処理の結果、明るさが不十分であると判定された場合（Ｓ５０３：Ｎｏ）、発光部１５は制御部２２からの指令を受けて、ＬＥＤ光を発光する（ステップＳ５０４）。そして、ステップＳ５０１にリターンし、発光した状態で再び（Δｔ後に）画像を取得する。
【００７２】
ステップＳ５０３において明るさが十分であると判定された場合（Ｓ５０３：Ｙｅｓ）、制御部２２は、記憶部２４のプログラム記憶領域２４ａから明るさ補正プログラムを呼び出し、表示画像全体の平均の明るさが所定値になるように、画像の明るさを補正する（ステップＳ５０５）。
【００７３】
続いて、制御部２２は、記憶部２４のプログラム記憶領域２４ａからコントラスト強調プログラムを呼び出し、画像データに対して、公知の技術を用いて画像のコントラストを強調する処理をおこなう（ステップＳ５０６）。
【００７４】
以上が、本実施の形態に係る画像入出力装置１’の暗視モード処理の動作である。この構成によれば、暗い場所等でも簡単に文字を視認することができる。また、レンズ部１１と発光部１５とが画像入出力装置１’の端部に位置し、さらに一定の範囲で可動なように形成されている。このため、画像入出力装置１’を用いることで、図１２に示すように、冷蔵庫の下やパソコン内部など、狭い場所にある小さな物体を視認することが可能となる。
【００７５】
なお、本発明は上記実施の形態に限定されず、様々な変形及び応用が可能である。
【００７６】
上記実施の形態では、文章を読みやすくするための処理方法として、拡大処理、色変換処理、強調処理、音声処理、暗視処理等を説明したが、これらに限定されない。例えば、画像内の文章中の単語を解説する、簡易的な辞書のような機能を設けてもよい。
【００７７】
また、レンズ部１１を複数設けることにより画像を立体的に取得し、点字や立体的な目標物などを読みとれる構造にすることも可能である。
【００７８】
また、取得した画像を記憶しておき、再びその近傍の画像を取得する際に、前回取得した画像と同じ特徴を持つ部分を捜索することができるような機能を持たせてもよい。
【００７９】
ユーザは、上述の画像処理方法のうちのいくつかを同時に選択し、適度に組み合わせて用いても良い。例えば、文字を拡大し、色を強調して反転させ、さらにそれを音声で読み上げさせるようなことも、もちろん可能である。
【００８０】
また、取得する画像は一定時間Δｔおきの静止画像であるとしたが、これに限られず、例えば動画像を取得するような構成にしてもよい。その場合、リアルタイムで表示画像が変化するため、上述の「手ぶれ補正処理」がより有効となる。
【００８１】
本発明の実施の形態に係る画像入出力装置１、１’は携帯電話を応用したものであるとしたが、これには限定されない。例えば、デジタルカメラや、電子化された双眼鏡、望遠鏡などを応用した形で用いることも可能である。
【００８２】
また、上記実施の形態では色変換モード処理は白黒反転をさせると説明したが、色合いはこれに限定されない。例えばユーザが任意の色を指定し、その任意の色で画像の２色化・反転をおこなってもよい。
【００８３】
また、画像入出力装置１（及び１’）の処理動作において、手ぶれ防止処理と暗視モード処理と画像処理（拡大処理、強調処理、色変換処理、音声処理）との処理動作の順番は、上述したものに限定されない。
【００８４】
【発明の効果】
以上説明したように、本発明によれば、文字や絵を見やすく表示することができ、且つ携帯が可能な装置が実現可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像入出力装置の外観図である。
【図２】本発明の第１の実施の形態に係る画像入出力装置の内部構成を示す図である。
【図３】本発明の第１の実施の形態に係る画像入出力装置がおこなう画像処理の処理結果の例を示す図である。
【図４】本発明の第１の実施の形態に係る画像入出力装置の動作を説明するためのフローチャートである。
【図５】手ぶれ補正処理の動作を説明するためのフローチャートである。
【図６】操作キーを用いて画像処理方法を切り替える際の画面表示を模式的に示した図である。
【図７】本発明の第１の実施の形態に係る画像入出力装置の画像処理の動作を説明するためのフローチャートである。
【図８】音声モード処理の動作を説明するためのフローチャートである。
【図９】本発明の第２の実施の形態に係る画像入出力装置の外観図である。
【図１０】本発明の第２の実施の形態に係る画像入出力装置の暗視モード処理の動作を説明するためのフローチャートである。
【図１１】画像データ全体の輝度を算出する際の輝度ヒストグラムを例示した図である。
【図１２】本発明の第２の実施の形態に係る画像入出力装置が用いられる場面を例として表した図である。
【符号の説明】
１１・・・レンズ部、１２・・・ディスプレイ、１３・・・操作キー、１４・・・アンテナ、１５・・・発光部、２１・・・画像入力部、２２・・・制御部、２３・・・ＲＡＭ、２３ａ・・・プログラム実行領域、２３ｂ・・・作業領域、２４・・・記憶部、２４ａ・・・プログラム記憶領域、２４ｂ・・・データ記憶領域、２５・・・操作・入力部、２６・・・表示部、２７・・・通信部、２８・・・音声制御部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image input / output device that reads and displays an image, and more particularly, to an image input / output device that displays an image so that small characters in the image can be easily seen.
[0002]
[Prior art]
In an information society that is becoming increasingly sophisticated in recent years, how to transmit as much information in a limited time and space is a major theme. Especially for paper media such as newspapers and magazines, train hanging advertisements, and product instruction manuals, how much information can be packed in a small space is an important issue from the viewpoint of cost reduction. It has become.
[0003]
However, it is not easy for elderly people and blind people to recognize small characters, and even reading a few lines of text written in fine characters puts a considerable burden on the eyes.
[0004]
Therefore, a so-called “enlarged reading device” has been developed for enlarging characters such as newspapers and magazines for elderly people and people with disabilities. This is a device that takes a sentence written on a paper medium using a CCD camera or the like, enlarges it to several to several tens of times, and displays it on a large screen monitor (for example, Patent Documents). 1.).
[0005]
In addition, Apple Computer Inc. in the United States has a function called “Cross View” that can partially enlarge and black-and-white invert characters on the computer monitor screen. I am letting.
[0006]
[Patent Document 1]
JP-A-11-305149
[0007]
[Problems to be solved by the invention]
However, since the above-mentioned “enlarged reading device” is stationary and has a large shape, and the installation location is limited, a scene that can be used is specified. In addition, the price of the device is too expensive for an individual to own, and currently it is not popular in ordinary households.
[0008]
On the other hand, the “cross view” of Apple Computer Inc. is also a function on the screen of the computer, so its usage range and usage are limited.
[0009]
The present invention has been made in view of the above-described circumstances, and has an object to realize a device that has a function of making small and difficult-to-see characters and pictures easy to see and can be used easily regardless of time and place. To do.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, an image input / output device according to a first aspect of the present invention provides:
A housing that can be held with one hand;
An operation unit that is disposed at a predetermined position of the housing and is configured to be operated with one hand while holding the housing;
An imaging unit that is disposed at a predetermined position of the housing and captures a real space;
An image input unit that is arranged inside the housing and inputs image data of an image captured by the imaging unit;
An image storage unit that is disposed inside the housing and stores image data input from the image input unit;
An image processing unit that is arranged inside the casing and performs an enlargement process for enlarging the image and a predetermined image process for making the characters easy to see;
An image display unit disposed at a predetermined position of the housing and displaying an image defined by the image data processed by the image processing unit.
[0011]
The image processing may be processing for binarizing the image data. By binarizing the image data, it is possible to display the image in a form that is easier to visually recognize.
[0012]
A region classification for detecting a color region in the image using a color component of each pixel of the image, and classifying the image data into character region data and background region data of a photographed image based on the detection result Means may be further provided. Thereby, the character string in image data is identified.
[0013]
The image processing unit
Setting a threshold value for identifying the color of the color area constituting the character area and the color of the color area constituting the background area;
Using the threshold value, the image data may be binarized into two data: data representing the color of the character area and data representing the color of the background area.
According to this configuration, not only a monochrome image but also a color image can be binarized.
[0014]
Means for designating the color of the character region and the color of the background region in response to a user operation may be provided. This makes it possible to obtain a binarized image with a higher degree of freedom.
[0015]
A communication unit that transmits the binarized image data to another device via a communication line may be further provided. According to this configuration, the binarized image can be viewed with a device having a large screen.
[0016]
Means for converting data representing the color of the character area and data representing the color of the background area of the binarized image data into data representing another color in response to a user operation; Also good. Thereby, image recognition, such as a color blind person, can be made easy, for example.
[0017]
For example, the image processing unit corrects blurring of an image on the imaging surface caused by shaking of the imaging unit. As a result, it is possible to acquire an image without much influence on the natural environment at the time of photographing and the health condition of the apparatus user.
[0018]
The imaging unit captures an image in a predetermined optical axis direction, the image display unit includes a screen,
The imaging unit and the image display unit are:
Disposed on the front and back surfaces of the housing,
The imaging optical axis for imaging of the imaging unit and the central axis perpendicular to the image display surface of the image display unit may be formed to be substantially the same.
According to this configuration, the image input / output device can be used as if using a magnifying glass.
[0019]
The imaging unit is disposed at an end of the housing,
The imaging optical axis for imaging of the imaging unit may be formed to intersect with a predetermined angle with respect to a central axis perpendicular to the image display surface of the image display unit. According to this configuration, it is possible to acquire images of characters and pictures at angles in various states.
[0020]
Moreover, the said imaging part may be formed so that an imaging direction can be changed.
[0021]
You may further provide the illumination part which illuminates the imaging target. Thereby, it is possible to acquire an image of a character or picture in a dark place.
[0022]
The illumination unit and the imaging unit are arranged close to each other on the housing,
The illumination direction of the illumination unit and the imaging direction of the imaging unit may be configured to be movable in conjunction with each other.
According to this configuration, it is possible to acquire an image in a narrow and dark place.
[0023]
The operation unit is
Arranged in the vicinity of the image display unit,
It may be formed to be operable while visually recognizing the image display unit.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an image input / output device according to an embodiment of the present invention will be described with reference to the drawings.
[0025]
(First embodiment)
An image input / output device according to a first embodiment of the present invention will be described with reference to the drawings.
[0026]
The image input / output device 1 according to the present embodiment has a small and lightweight outer shape that can be held by one person (hereinafter referred to as a user) using the image input / output device 1 with one hand. FIG. As shown in the sectional view, the lens unit 11 for acquiring an image, a display 12 composed of a small liquid crystal panel capable of flat display, and operation keys 13 for performing various input operations are acquired. And an antenna 14 for transmitting the obtained image via the network. The display 12 and the operation key 13 are provided on the same surface of the image input / output device 1 and are formed so that the user can operate the operation key 13 while visually checking the display 12. The lens unit 11 is provided on the surface opposite to the display 12 and the operation keys 13, and is arranged in parallel so that the central axis thereof is substantially equal to the central axis of the display 12. Since the image display surface (the surface on which the display 12 is provided) is positioned directly above the image input surface (the surface on which the lens unit 11 is provided), the user is illustrated in FIG. The image input / output device 1 can be used with the same operational feeling as when using a magnifying glass.
[0027]
Further, as shown in FIG. 2, the image input / output device 1 includes an image input unit 21, a control unit 22 that controls the whole, a RAM 23, a storage unit 24, and an operation including a plurality of operation keys. An input unit 25, a display unit 26, a communication unit 27, and a voice control unit 28 are provided.
[0028]
The image input unit 21 includes a lens unit 11 and an image sensor, and includes an image acquisition unit 21a and an image buffer 21b. The image acquisition unit 21a acquires an image including a sentence and a picture as a still image of a predetermined format every certain time Δt. The image buffer 21b temporarily stores the image data acquired by the image acquisition unit 21a, and sequentially transfers the image data to the control unit 22 according to the processing speed of the control unit 22.
[0029]
The control unit 22 controls the overall operation of the image input / output device 1 and is composed of a microprocessor or the like, and operates using the RAM 23 as a work area in accordance with an operation program stored in a program storage area 24a described later. To do.
Further, the control unit 22 performs image processing on the image input from the image input unit 21 according to an image processing program to be described later called from the program storage area 24 a and supplies the image to the display unit 26.
[0030]
The RAM 23 has a program execution area 23 a and a work area 23 b and functions as a work area for the control unit 22.
[0031]
The storage unit 24 includes a flash memory, a hard disk device, and the like, and stores a program storage area 24a that stores an operation program that defines the operation of the control unit 22, an image acquired by the image input unit 21, and other processing results. A data storage area 24b.
[0032]
The program storage area 24a stores an image processing program for performing image processing on the image data acquired by the image input unit 21. This image processing is processing for making it easy for the user to recognize small characters and the like in the image, and examples of the processing method include an enlargement mode, an emphasis mode, a color conversion mode, and an audio mode. The enlargement mode is an image processing method for enlarging an image to a predetermined magnification. For example, as shown in FIG. 3A, the medicine bottle label is often written with small letters and is difficult to read. The enlargement mode process is a process for acquiring such a label image and enlarging and displaying it on the screen as shown in FIG. The enhancement mode is an image processing method for emphasizing characters in the image by changing the contrast of the image when the color of the characters in the image is light and difficult to read. For example, as shown in FIG. 3A, when a sentence is written with small characters on the label of the medicine bottle and the color of the character is light, it is not possible to solve the difficulty of reading only by enlarging it. The enhancement mode process is a process for acquiring and enlarging such a label image, converting the image into a two-color image composed of a character color and a background color, and displaying the image as shown in FIG. It is. The color conversion mode is an image processing method for changing the color of the above-described two-color image and displaying it as a two-color image of an arbitrary color designated by the user. For example, the label of the medicine bottle in FIG. 3A is written in black letters on a white background, but the color conversion mode process acquires and enlarges the image of this label, as shown in FIG. This is a process of converting an image of a white character on a black background. The voice mode is a processing method in which a sentence in an image is read by OCR (Optical Character Recognition) processing for pattern recognition of a character string and converted into text data, and voice data corresponding to the sentence is synthesized and output. According to the voice mode processing, for example, the text written on the label of the medicine bottle as shown in FIG. 3A is as if the image input / output device 1 reads the text aloud as shown in FIG. Is output as follows.
[0033]
The program storage area 24a stores a camera shake correction processing program for performing camera shake correction processing, which is different from the above-described four image processes. The user's hand holding the image input / output device 1 shakes (shakes) more or less. Therefore, even if the user himself intends to continue acquiring images at the same place, images for each Δt are acquired at slightly different positions one by one. The camera shake correction process is a process for correcting a shift in the image position of each image due to camera shake and displaying the images for each Δt as acquired at the same position.
[0034]
The data storage area 24b stores various data necessary for performing the above-described image processing and camera shake correction processing. Specifically, the position data of an image serving as a reference position for camera shake correction processing for correcting a shift in image display, a predetermined threshold value for determining whether or not camera shake correction is necessary, and the like.
[0035]
The operation / input unit 25 includes an operation key 13 used when dialing a mobile phone and other various necessary keys, and supplies a signal corresponding to the pressed key to the control unit 22.
[0036]
The display unit 26 includes a display 12 and the like, and displays various information such as characters and images.
[0037]
The communication unit 27 includes an RF (Radio Frequency) signal processing circuit (high frequency circuit) and the like. The communication unit 27 communicates with the base station constituting the mobile communication network by the audio control unit 28 and the control unit 22. The image data and the like of the image subjected to the image processing is transmitted / received.
[0038]
The voice control unit 28 includes a microphone, a speaker, and the like, and processes a voice signal. Specifically, the character string converted into the voice data by the voice mode process described above is output as a voice having a predetermined speed, height and volume.
[0039]
Next, the basic operation of the image input / output apparatus 1 according to the first embodiment of the present invention will be described with reference to the flowchart of FIG. The operation of the image input / output device 1 starts when the image input / output device 1 is ready to acquire an image. More specifically, when the user turns on the power of the image input / output device 1 and presses and holds the “*” button of the operation key 13 to set the image input / output device 1 to the camera mode (a state in which an image can be acquired), The operation of the image input / output device 1 starts.
[0040]
First, the operation / input unit 25 transmits a predetermined signal indicating that the camera mode is instructed by the user to the control unit 22. The control unit 22 receives a signal from the operation / input unit 25 and sends an instruction to the image acquisition unit 21a to acquire an image.
In response to the instruction, the image acquisition unit 21a captures the real space, and acquires the captured image as image data of a predetermined format (step S101). The image buffer 21b transfers the image data acquired by the image acquisition unit 21a to the control unit 22, and the control unit 22 enlarges the image to a predetermined magnification (step S102).
[0041]
The control unit 22 calls a predetermined camera shake correction processing program from the program storage area 24 a of the storage unit 24. Further, camera shake correction processing is performed on the acquired image in accordance with the called camera shake correction processing program (step S103). A detailed description of the processing operation of the camera shake correction processing will be described later.
[0042]
The control unit 22 determines whether an instruction regarding image processing is issued from the operation / input unit 25 (step S104). Specifically, whether or not the control unit 22 has received a signal corresponding to the image processing designation from the operation / input unit 25, that is, that a predetermined key of the operation key 13 corresponding to the image processing instruction has been pressed. It is determined whether or not the indicated signal is emitted from the operation / input unit 25. When the image processing is not instructed (S104: No), that is, when the image processing method is not designated, the process returns to step S101. On the other hand, when the image processing method is designated (S104: Yes), that is, when a predetermined signal corresponding to the designation of the image processing method is received, the control unit 22 is designated from the program storage area 24a of the storage unit 24. A predetermined image processing program corresponding to the image processing method is called. Then, according to the called image processing program, image processing is performed on the image data obtained as a result of the camera shake correction processing (step S105). Note that the image processing here uses any one of the above-described enlargement mode, color conversion mode, enhancement mode, and sound mode, and the detailed description of the selection of the image processing method and the processing operation is as follows. It will be described later.
[0043]
The control unit 22 supplies image data that is the processing result of the image processing to the display unit 26. The display unit 26 receives the image data, and displays the processing result image on its own display 12 (step S106).
[0044]
Next, the control unit 22 determines whether or not an instruction to transfer the processing result image data to another terminal device is issued from the operation / input unit 25 (step S107). Specifically, the signal indicating whether the control unit 22 has received a signal corresponding to the transfer instruction from the operation / input unit 25, that is, a signal indicating that a predetermined key of the operation key 13 corresponding to the transfer instruction has been pressed. Whether or not is issued from the operation / input unit 25 is determined. If there is a transfer designation (S107: Yes), the process proceeds to step S108. If there is no transfer designation (S107: No), the process jumps to step S109.
[0045]
When there is a transfer instruction, the control unit 22 instructs the communication unit 27 to transfer the image data of the processing result to a specified predetermined terminal device. The communication unit 27 receives the instruction and transmits the image data to a predetermined terminal device via the base station or the network (step S108).
[0046]
The control unit 22 determines whether or not an instruction to end the operation is issued from the operation / input unit 25 (step S109). That is, it is determined whether or not the operation / input unit 25 has issued a predetermined signal indicating the end of the camera mode. If the end instruction has not been issued, that is, if the image input / output device 1 is in a state of acquiring an image (camera mode), the process returns to step S101. On the other hand, when the instruction to end the processing operation is issued from the operation / input unit 25, the processing is finished as it is.
[0047]
The basic operation of the image input / output device 1 has been described above. Next, the camera shake correction process corresponding to step S103 of the above-described operation will be described with reference to the flowchart of FIG. The start in this flowchart corresponds to step S102 in FIG. 4, and the end in this flowchart corresponds to step S104 in FIG.
[0048]
First, the control unit 22 determines whether or not the image data sent from the image buffer 21b is first transferred (the image acquired first by the image acquisition unit 21a every Δt). That is, it is determined whether other image data has not been sent from the image buffer 21b before that (step S201).
[0049]
If the image data was transferred first (S201: Yes), the control unit 22 sets the image data as reference position data and stores it in the data storage area 24b of the storage unit 24 (step S202). . On the other hand, if the image data has not been sent first (S201: No), that is, if the image data at the reference position has already been set and stored, the process proceeds to step S203.
[0050]
The control unit 22 calls the reference position image data from the data storage area 24b of the storage unit 24, and determines how much the position is shifted between the current image data and the reference position image data (step S203). ).
[0051]
The control unit 22 compares the deviation value obtained in step S203 with a predetermined threshold value stored in the data storage area 24b (step S204). If the obtained deviation value is larger than the predetermined threshold (S204: Yes), the process proceeds to step S202, where the current image data is set as image data at a new reference position and stored in the data storage unit 24b of the storage unit 24. To do. On the other hand, when the obtained deviation value is smaller than the predetermined threshold value (S204: No), the process proceeds to step S205.
[0052]
Based on the deviation value obtained in step S203, the control unit 22 matches the position of the current image with the reference position, that is, the position data of the current image data and the image data of the reference position are equal. Next, the position is corrected (step S205).
[0053]
The above is the processing operation of the camera shake correction processing. According to this process, for example, even when the user is aged and the hand holding the image input / output device 1 shakes, the image at each Δt does not vary in position, and an image at the same position can be stably obtained. Can continue.
[0054]
Next, the image processing operation corresponding to step S105 in the flowchart of FIG. 4 will be described. As described above, there are four processing methods for image processing: enlargement mode, color conversion mode, enhancement mode, and audio mode, and the user operates the operation / input unit 25 to select one of these processing methods. And input. Specifically, first, as shown in FIG. 6A, “Help” displayed at the lower right corner of the screen in the camera mode state is selected by pressing the right of the up / down / left / right keys of the operation key 13. . Next, since a mode selection screen as shown in FIG. 6B is displayed, the user moves the cursor to a desired one from the displayed screen and presses the operation key 13 to change the image processing method. select. The operation of the image input / output device 1 when the user selects an image processing method will be described below with reference to the flowchart of FIG. The start in this flowchart corresponds to step S103 in FIG. 4, and the end in this flowchart corresponds to step S105 in FIG.
[0055]
First, the control unit 22 determines whether or not an instruction to enlarge an image is issued from the operation / input unit 25 (step S301). That is, it is determined whether or not a magnification for enlarging an image is designated by the operation / input unit 25 and an instruction to execute enlargement is issued. When the enlargement of the image is instructed (S301: Yes), the control unit 22 receives a predetermined signal designating the magnification from the operation / input unit 25, and enlarges the image based on the predetermined signal (step S302). On the other hand, when the enlargement instruction and the enlargement magnification are not specified (S301: No), the process proceeds to step S303.
[0056]
Next, the control unit 22 determines whether or not the image processing method designated by the operation / input unit 25 is the sound mode (step S303). That is, it is determined whether or not a predetermined signal indicating that the voice mode has been selected is received from the operation / input unit 25. If the designation from the operation / input unit 25 is not the voice mode (S303: No), that is, if the signal issued from the operation / input unit 25 does not indicate the voice mode, the process proceeds to step S305. On the other hand, when the voice mode is selected (S303: Yes), the control unit 22 calls a predetermined voice mode processing program from the program storage area 24a of the storage unit 24. Further, the audio mode processing is performed on the image data in accordance with the called audio mode processing program (step S304). Details of the processing operation of the voice mode processing will be described later.
[0057]
If it is determined in step S303 that the designation from the operation / input unit 25 is not the audio mode, the control unit 22 determines whether the image processing method designated from the operation / input unit 25 is the enlargement mode or not (emphasis mode, color conversion). Mode). That is, it is determined whether an image processing method (enhancement mode, color conversion mode) for converting an image into two colors is designated or an image processing method (enlarged mode) that does not involve two colors is designated (step). S305). When the enhancement mode or the color conversion mode is designated, that is, when the two-color image is instructed (S305: Yes), the process proceeds to step S306. On the other hand, when the two-colorization is not designated (S305: No), the process is finished as it is.
[0058]
When an image processing method involving two colors is selected, the control unit 22 requests the user side through the display unit 26 to specify which two colors are used for the two colors. Specifically, the control unit 22 sends an instruction to the display unit 26 and causes the display 12 to display a screen that prompts the user to select two colors from the background color and the character color in the image data. When the user selects two colors, that is, when a predetermined signal indicating that two colors are specified is received from the operation / input unit 25, the control unit 22 changes the specified two colors (character color and background color) to 2 A threshold value T for colorization (for example, chromaticity between two designated colors) is set (step S306).
[0059]
Next, the control unit 22 compares the color (for example, chromaticity) of each dot in the image with the threshold value T (step S307). Then, from the comparison result, all the dots in the image are classified into either the background color or the character color, and the image is converted into two colors (step S308). It should be noted that the method itself for changing the color of the image into two colors is arbitrary. For example, the distance in the chromaticity diagram between the color of each dot and the specified two colors or the distance in R (red) G (green) B (blue) space (however, the color components are also arbitrary) It is possible to employ an arbitrary method such as correcting the color of the dot for the shorter distance.
[0060]
Next, the control unit 22 determines whether or not the designation of the image processing method is the color conversion mode, that is, whether or not the color conversion is designated from the operation / input unit (step S309). When the designation from the operation / input unit 25 is not the color conversion mode, that is, when the mode is the enhancement mode (S309: No), the processing is finished as it is. On the other hand, when the color conversion is instructed and the color after conversion is designated (S309: Yes), the control unit 22 converts the two-colored image into a two-color image using the further designated two colors. In step S310, the converted image is transferred to the display unit 26.
[0061]
The above is the image processing operation of the image input / output device 1. Next, the processing operation of the audio mode processing corresponding to step S304 of the image processing operation, which is not described above, will be described with reference to FIG. The voice mode process is a process of extracting a character region from an image, reading the character into text data, converting it into voice, and outputting the voice.
[0062]
The control unit 22 calls a voice mode processing program from the program storage area 24a of the storage unit 24, and performs processing for converting characters in the image data into voice data based on the program. Specifically, first, the control unit 22 divides the image data into a character area and a background area, and extracts a character area from the image (step S401). Next, the control unit 22 performs OCR processing on the extracted character region, reads a character string from the region, and converts it into text data (step S402). Further, voice data corresponding to the text data is synthesized (step S403), the text data is converted into voice data, and supplied to the voice control unit 28. The voice control unit 28 outputs this (step S404).
[0063]
As described above, according to the above configuration, small characters and pictures that are difficult to see are displayed in an easy-to-view manner through four image processes (enlargement mode process, enhancement mode process, color conversion mode process, and audio mode process). can do. Further, since it is small and portable, it is necessary to take out and use the image input / output device 1 according to the present embodiment immediately when it is necessary to visually recognize characters or the like that are difficult to see in unexpected situations. it can.
[0064]
(Second Embodiment)
Next, an image input / output device 1 ′ according to a second embodiment of the present invention will be described with reference to the drawings.
[0065]
An image input / output device 1 ′ according to the second embodiment of the present invention includes a lens unit 11, a display 12, operation keys 13, and an operation key 13, as shown in an external view in FIGS. 9A and 9B. An antenna 14 and a light emitting unit 15 are provided. In addition, illustration of the antenna 14 is abbreviate | omitted in FIG.9 (b). The image input / output device 1 ′ is different from the image input / output device 1 according to the first embodiment described above in that the light emitting unit 15 is provided and the lens unit 11 is provided at the end of the image input / output device 1 ′. It is a point that is located. In addition, the same code | symbol is attached | subjected about the part which has the same structure as the above-mentioned image input / output device 1 of image input / output device 1 '.
[0066]
The light emitting unit 15 is configured by an LED (Light Emitting Diode) or the like, and is operated by the operation key 13 to emit light, and the lens unit 11 illuminates the subject when acquiring an image. The lens unit 11 and the light emitting unit 15 are integrally formed, and are disposed at the end of the image input / output device 1 ′. The lens unit 11 and the light emitting unit 15 are rotated 360 degrees about the axis by the operation of the operation key 13.
[0067]
The operation of the image input / output device 1 ′ is different from the processing operation of the image input / output device 1 described above in that a series of night vision mode processing is performed instead of the normal image acquisition operation (step S101 in FIG. 4). It is. The night vision mode process is a process for acquiring an image in an easy-to-see form by emitting light to illuminate a target when an image is acquired in a dark place or the like. The operation of the night vision mode process will be described with reference to the flowchart of FIG. The operation of the night vision mode process corresponds to step S101 in FIG. 4, and the end of the flowchart in FIG. 10 corresponds to step S102 in FIG.
[0068]
First, the operation / input unit 25 transmits a predetermined signal indicating that the camera mode is instructed by the user to the control unit 22. The control unit 22 receives a signal from the operation / input unit 25 and sends an instruction to the image acquisition unit 21a to acquire an image.
In response to the instruction, the image acquisition unit 21a captures the real space, and acquires the captured image as image data of a predetermined format (step S501). The image buffer 21 b transfers the image data acquired by the image acquisition unit 21 a to the control unit 22.
[0069]
The control unit 22 calls a predetermined program for calculating the brightness of the image from the program storage area 24a of the storage unit 24, and calculates the average brightness of the entire image data according to the program (step S502). More specifically, first, a luminance histogram as illustrated in FIG. 11 is created by assigning each dot of the image for each luminance, and the average brightness of the entire image is calculated from the result.
[0070]
The control unit 22 compares the obtained brightness with a predetermined threshold value stored in advance in the storage unit 24 (step S503). If the brightness is insufficient (below the predetermined value), the process proceeds to step S504. On the other hand, when the brightness of the image is sufficient, that is, when the predetermined threshold value is exceeded, the process proceeds to step S505.
[0071]
As a result of the processing in step S503, when it is determined that the brightness is insufficient (S503: No), the light emitting unit 15 receives an instruction from the control unit 22 and emits LED light (step S504). Then, the process returns to step S501, and an image is acquired again (after Δt) in a state where light is emitted.
[0072]
When it is determined in step S503 that the brightness is sufficient (S503: Yes), the control unit 22 calls the brightness correction program from the program storage area 24a of the storage unit 24, and the average brightness of the entire display image is determined. The brightness of the image is corrected so as to be a predetermined value (step S505).
[0073]
Subsequently, the control unit 22 calls a contrast enhancement program from the program storage area 24a of the storage unit 24, and performs a process of enhancing the contrast of the image on the image data using a known technique (step S506).
[0074]
The above is the operation of night-vision mode processing of the image input / output device 1 ′ according to the present embodiment. According to this configuration, the characters can be easily visually recognized even in a dark place. In addition, the lens unit 11 and the light emitting unit 15 are positioned at the end of the image input / output device 1 ′, and are formed to be movable within a certain range. For this reason, by using the image input / output device 1 ′, as shown in FIG. 12, it is possible to visually recognize a small object in a narrow place such as under a refrigerator or inside a personal computer.
[0075]
In addition, this invention is not limited to the said embodiment, A various deformation | transformation and application are possible.
[0076]
In the embodiment described above, enlargement processing, color conversion processing, enhancement processing, audio processing, night vision processing, and the like have been described as processing methods for making text easy to read, but are not limited thereto. For example, a simple dictionary-like function for explaining words in a sentence in an image may be provided.
[0077]
In addition, by providing a plurality of lens units 11, it is possible to obtain a three-dimensional image so that Braille or a three-dimensional target can be read.
[0078]
Moreover, when the acquired image is memorize | stored and the image of the vicinity is acquired again, you may provide the function which can search the part which has the same characteristic as the image acquired last time.
[0079]
The user may simultaneously select some of the above-described image processing methods and use them in an appropriate combination. For example, it is possible to enlarge the character, highlight the color, invert it, and further read it out by voice.
[0080]
Moreover, although the image to be acquired is a still image every certain time Δt, the present invention is not limited to this, and for example, a configuration in which a moving image is acquired may be used. In that case, since the display image changes in real time, the above-described “camera shake correction processing” becomes more effective.
[0081]
The image input / output devices 1 and 1 ′ according to the embodiment of the present invention are applied to a mobile phone, but are not limited thereto. For example, a digital camera, electronic binoculars, a telescope, or the like can be used.
[0082]
In the above embodiment, the color conversion mode processing is described as black and white reversal. However, the hue is not limited to this. For example, the user may designate an arbitrary color, and the image may be converted into two colors and inverted using the arbitrary color.
[0083]
Further, in the processing operations of the image input / output device 1 (and 1 ′), the order of processing operations of the camera shake prevention processing, night vision mode processing, and image processing (enlargement processing, enhancement processing, color conversion processing, audio processing) is as follows. It is not limited to what was mentioned above.
[0084]
【The invention's effect】
As described above, according to the present invention, it is possible to realize a portable device that can display characters and pictures in an easy-to-see manner.
[Brief description of the drawings]
FIG. 1 is an external view of an image input / output device according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating an internal configuration of the image input / output device according to the first embodiment of the invention.
FIG. 3 is a diagram illustrating an example of a processing result of image processing performed by the image input / output device according to the first embodiment of the invention.
FIG. 4 is a flowchart for explaining the operation of the image input / output device according to the first embodiment of the invention;
FIG. 5 is a flowchart for explaining an operation of camera shake correction processing;
FIG. 6 is a diagram schematically showing a screen display when an image processing method is switched using an operation key.
FIG. 7 is a flowchart for explaining an image processing operation of the image input / output device according to the first embodiment of the invention;
FIG. 8 is a flowchart for explaining the operation of the audio mode processing.
FIG. 9 is an external view of an image input / output device according to a second embodiment of the present invention.
FIG. 10 is a flowchart for explaining an operation of night-vision mode processing of the image input / output device according to the second embodiment of the present invention;
FIG. 11 is a diagram illustrating a luminance histogram when calculating the luminance of the entire image data.
FIG. 12 is a diagram illustrating, as an example, a scene in which an image input / output device according to a second embodiment of the present invention is used.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 ... Lens part, 12 ... Display, 13 ... Operation key, 14 ... Antenna, 15 ... Light emission part, 21 ... Image input part, 22 ... Control part, 23. ..RAM, 23a ... Program execution area, 23b ... Work area, 24 ... Storage section, 24a ... Program storage area, 24b ... Data storage area, 25 ... Operation / input section , 26 ... display unit, 27 ... communication unit, 28 ... voice control unit

Claims

A housing that can be held with one hand;
An operation unit that is disposed at a predetermined position of the housing and is configured to be operated with one hand while holding the housing;
An imaging unit that is disposed at a predetermined position of the housing and captures a real space;
An image input unit that is arranged inside the housing and inputs image data of an image captured by the imaging unit;
An image storage unit that is disposed inside the housing and stores image data input from the image input unit;
An image processing unit that is arranged inside the casing and performs an enlargement process for enlarging the image and a predetermined image process for making the characters easy to see;
An image input / output apparatus comprising: an image display unit arranged at a predetermined position of the housing and displaying an image defined by the image data processed by the image processing unit.

The image input / output apparatus according to claim 1, wherein the image processing is processing for binarizing the image data.

Region classification for detecting a color region in the image using a color component of each pixel of the image and classifying the image data into character region data and background region data of a photographed image based on the detection result The image input / output device according to claim 1, further comprising means.

The image processing unit
Setting a threshold value for identifying the color of the color area constituting the character area and the color of the color area constituting the background area;
The image according to claim 3, wherein the threshold value is used to binarize the image data into two data: data representing the color of the character region and data representing the color of the background region. I / O device.

5. The image input / output device according to claim 4, further comprising means for designating a color of the character area and a color of the background area in response to a user operation.

6. The image input / output device according to claim 2, further comprising a communication unit that transmits the binarized image data to another device via a communication line.

Means for converting data representing the color of the character region of the binarized image data and data representing the color of the background region into data representing another color in response to a user operation; The image input / output device according to claim 2, wherein the image input / output device is an image input / output device.

The image input / output apparatus according to claim 1, wherein the image processing unit corrects image blur on an imaging surface caused by the imaging unit shaking.

The imaging unit captures an image in a predetermined optical axis direction, the image display unit includes a screen,
The imaging unit and the image display unit are:
Disposed on the front and back surfaces of the housing,
The imaging optical axis for imaging of the imaging unit and the central axis perpendicular to the image display surface of the image display unit are formed to be substantially the same. The image input / output device according to claim 1.

The imaging unit is disposed at an end of the housing,
An imaging optical axis for imaging of the imaging unit is formed so as to intersect with a predetermined angle with respect to a central axis perpendicular to the image display surface of the image display unit. The image input / output device according to claim 1.

The image input / output apparatus according to claim 10, wherein the imaging unit is formed so that an imaging direction can be changed.

The image input / output apparatus according to claim 1, further comprising an illumination unit that illuminates an imaging target.

The illumination unit and the imaging unit are arranged close to each other on the housing,
The image input / output device according to claim 12, wherein an illumination direction of the illumination unit and an imaging direction of the imaging unit are configured to be movable in conjunction with each other.

The operation unit is
Arranged in the vicinity of the image display unit,
The image input / output device according to claim 1, wherein the image input / output device is configured to be operable while visually recognizing the image display unit.