JP2010171599A - 画像処理装置および方法 - Google Patents

Abstract

【課題】 画像を表示するための画像処理装置において、観察者の網膜上の盲点に起因する見落としを防止すること。
【解決手段】 観察者に対して画像を表示するための画像処理装置であって、前記観察者に対して画像を表示する表示領域内に、前記観察者の網膜上の盲点位置に基づく盲点領域を設定する設定手段と、前記観察者が観察する観察環境の変化に起因して、前記盲点領域内の表示を変更する場合、前記観察者に対して前記盲点領域内の変化を報知する報知手段とを有することを特徴とする。
【選択図】 図１

Description

本発明は、観察者に対して画像を表示するための画像処理装置および方法に関する。

小型の液晶パネルや有機ＥＬなどのＭｉｃｒｏ Ｄｉｓｐｌａｙと呼ばれる表示デバイスを、拡大光学系を用いて、観察者に虚像を観察させる装置の開発が以前より行われている。これらの装置はビデオカメラ、もしくはデジタルカメラの撮影するフレームを確認、もしくはピント調整を行うための電子ビューファインダ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ：ＥＶＦ）に使用されている。

近年、撮像素子の高解像度化に伴い電子ビューファインダでピント調整を行うために、電子ビューファインダに用いられる表示デバイスの高精細化が進んでいる。表示デバイスはサイズが小型で高精細になったために、拡大率を大きくして、大きな映像を観察者に観察させた場合においても画質の良い映像を提供することが可能になってきている。そして、電子ビューファインダで観察する画像の画角は大きくなる傾向になっている。
特開平０８−２２３４６８公報 特開平１１−１７４９８６公報

電子ビューファインダなどの観察画像を表示する装置において、観察画像の画角が大きい場合、観察画像の一部領域が観察者の盲点位置に結像してしまい、観察者が認識できない領域が観察画像中に生じてしまうことがある。例えば、従来の電子ビューファインダでは片目の画角が１２度程度であったため、約１５度に位置する盲点が問題になることはなかったが、１５度以上の画角を有する電子ビューファインダでは問題となりうる。

特に、ビデオカメラやデジタルカメラのファインダ等では、観察者が撮影したいフレームを決定した後に盲点に対応する領域に侵入物体が侵入した場合、観察者は侵入物体を見落としてしまい、観察者が意図しない画像が撮影されてしまうという問題が起きる。

観察者の視線を考慮した従来技術として、特許文献１には、観察者の視線方向を検出し、
観察者の視線方向に応じて、撮像範囲の変更を行うことが開示されている。しかしながら、特許文献１に開示された技術では、画角が大きい画像を観察する場合には、観察者は盲点に対応する位置に表示された侵入物体を見落としてしまう可能性がある。

観察者の盲点を考慮した従来技術として、特許文献２には、画像の画質が悪い部分を、観察者の盲点に対応する位置に表示させることが開示されている。しかしながら、特許文献２に開示された技術では、観察者の盲点に基づき観察者が観察する画像を変更するが、観察者の盲点に起因する見落としを防止することは出来ない。

本発明は上記課題を鑑みてなされたものであり、画像を表示するための画像処理装置において、観察者の網膜上の盲点に起因する見落としを防止することを目的とする。

本発明は上記課題を鑑みてなされたものであり、観察者に対して画像を表示するための画像処理装置であって、前記観察者に対して画像を表示する表示領域内に、前記観察者の網膜上の盲点位置に基づく盲点領域を設定する設定手段と、前記観察者が観察する観察環境の変化に起因して、前記盲点領域内の表示を変更する場合、前記観察者に対して前記盲点領域内の変化を報知する報知手段とを有することを特徴とする。

本発明によれば、画像を表示するための画像処理装置において、観察者の網膜上の盲点に起因する見落としを防止することが出来る。

（第一の実施形態）
図１は、本実施形態における画像処理装置１０１の構成を示したものである。以下、図１を用いて、画像処理装置１０１の各構成を説明する。

（撮像素子１０２） 本実施形態における撮像素子１０２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等などから構成され、撮像素子１０２上に結像した画像をデジタル画像データとして取得する。撮像素子１０２の画素数は任意のものを選択可能であるが、水平方向に１９２０画素、垂直方向に１０８０画素の約２０７万画素を有することにより、いわゆるハイビジョン画像を撮像することが可能になる。ただし、ハイビジョン対応の画素数よりも高精細なものを選択しても良いし、低解像度のものを選択しても良い。

（結像レンズ１０３） 本実施形態における結像レンズ１０３は、被写体の像を撮像素子１０２上に結像させるためのレンズである。結像レンズ１０３は、図１では不図示のズーム機構を有しており、観察者の指示に基づき撮像素子１０２に結象する被写体の拡大率を任意に変更することが可能になっている。

（記録部１０４） 本実施形態における記録部１０４は、ハードディスク、半導体メモリなどから構成され、撮像素子１０２で取得されたデジタル画像データを記録する。記憶されるデジタル画像データは、他の処理手段により画像処理されたデータであっても良い。

（表示手段１０５） 本実施形態における表示手段１０５は、表示領域を有し、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等から構成される。また、近年において実用化されたＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）を用いた小型ミラーで点光源を走査して２次元画像を形成する表示手段や、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏ−ｍｉｒｒｏｒ Ｄｅｖｉｃｅ）による表示手段を用いても良い。表示手段１０５は、取得したデジタル画像データを観察者に対して表示することが可能である。尚、ハイビジョン画像を表示するためには、撮像素子１０２と同様に、水平方向に１９２０画素、垂直方向に１０８０画素で構成する必要がある。

また、本実施形態では、表示手段１０５は、表示手段１０５の下部位置にアルファベットや数字を表示するためのデジタル表示装置を有している。また、デジタル表示装置は表示手段１０５の下部位置ではなく、上部や左右であっても構わない。また、撮像している画像以外の情報を表示可能にするために水平方向に１９２０画素、垂直方向に１２００画素を有した、撮像素子１０２の解像度よりも多くの画素を有した表示手段１０５を用いて、前述したデジタル表示装置を省略化しても良い。デジタル表示装置に表示されるアルファベットや数字の詳細は、後述する。

（接眼レンズ１０６）本実施形態における接眼レンズ１０６は、表示手段１０５で表示される画像を観察者に観察しやすくするためのレンズである。接眼レンズの構成は様々なものが提案されているため、ここでは詳細な説明を省略する。

（ファインダ部１０７）本実施形態におけるファインダ部１０７は、表示手段１０５およびファインダ部１０７の光学部材となる接眼レンズ１０６を有する。観察者は、ファインダ部１０７が有する接眼レンズ１０６を通して、表示手段１０５が提示する画像を観察する。一般的に、視力が１．０である人の眼は、１’の解像力を有していると言われている。前記表示手段１０５の水平方向の画素数は１９２０画素である場合、１画素が観察者の視角で１’となるように、ファインダ部１０７の水平画角は３２度に構成される。また、本実施形態では、ファインダ部１０７の観察画像のアスペクト比は、デジタル放送の規格である１６：９になるように構成されている。そのため、垂直方向の画角は１８度となっている。

（撮像画像信号処理回路１０８）本実施形態における撮像画像信号処理回路１０８は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画像処理プログラムが格納されたＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。撮像画像信号処理回路１０８は、撮像素子１０２で取得されたデジタル画像データに対して画像処理を行う。

（検出部１０９）本実施形態における検出部１０９は、検出部１０９は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、検出処理プログラムが格納されたＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。

検出部１０９は、画像信号処理回路で処理されたデジタル画像データから所定の領域を検出する検出処理を行う。

（表示画像信号処理回路１１０）本実施形態における表示画像信号処理回路１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画像処理プログラムが格納されたＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。表示画像信号処理回路１１０は、撮像画像信号処理回路１０８で画像処理されたデジタル画像データに対して画像処理を行い、表示手段１０５に画像を表示させる。

以上が、本実施形態における画像処理装置１０１の構成である。

次に、人の眼の盲点について説明する。

図２は，人の右眼の水平断面を示した図である。人は被写体を観察する際に、水晶体２０１でピント調整を行い網膜上２０２に被写体を結像させている。図中は分りやすくするために網膜２０２は眼球の内壁面との間に隙間を設けているが、実際は眼球の内壁面上に網膜２０２は存在している。人の眼の最も解像力の高い位置は網膜上の中心窩２０３と呼ばれる場所である。従って、人が注視している部位が前記中心窩２０３に結像して観察することになる。網膜２０２上での結像位置は観察している物体の位置とは逆方向に結像する。そのため、図２中の眼球構造において中心窩２０３から身体中心側、すなわち画像中心から耳側方向である右側水平方向に約１３度から１８度、垂直方向には画像中心より上方側に２度、下方側に４度の範囲に盲点２０４と呼ばれる神経が束なっている範囲が存在する。盲点２０４には視細胞が存在せず、盲点２０４上の映像を人は観察することができない。

次に、検出部１０９が、画像から観察者の盲点に対応する範囲を検出する方法について説明する。

図３は、表示手段１０５の表示面における画像構成と、観察者の盲点２０４との位置関係を示した図である。図３に示す表示手段１０５は、水平方向に１９２０画素、垂直方向に１０８０画素で構成されている。よって、図３中に示すように、表示手段１０５の水平方向をＸ方向、垂直方向をＹ方向とし、左上隅部の画素を（１，１）とし、右下隅部の画素を（１９２０，１０８０）とする。観察者の観察対象である被写体が表示面の中心に位置している場合、観察者は表示面の中心を注視することになり、表示面の中心の画像が網膜２０２上の中心窩２０３に結像する。

本実施形態では、ファインダ部１０７の左端から右端までの水平画角が３２度であるため、画像の中心より画面右半分では１６度の画角になる。盲点２０４の位置は画像中心より水平方向右側に１３度から１８度であるため、ファインダ部１０７の表示面上では水平右側１３度の位置から表示面の右端までとなる。盲点２０４に対応する表示面上の位置（表示面の中心より水平右側１３度の位置）は、下記の計算により、

となり、図３では、１７３２番目の画素になる。また、垂直方向は上方側に２度、下方側に４度であることより、同様の計算を行うと、対応する画像位置はＡ（１７３２，４２１）、Ｂ（１７３２，７７８）、Ｃ（１９２０，７７８）、Ｄ（１９２０，４２１）の４点で囲まれる範囲の画素が観察者の盲点範囲３０１（観察者の盲点位置に起因して見えなくなる盲点領域）となる。観察者は、前述した盲点範囲３０１内における画像の変化を認識することは出来ない。

図４は、盲点範囲３０１内に物体が侵入する場合を示した図である。図４では、観察者は、画像処理装置１０１で被写体４０１を撮影フレームの中心に配置して撮影している。この状態において、観察者が被写体４０１に注視している場合、盲点範囲３０１内における画像の変化を認識することは出来ない。よって、撮影しているフレーム外から物体４０２が図４中の矢印Ｅ方向に進んで撮影フレーム内に出現しても、観察者は盲点範囲３０１内の物体４０２が現れていることを気付くことができない。観察者が気付かないうちに、撮影フレーム内に物体４０２が出現してしまうと、観察者の意図しない画像を撮像してしまうことになる。

本実施形態では、前述した観察者の盲点範囲３０１に対応する撮像素子１０２からの画像信号を、撮像画像信号処理回路１０８から検出部１０９に送信している。前記検出部１０９において、本実施形態の撮像素子１０２のフレーム周波数ごとに画像の差分を演算している。変化前後の複数のフレームで盲点範囲３０１内の画像信号に差分がない場合（もしくは差分が所定値以下の場合）、盲点範囲３０１に物体４０２がフレーム内に出現していないことになる。一方、盲点範囲３０１内の画像信号に差分が生じている場合、盲点範囲３０１に物体４０２が出現していることになる。検出部１０９は、上記処理により盲点範囲３０１内に物体４０２が出現したことを検知すると、物体表示画像処理回路１１０に物体４０２の検知を示す信号を送信する。表示画像信号処理回路１１０は、検出部１０９から物体４０２の検知を示す信号を受信した場合、表示手段１０５の画像右下部に“盲点範囲注意“などの注意喚起を行う画像信号を重畳させて表示手段１０５に信号を送信する。

従って、観察者が表示面中心を注視している際に盲点範囲３０１内に物体４０２が出現した場合は、観察者は、ファインダ部１０７の画像を観察しているだけで盲点範囲３０１内に物体４０２が出現してきたことを認知することが可能となる。尚、注意喚起を促す表示を行う部位は盲点範囲３０１以外の部位であればどこでもよく、右下だけに限らない。また、表示手段１０５の画像中に表示するのではなく、デジタル表示装置に簡易マークを表示させるだけでも良い。さらには、注意喚起を行う表示は前述した文言だけでなく、”盲点範囲確認“等、観察者の意図していない物体４０２がフレーム内に出現している可能性があることを報知するものであれば、この限りではない。さらに、文言を表示して注意喚起を行う手段だけでなく、撮影の妨げにならないような音声で報知することや、観察者に振動を与えるなどの報知手段を用いても良い。

本実施形態では、撮像素子１０２から検出部１０９に送信する盲点範囲３０１の画像信号は、前述したＡ点からＤ点で囲まれる範囲とした。しかし、盲点範囲３０１は個人差があり、観察者によって盲点範囲３０１は多少異なる。従って、個人差を補正するために、マーカを用いて補正を行っても良い。以下に個人差を補正する方法を示す。まず、観察者にファインダ部１０７の表示面の中心を観察させた状態で、表示手段１０５にマーカを表示させる。その状態でマーカを移動させながら、観察者が表示面の中心を観察した状態でマーカが観察できない部位を特定する。また、検出部１０９に送信する撮像素子１０２上の画像信号を決定させる校正を行っても良い。これにより、観察者の個人差に対応した盲点範囲３０１を検出することが可能となる。

本実施形態では、観察者が右眼でファインダ部１０７の画像を観察する例を示したが、左眼で観察する場合は、観察者の盲点範囲３０１は画像の水平中心に対して左右対称となる。

従って、左眼でファインダ部１０７を観察する場合、図３に示す座標において、検出部１０９に送信される範囲は、Ａ’（０，４２１）、Ｂ’（０，７７８）、Ｃ’（１８８，７７８）、Ｄ’（１８８，４２１）の範囲となる。観察者が右眼と左眼のどちらを使用しているかは、観察者の操作により、不図示のスイッチで切り替えることができるようになっている。スイッチの切替えにより、撮像画像信号処理回路１０８から検出部１０９に送信する検出範囲を切り替える構成とすることで、観察者の右眼と左眼に対応した装置とすることが可能である。

また、ファインダ部１０７の取り付け方向によって、観察者の右眼か左眼のどちらかを決定する構成でも良い。その場合は、ファインダ部１０７の取り付け方向によって、自動的に撮像画像信号処理回路１０８から検出部１０９に送信する検出範囲を決めても良い。

また、被写体を撮影する際に、フレーム内に物体４０２が出現しても構わない場合もある。そのような状況において、観察者の盲点範囲３０１に物体４０２が出現する度に報知を行うと、観察者にとって煩わしく感じることもある。

そのため、本実施形態では、報知手段の機能の開始と停止を切り替える物体検出機能のスイッチを画像処理装置１０１に配置する。また、本実施形態における報知手段の機能は画像処理装置１０１で動画像を録画している時だけ、作動させるようにしても良い。

また、画像処理装置１０１で撮影を行いながら、パンやチルト動作を行った場合は、検出部１０９において検出範囲内での画像信号に差が発生し、物体が出現したと誤検出してしまう。パンやチルト動作を行っている場合は、撮像している画像信号全体が変化する。そのため、撮像画像信号処理回路１０８内で画像信号全体からパンやチルト動作を行っているかを判断し、検出部１０９に画像信号を送信するか否かの機能を設ける。同様に、画像処理装置１０１で撮影を行いながら、結像レンズ１０３を移動させてズームを行う場合も、検出範囲内での画像信号に差が発生し、検出部１０９は、検出範囲内に物体が出現したと検出してしまう。よって、前述したパンやチルト動作と同様に、ズームを行っている際にも、撮像画像全体から検出部１０９に検出範囲の信号を撮像画像信号処理回路１０８から送信するかを判断させる構成とする。その他の手法として、結像レンズ１０３を移動させている場合は、撮像画像信号処理回路１０８から検出部１０９に信号を送信しない構成としても良い。このような手法により、検出部１０９における誤検出を防ぐことが可能となる。

次に、本実施形態における盲点範囲内の物体を検出する処理の具体的なフローを示す。

図５は、本実施形態における盲点範囲内の物体の検出および報知を行う具体的なフローを示した図である。尚、図５における各処理は、画像処理装置１０１内の撮像画像信号処理回路１０８、検出部１０９、表示画像信号処理回路１１０、が行う処理である。

（Ｓ５０１）Ｓ５０１では、撮像画像信号処理回路１０８が、撮像素子１０２からデジタル画像データを取得し、所定の画像処理がなされた画像生成を行った後、表示画像信号処理回路１１０に画像信号を送信する。ここでの画像処理は、画像信号内における盲点範囲３０１の検出および設定を含む。

（Ｓ５０２）Ｓ５０２では、検出部１０９が、物体検出機能のスイッチがＯＮになっているか否かを判断する。物体検出機能のスイッチがＯＮになっている場合、Ｓ５０３に処理を進め、ＯＮになっていない場合、Ｓ５０７に処理を進める。

（Ｓ５０３）Ｓ５０３では、撮像画像信号処理回路１０８が、姿勢検出手段として機能し、観察者によってパン・チルト・ズーム動作を行われているか否かを判断する。パン・チルト・ズーム動作を行っていないと判断された場合、Ｓ５０４に処理を進め、パン・チルト・ズーム動作を行っていないと判断された場合、撮像画像信号処理回路１０８が検出部１０９に画像信号を送信するとともに、Ｓ５０７に処理を進める。

（Ｓ５０４）Ｓ５０４では、検出部１０９が、受信した画像信号の盲点範囲３０１内における画像の変化を検出する。画像の変化を検出することにより、表示領域内における盲点領域内に物体が侵入したことなどを検出することが可能である。検出部１０９が画像の変化を検出した場合、Ｓ５０５に処理を進め、画像の変化を検出しなかった場合、Ｓ５０７に処理を進める。

（Ｓ５０５）Ｓ５０５では、検出部１０９が、物体を検出した旨を示す信号を表示画像信号処理回路１１０に送信する。

（Ｓ５０６）Ｓ５０６では、表示画像信号処理回路１０８が、受信した画像信号に注意喚起文を重畳し、注意喚起文が重畳された画像信号を生成する。

（Ｓ５０７）Ｓ５０７では、表示画像信号処理回路１０８が、表示手段１０５に画像を表示させる。検出部１０９により盲点範囲３０１から物体が検出された場合、表示される画像は、注意喚起文が重畳された画像となる。物体が検出されてない場合、表示される画像に注意喚起文は重畳されない。

以上が、本実施形態における盲点範囲内の物体の検出および報知を行う具体的な処理フローである。尚、上記の各処理は、所定の処理を行うためのコンピュータプログラムが格納された一般的なパーソナルコンピュータで行うことも可能である。

以上説明したように、観察者は撮影したい被写体４０１を画像中心に配置して被写体を注視している場合においても、観察者の盲点範囲３０１に物体４０２が出現したことを観察者に報知することが可能となる。ゆえに、観察者の意図しない物体４０２が撮影フレーム内に出現していることを知ることが可能となる。従って、観察者は撮影したいフレームを変更する、もしくは撮影を中止することで、意図しない撮影を防ぐことが可能となる。

なお、検出部１０９において物体４０２が出現したことを検出した場合であって、観察者が撮影を続けてしまった場合でも、観察者が意図しない撮影を防止する手法も説明する。検出部１０９において物体４０２が出現したことを検出し、撮像画像信号処理回路１０８から記録部１０４に画像信号を送信する際に、盲点領域３０１において物体４０２が出現する前の画像を出現後の画像と置き換えた信号を送信する。前述した手法により、画像処理装置１０１で記録している画像には、物体４０２が出現していない画像とすることが可能であり、観察者の意図しない撮影を防ぐ構成としても良い。

また、本実施形態においては、表示手段１０５で表示される画像は、撮像素子１０２で撮像された現実空間の画像であるが、例えば、コンピュータグラフィックスなどを用いた仮想空間の画像を表示する場合にも適用することが可能である。

（第二の実施形態）
図６は、第二の実施形態における画像処理装置１０１の構成を示した図である。

本実施形態における画像処理装置１０１の構成は、第一の実施形態の構成とほぼ同じであり、第一の実施形態と同一の部材については同一の符号を用いる。本実施形態と第一の実施形態とで異なる点は、ファインダ部１０７に観察者の眼球を照明する照明部６０１および観察者の視線方向を検知する視線検知手段が設けられていることである。尚、本実施形態では、観察者は右眼でファインダ部１０７の画像を観察している。

（照明部６０１）本実施形態における照明部６０１は、一般的なＬＥＤ （Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの発光手段から構成され、観察者の眼球を照明する。

（視線検知手段６０２）本実施形態における視線検知手段６０２は、視線方向検出を行うものであり、一般的なＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサなどから構成され、観察者の視線方向を検出する。検出した観察者の視線方向のデータは、撮像画像信号処理回路１０８に送信され、更に、検出部１０９にも送信される。

視線検知手段６０２は、照明部６０１から照射された観察者の眼球表面の輝点、いわゆるプルキニエ像から観察者の視線方向を検知するものであっても良いし、観察者の視線方向が検知できるものであればその他の手法を用いた構成でも良い。

尚、本実施形態における盲点範囲の物体の検出および報知の具体的なフローも、第一の実施形態における処理とほぼ同様である。第一の実施形態と異なる点は、検出部１０９が盲点範囲内における物体を検出する際に、観察者の視線方向を考慮するということである。

以下に、盲点範囲内における物体を検出する際に、観察者の視線方向を考慮する処理を説明する。

図７は、被写体７０１が、表示面の中心から左側に５度シフトしている場合を示す図である。図７に示すように、被写体７０１が撮像フレームの表示面の中心位置でなく、表示面の中心位置から左側に５度シフトしている場合、観察者の注視点も撮像フレームの表示面の中心から左側に５度シフトしてしまう。観察者の注視点がファインダ部１０７の画像中心でない場合は、撮像素子１０２上における観察者の盲点範囲７０２も注視点の位置と共に変化する。

第一の実施形態では、盲点範囲７０２の右端は表示画像よりも外側まで及んでおり、表示面内での盲点範囲７０２は小さい範囲となっていた。しかし、図７に示すように観察者の注視点が表示面の中心より水平方向の左側に５度シフトしている場合、観察者の注視点が画像中心より左側にシフトしたために、観察者の盲点範囲７０２の全てが表示画像内に含まれることになる。

前述したように、本実施形態では、観察者の注視点が画像中心位置より左側に５度シフトしているため、観察者の盲点範囲７０２は画像中心位置を基準に考えると、画像中心から水平右側に８度から１３度の位置となる。表示画像の画素位置の計算は第一の実施形態で説明した方法で算出することができ、観察者の盲点範囲７０２はＦ（１４３０，４２１）、Ｇ（１４３０，７７８）、Ｈ（１７３２，７７８）、Ｉ（１７３２，４２１）の４点で囲まれる範囲となる。観察者は、前述した盲点範囲７０２内における画像の変化を認識することは出来ない。

図８は、物体８０１が撮影フレーム外から移動して表示面に出現した状態を示す図である。

図８に示すように、前述した状態において物体８０１が撮影フレーム外から矢印Ｊの方向に移動して出現した場合は、観察者の盲点範囲７０２から外れた位置を通過するため、観察者には物体が撮影フレーム内に出現したことを認知することが可能である。しかし、観察者の盲点範囲７０２内に建物の出入り口等が存在した場合は、観察者の盲点範囲７０２内において物体８０２が出現することも考えられる。しかし、ファインダ部１０７に視線検知手段６０２を配置することにより、観察者の視線方向に応じて検出範囲を変更することが可能であり、観察者の注視点の位置によらず観察者の盲点２０４範囲内に物体８０２が出現したかを検出することが可能となる。

本実施形態では、撮像素子１０２から検出部１０９に送信する盲点範囲７０２の画像信号は、前述したＥ点からＨ点で囲まれる範囲としたが、観察者によって盲点範囲７０２は多少異なる。本実施形態でのファインダ部１０７の画角は３２度であるため、観察者が表示面の中心を注視している場合は、観察者の盲点範囲７０２の全てを検出することはできない。本実施形態では観察者は右眼でファインダ部１０７を観察する構成であるため、観察者の盲点範囲７０２は画像の右側に存在する。そのため、観察者にファインダ部１０７の画像左半分の中心、すなわち画像中心より左側８度の位置に校正用の注視点位置を表示し、観察者に前述した位置を観察させた状態で、表示手段１０５にマーカを表示させる。その状態でマーカを移動させながら、観察者が画像中心を観察した状態でマーカが観察できない部位を特定し、検出部１０９に送信する撮像素子１０２上の画像信号を決定させる校正を行っても良い。前述した校正を行うことで、観察者に応じた盲点範囲７０２の全てを検出し、観察者の盲点範囲７０２の精度を向上させることが可能となる。撮像画像信号処理回路１０８から検出部１０９に送信する画像信号も、前述した校正による観察者の盲点範囲７０２に応じた画像信号を送信し、検出部１０９で演算させる。これにより観察者に応じた検出を行うことが可能となる。

本実施形態では、観察者は右眼を用いてファインダ部１０７の画像を観察する例を示したが、左眼で観察する場合は、観察者の盲点範囲７０２は画像の水平中心に対して左右対称となる。左眼に対応する構成は、第一の実施形態で説明した手法によって可能となる。

以上説明したように、観察者は撮影したい被写体７０１が表示面の中心からシフトした状態においても、観察者の盲点範囲７０２に物体８０２が出現したことを報知することが可能となる。ゆえに、観察者の意図しない物体８０２が撮影フレーム内に出現していることを知ることが可能となる。従って、観察者は撮影したいフレームを変更する、もしくは撮影を中止することで、意図しない撮影を防ぐことが可能となる。

（第三の実施形態）
図９は、第三の実施形態における画像処理装置１０１の構成を示した図である。本実施形態における画像処理装置１０１の構成は、第一の実施形態の構成とほぼ同じであり、第一の実施形態と同一の部材については同一の符号を用いる。

本実施形態と第一の実施形態とで異なる点は、撮像用の第１の撮像素子１０２と異なる第２の撮像素子９０１、第２の結像レンズ９０２、第２の検出部９０３が設けられていることである。尚、本実施形態では、観察者は右眼でファインダ部１０７の画像を観察している。

（第２の撮像素子９０１）本実施形態における撮像素子９０１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等などから構成され、第２の撮像素子９０１上に結像した画像をデジタル画像データとして取得する。基本的な構成は、第一の実施形態における撮像素子１０２と同様である。

（第２の結像レンズ９０２）本実施形態における第２の結像レンズ９０２は、被写体の像を第２の撮像素子９０１上に結像させるためのレンズである。第一の実施形態における結像レンズ１０３と異なる点は、結像レンズ１０３のズーム機構によるワイド端側で撮像できる撮像範囲よりも広角な範囲を撮像可能としていることである。

（第２の検出部９０３）本実施形態における第２の検出部９０３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、検出処理プログラムが格納されたＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。検出プログラムは、撮像素子１０２で撮像している撮影フレーム外における移動物体を検出するためのものである。第２の検出部９０３は、表示画像信号処理回路１１０に接続されており、撮像素子１０２で撮像している撮影フレーム外における移動物体の有無を、表示画像信号処理回路１１０に送信可能となっている。

図１０は、第２の撮像素子９０１、第２の結像レンズ９０２、第２の検出部９０３の機能の詳細を説明するための図である。

第２の撮像素子９０１は、第２の結像レンズ９０２により、第１の結像レンズ１０３のズーム機構によるワイド端側で撮像できる撮像範囲１００１よりも広角な範囲１００２を撮像することが可能である。第２の撮像素子９０１の撮像範囲１００２は、第１の撮像素子１０２で撮影する最大画角の撮像範囲１００１よりも１．５倍の範囲を撮像している。

前述したように、観察者は第１の撮像素子１０２で撮像している撮像範囲１００１はファインダ部１０７で撮影フレームを確認しており、図１０中に示す観察者の盲点２０４となる盲点範囲１００４が存在している。

観察者の盲点範囲１００４では、前述した手法によって、物体が出現しているか否かの検出を行っている。本実施形態で示す第２の撮像素子９０１は広範囲な撮像範囲１００２を撮影しているため、第２の検出部９０３は第１の撮像素子１０２で撮像している撮像範囲１００１の外側における物体１００３の動きベクトルを検知することが可能である。

第２の検出部９０３は、第１の結像レンズ１０３の位置が検知でき、検知に伴い第２の撮像素子９０１で撮影している範囲の中で、第１の撮像素子１０２が撮影している撮像範囲１００１を抽出可能となっている。

尚、第１の撮像素子１０２の撮像範囲１００１は第１の結像レンズ１０３の位置によりズーム倍率が異なり、第２の撮像素子９０２による撮像範囲１００２の中での、第１の撮像素子１０２による撮像範囲１００１の大きさも異なる。

また、動きベクトルを検出する範囲は第２の撮像素子８０１による画像信号の全てでなくても良い。例えば、第１の撮像素子１０２で撮影している撮像範囲１００１の外側であって、図１０中の破線で示した検出範囲１００５の範囲のみでも良い。検出範囲１００５は、観察者の盲点範囲１００４の垂直方向に２倍、水平方向には第２の撮像素子９０１による撮像範囲１００２右端までの領域である。第２の検出部９０３は第１の結像レンズ１０３の位置を検出することが出来るため、第１の撮像素子１０２による撮像範囲１００１の変化に伴い、検出範囲１００５を変化させることも可能である。第２の検出部９０３は、前述した物体１００３の動きベクトルを検出することによって、観察者がファインダ部１０７を観察している際の盲点範囲１００４となる位置に、物体１００３が出現する可能性があることを検出することが出来る。物体１００３の動きベクトルの方向から、第１の撮像素子１０２が撮影している撮像範囲１００１に物体１００３が出現する可能性がある場合、物体１００３が第１の撮像素子１０２が撮影している撮像範囲１００１内に出現する前に、第２の検出部９０３は表示画像信号処理回路１１０に信号を送る。表示画像信号処理回路１１０では第２の検出部９０３からの信号を受信した場合、撮像画像信号処理回路１０８から受信した画像右下部に“盲点範囲注意“と注意喚起を行う画像信号を重畳させて表示手段１０５に画像信号を送信する。注意喚起を行う表示は前述した内容だけでなく、第一の実施形態で説明したように、他の文言や、別の報知手段であっても良い。

本実施形態では、観察者は右眼を用いてファインダ部１０７の画像を観察する例を示したが、左眼で観察する場合は、観察者の盲点範囲１００４は画像の水平中心に対して左右対称となる。左眼に対応する構成は、第一の実施形態で説明した手法によって可能となる。

以上説明したように、観察者の盲点範囲１００４に物体が出現したことを報知することによって、観察者の意図しない物体が撮影フレーム内に出現していることを知ることが可能となる。さらに、第２の撮像素子９０１、第２の結像レンズ９０２、第２の検出部９０３を備えることによって、観察者の盲点範囲１００４内に出現する可能性のある物体１００３が、第１の撮像素子１０２の撮像範囲１００１内に出現する前に観察者に報知することが可能となる。

従って、観察者は撮影したいフレームを変更する、もしくは撮影を中止することで、意図しない撮影を防ぐことが可能となる。

（第四の実施形態）
図１１は、第四の実施形態における画像処理装置１０１の構成を示す図である。

本実施形態における画像処理装置１０１の構成は、第一の実施形態の構成とほぼ同じであり、第一の実施形態と同一の部材については同一の符号を用いる。

（ジャイロセンサ１１１）本実施形態と第一の実施形態とで異なる点は、観察者が画像処理装置１０１を使用している姿勢を検出するためのジャイロセンサ１１１が設けられていることである。ジャイロセンサ１１１は画像処理装置１０１の姿勢状態を検出し、画像処理装置１０１の姿勢に応じて撮像画像信号処理回路１０８は検出部１０９へ送信する画像信号の範囲を切り替えている。尚、本実施形態では、観察者は右眼でファインダ部１０７の画像を観察している。

本実施形態の撮像素子１０２について説明する。撮像素子１０２は水平方向に５６１６画素、垂直方向に３７４４画素の約２１１０万画素を有している。しかし、用いる撮像素子１０２の画素数は解像度の低い撮像素子であっても良いし、さらに高精細な撮像素子であっても良く、本実施形態で用いている撮像素子１０２の解像度に限らない。本実施形態に用いる撮像素子１０２には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等で構成されている。

次に、ファインダ部１０７について説明する。本実施形態に用いる表示手段１０５は第一の実施形態で説明した観察者が撮像素子１０２上での画像を確認できる装置であれば、いずれの表示装置を用いても良い。本実施形態の表示手段１０５の画素数は水平方向に１２００画素、垂直方向に８００画素で構成されており、撮像素子１０２の画素数を全て表示するのではなく、撮像素子１０２の画像を間引いて表示している。

観察者は接眼レンズ１０６を通して、表示装置１１０５の画像を観察する。本実施形態でのファインダ部１０７の水平画角は３６度に構成されており、アスペクト比が３：２で構成されており、垂直方向の画角は２４度となっている。

図１２は、表示装置１０５の表示面の画像構成と観察者の盲点２０４との位置関係を示す図である。

図１２に表示装置１１０５の画像構成と前述した図２に示す観察者の盲点２０４の位置関係を示す。図１２中に示すように、表示装置１１０５の水平方向をＸ方向、垂直方向をＹ方向とし、左上隅部の画素を（１，１）とし、右下隅部の画素を（１２００，８００）とする。観察者が撮影したい被写体を画像中心に配置した場合は、観察者は画像中心を注視することになり、画像中心部が網膜２０２上の中心窩２０３に結像することになる。

本実施形態ではファインダ部１１０７の左端から右端までの水平画角が３２度であるため、画像中心より画面右半分で１８度の画角である。盲点２０４の位置は画像中心より水平方向右側に１３度から１８度であるため、ファインダ部１０７の画像上では水平右側１３度の位置から画像の右端までとなる。盲点２０４の位置となる画像中心より水平右側１３度の位置は、下記の計算により

となる。

図１２で示す画素で表すと１０２６番目の画素である。垂直方向は上方側に２度、下方側に４度であることより、同様の計算を行うと、観察者の盲点２０４に対応する画像位置はＫ（１０２６，３３５）、Ｌ（１０２６，５３１）、Ｍ（１２００，５３１）、Ｎ（１２００，３３５）の４点で囲まれる範囲の画素が観察者の盲点範囲１２０１となる。前述した盲点範囲１２０１内では、観察者は発生している事柄については認識できない状態になってしまう。前述した盲点範囲１２０１に対応する撮像素子１０２からの画像信号を撮像画像信号処理回路１０８から検出部１０９に送信し、
第一の実施形態で説明した手法により、観察者の盲点範囲１２０１内に物体が出現したかを検出することが可能となる。

図１３は、画像処理装置１０１を観察者の視線方向を中心として９０度回転させて使用した場合の表示面の画像を示した図である。

観察者が携帯可能なくらい画像処理装置１０１が小型である場合、画像処理装置１０１を９０度回転させて使用することがある。その場合、ファインダ部１０７で観察される画像は、図１３に示すようになる。このような状態で観察者が画像処理装置１０１を使用すると、観察者に対して水平方向である図１３中のＹ方向の画角は２４度となる。そのため、観察者の盲点範囲１２０１は観察している画像に含まれない。本実施形態の画像処理装置１０１にはジャイロセンサ１１１が設けられており、画像処理装置１０１を垂直に使用した場合は、ジャイロセンサ１１１による姿勢状態を撮像画像信号処理回路１０８に送信する。撮像画像信号処理回路１０８ではジャイロセンサ１１１から画像処理装置１０１が垂直状態で使用されていることを受信すると、検出部１０９に画像信号を送信せず、検出部１０９で誤検出を行わない構成となっている。

本実施形態ではファインダ部１０７の水平画角が３６度としたが、アスペクト比が３：２であればファインダ部１０７の水平画角を４０度以上で構成すると、画像処理装置１０１を垂直状態で使用した場合、観察者の盲点範囲１２０１は観察画像内に含まれることになる。ファインダ部１０７の水平画角を前述した構成にした場合は、画像処理装置１０１が水平状態で使用されている場合の検出範囲と垂直状態で使用されている場合の検出範囲を撮像画像信号処理回路１０８に記憶させておく。ジャイロセンサ１１１によって、画像処理装置１０１の姿勢を検知し、姿勢に応じて撮像画像信号処理回路１０８から検出部１０９へ送信する画像信号の検出範囲を切り替えることが可能となる。前述した手法によって、画像処理装置１０１を垂直状態で使用した場合においても、観察者の盲点範囲１２０１内に物体が出現した場合の検知が可能となる。

本実施形態では、観察者は右眼を用いてファインダ部１０７の画像を観察する例を示したが、左眼で観察する場合は、観察者の盲点範囲１２０１は画像の水平中心に対して左右対称となる。左眼で観察する場合は実施例１で示した手法を用いることで、左眼に応じた構成とすることが可能となる。

また、第一の実施形態で説明した手法により、観察者の盲点範囲１２０１を正確に校正することも可能であり、校正した観察者の盲点範囲１２０１を画像処理装置１０１の姿勢状態の検出範囲に反映させることも可能である。

さらに、第二の実施形態で説明した視線検知手段を備えさせ、観察者の視線方向に応じて検出範囲を変更する機能を備えさせることも可能である。

被写体を撮影する際に、フレーム内に物体が出現しても構わない場合もある。そのような状況において、観察者の盲点範囲１２０１内に物体が出現する度に注視喚起してしまうと観察者が煩わしく感じる場合もある。そのため、本発明の機能を停止させるスイッチを画像処理装置１０１に備えさせておくことも可能である。また、本発明の機能は画像処理装置１０１でピントを合わせた状態のときだけ、作動させる構成としても良い。

以上説明したように、観察者の盲点範囲１２０１に物体が出現したことを報知することによって、観察者の意図しない物体が撮影フレーム内に出現していることを知ることが可能となる。さらに、画像処理装置１０１の姿勢状態によって物体の検出を行う範囲を変更することで、使用状態によって誤検出を行わないことが可能となる。従って、観察者は撮影したいフレームを変更する、もしくは撮影を中止することで、意図しない撮影を防ぐことが可能となる。

第一の実施形態における画像処理装置１０１の構成を示した図である。 人の右眼の水平断面を示した図である。 表示手段１０５の表示面における画像構成と観察者の盲点２０４との位置関係を示した図である。 盲点範囲３０１内に物体が侵入する場合を示した図である。 第一の実施形態における盲点範囲内の物体の検出および報知を行う具体的なフローを示した図である。 第二の実施形態における画像処理装置１０１の構成を示した図である。 被写体７０１が表示面の中心から左側に５度シフトしている場合を示す図である。 物体８０１が撮影フレーム外から移動して表示面に出現した状態を示す図である。 第三の実施形態における画像処理装置１０１の構成を示した図である。 第２の撮像素子９０１、第２の結像レンズ、第２の検出部９０３の機能を説明するための図である。 第四の実施形態における画像処理装置１０１の構成を示す図である。 表示装置１０５の表示面の画像構成と観察者の盲点２０４に対応する位置との位置関係を示す図である。 画像処理装置１０１を観察者の視線方向を中心として９０度回転させて使用した場合の表示面の画像を示した図である。

１０１ ビデオカメラ
１０２・９０１・１１０２ 撮像素子
１０３・９０２・１１０３ 結像レンズ
１０４・１１０４ 記録部
１０５・１１０５ 表示装置
１０６・１１０６ 接眼レンズ
１０７・１１０７ ファインダ部
１０８・１１０８ 撮像画像信号処理回路
１０９・９０３・１１０９ 検出部
１１０・１１１０ 表示画像信号処理回路
２０１ 水晶体
２０２ 網膜
２０３ 中心窩
２０４ 盲点
３０１・７０２・１００４・１２０１ 盲点範囲
４０１・７０１ 被写体
４０２・８０１・８０２・１００３ 物体
６０１ 照明部
６０２ 視線検知手段
１００１ 第１の撮像素子による撮像範囲
１００２ 第２の撮像素子による撮像範囲
１００５ 検出範囲
１１１ ジャイロセンサ

Claims (10)

1. 観察者に対して画像を表示するための画像処理装置であって、
   前記観察者に対して画像を表示する表示領域内に、前記観察者の網膜上の盲点位置に基づく盲点領域を設定する設定手段と、
   前記観察者が観察する観察対象の変化に起因して、前記盲点領域内の表示を変更する場合、前記観察者に対して前記盲点領域内の変化を報知する報知手段とを有することを特徴とする画像処理装置。
2. 更に、前記観察者の網膜上の盲点の個人差に関する情報を取得する取得手段を有し、
   前記設定手段は、前記個人差に関する情報と、前記観察者の網膜上の盲点位置とに基づき、前記盲点領域を設定することを特徴とする請求項１に記載の画像処理装置。
3. 更に、前記表示領域内に表示される複数の画像を生成する画像生成手段と、
   前記生成された複数の画像の差分から、前記盲点領域に対応する画像の変化を検出する検出手段とを有し、
   前記報知手段は、前記検出手段により前記盲点領域に対応する画像の変化が検出された場合、前記盲点領域内の変化を報知することを特徴とする請求項１に記載の画像処理装置。
4. 更に、前記検出手段により前記盲点領域に対応する画像の変化が検出された場合、前記盲点領域に対応する画像を、変化前の画像に補正する補正手段を有することを特徴とする請求項３に記載の画像処理装置。
5. 前記表示領域内に表示される画像は、撮像手段で撮像された画像であり、
   前記設定手段は、前記撮像手段の姿勢と、前記観察者の網膜上の盲点位置とに基づき、前記盲点領域を設定することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 更に、前記観察者の視線方向を検出する視線方向検出手段を有し、
   前記設定手段は、前記視線方向と、前記観察者の網膜上の盲点位置とに基づき、前記盲点領域を設定することを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 更に、前記観察者の姿勢を検出する姿勢検出手段を有し、
   前記設定手段は、前記観察者の姿勢と、前記観察者の網膜上の盲点位置とに基づき、前記盲点領域を設定することを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
8. 撮像手段で撮像された画像を表示する表示手段と、当該表示手段で表示された画像を光学部材を介して観察者に提示するファインダとを有する画像処理装置において、
   前記ファインダを用いて前記観察者が前記画像を観察した状態における前記観察者の網膜上の盲点位置に基づき、前記撮像手段で撮像された画像内に盲点領域を設定する設定手段と、
   前記観察者が観察する観察対象の変化に起因する前記盲点領域内の画像の変化を検出する検出手段と、
   前記盲点領域内の画像の変化を前記観察者に報知する報知手段とを有することを特徴とする画像処理装置。
9. 観察者に対して画像を表示するための画像処理方法であって、
   設定手段が、前記観察者に対して画像を表示する表示領域内に、前記観察者の網膜上の盲点位置に基づく盲点領域を設定する設定工程と、
   報知手段が、前記観察者が観察する観察対象の変化に起因して、前記盲点領域内の表示を変更する場合、前記観察者に対して前記盲点領域内の変化を報知する報知工程とを有することを特徴とする画像処理方法。
10. コンピュータを、
    観察者に対して画像を表示するための画像処理装置であって、
    前記観察者に対して画像を表示する表示領域内に、前記観察者の網膜上の盲点位置に基づく盲点領域を設定する設定手段と、
    前記観察者が観察する観察対象の変化に起因して、前記盲点領域内の表示を変更する場合、前記観察者に対して前記盲点領域内の変化を報知する報知手段とを有することを特徴とする画像処理装置として機能させるためのコンピュータプログラム。