JP2022138647A - 画像処理装置、情報処理システム、および画像取得方法 - Google Patents

Abstract

【課題】撮像装置が動く環境で撮影画像から実世界の状態情報を高精度に取得する。【解決手段】画像処理装置１０のパラメータ制御部３０は、撮像装置１４が搭載される可動体の運動情報を運動計測装置１２から取得し、それに応じて露出時間、ゲイン値、ノイズ低減のためのフィルタパラメータを制御する。ゲイン処理部２２は、制御された露出時間で撮影された画像にゲイン処理を施す。画像処理部２６はノイズ低減処理を施す。出力部２８は、画像解析装置１６に画像データを出力する。【選択図】図４

Description

本発明は、実世界の状態情報を取得するための撮影画像を取得する画像処理装置、当該状態情報を生成する情報処理システム、および撮影画像の取得方法に関する。

ユーザの体やマーカーを撮像装置で撮影し、その像の領域を別の画像で置換してディスプレイに表示するゲームが知られている（例えば、特許文献１参照）。また、乗り物やロボットなどの可動体に撮像装置を取り付け、撮影画像を解析することにより自己位置を推定したり、周囲の物を認識したりする技術も知られている。このように、撮影画像を用いて実世界の様々な状況情報を取得し利用する技術は、日常的なものから特殊調査まで、幅広い分野で利用されている。

欧州特許出願公開第０９９９５１８号明細書

可動体に搭載されるなど、撮像装置自体が動く環境においては、固定の撮像装置と比較して被写体との相対的な動きが大きくなり、像がぶれるモーションブラーが発生しやすい。モーションブラーは、画像解析において重要となる特徴点や特徴量の抽出を困難にし、解析精度を悪化させる。撮像装置の動きの自由度が高いほど、また、突発的な動きが発生しやすい環境ほど、モーションブラーの問題が顕在化し、解析結果が不定になることもあり得る。

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮像装置が動く環境においても、撮影画像から実世界の状態情報を高精度に取得できる技術を提供することにある。

本発明のある態様は画像処理装置に関する。この画像処理装置は、動画を撮影する撮像装置の運動情報を所定のレートで取得し、当該運動情報に基づき露出時間を制御するパラメータ制御部と、撮像装置により当該露出時間で撮影された画像に所定の処理を施したデータを出力する出力部と、を備えたことを特徴とする。

本発明の別の態様は情報処理システムに関する。この情報処理システムは、上記画像処理装置と、撮像装置と、運動情報を所定のレートで計測する運動計測装置と、を含むことを特徴とする。

本発明のさらに別の態様は画像取得方法に関する。この画像取得方法は、動画を撮影する撮像装置の運動情報を所定のレートで取得するステップと、当該運動情報に基づき露出時間を制御するステップと、撮像装置により当該露出時間で撮影された画像に所定の処理を施したデータを出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、撮像装置が動く環境においても、撮影画像から実世界の状態情報を高精度に取得できる。

本実施の形態を適用できるヘッドマウントディスプレイの外観例を示す図である。 一般的な撮影画像の処理に係るパラメータの依存関係を例示する図である。 本実施の形態の撮影画像の処理に係るパラメータの依存関係を示す図である。 本実施の形態を適用できる情報処理システムの構成を示す図である。 一般的な撮像装置における露出の制御と画像の変化の関係を例示する図である。 本実施の形態の画像処理装置における露出時間の制御と画像の変化の関係を例示する図である。 従来の撮像装置による撮影と本実施の形態の情報処理システムによる撮影とを実際の出力画像で比較する図である。

本実施の形態は、撮像装置の動きを許容する環境において撮影された画像を解析し、実世界の状態情報を取得する技術に関する。この限りにおいて、撮像装置の実装形態は特に限定されず、ヘッドマウントディスプレイ、ロボット、携帯端末、乗り物、ドローンなど、別の用途を有する装置に搭載されていてもよいし、人が動かすことのできる撮像装置単体であってもよい。以後、ヘッドマウントディスプレイに搭載された撮像装置を主たる例として説明する。

図１は本実施の形態を適用できるヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備える。またヘッドマウントディスプレイ１００はＩＭＵ（Inertial Measurement Unit)センサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。さらにヘッドマウントディスプレイ１００は、筐体１０８の前面に、実空間を動画撮影する撮像装置１１０を備える。

例えば図示するように撮像装置１１０をステレオカメラとし、左右の視点から撮影した画像を表示パネルに表示させれば、密閉型のヘッドマウントディスプレイ１００であっても、実空間が見渡せるビデオシースルーを実現できる。一方、撮影された動画のフレームを解析することにより、ユーザの頭部の位置や姿勢をフレーム周期で取得できる。この情報を用いて、ユーザの視線に対応する視野で仮想世界を描画すれば、没入感のある仮想現実を実現できる。また、撮影画像の視野に合うようにコンピュータグラフィクスを合成することにより、拡張現実や複合現実も実現できる。

撮影画像を解析し、環境地図を作成しながら自己位置や姿勢を推定する手法として、Ｖ－ＳＬＡＭ（Visual Simultaneous Localization and Mapping）など様々なアルゴリズムが提案されている。撮影画像による解析結果にＩＭＵセンサの計測値を統合することにより、位置や姿勢の情報の詳細度や精度を高めることができる。ただし画像解析の内容は特に限定されず、撮像装置１１０の視野にある物を認識したり計測したりしてもよい。またヘッドマウントディスプレイ１００に搭載する撮像装置１１０はステレオカメラに限らず、３つ以上の多眼カメラであっても単眼カメラであってもよい。

いずれにしろヘッドマウントディスプレイ１００のような可動体に撮像装置を搭載する場合、撮像装置側の動きに起因したモーションブラーが発生する。これにより像の輪郭や特徴点など、解析に用いるパラメータに大きな誤差が生じ、画像解析の精度が低下しやすくなる。同様の問題は、解析のための撮像装置を搭載した自動車、ロボット、ドローンなど様々な可動体で発生する。また、撮像装置自体が可動状態にある場合にも発生する。

ただし速度や加速度が連続的に変化する場合は、それまでの動きなどからパラメータを予測したり補正したりすることにより、ある程度の解析精度を維持することが可能である。一方、ヘッドマウントディスプレイ１００のように、人の意思などによって運動方向や速度が自由に変化し得る場合、その変化が許容範囲を超え、解析精度が著しく悪化したり解析結果が不定になったりする可能性が高くなる。

例えばユーザがヘッドマウントディスプレイ１００を装着して戦闘ゲームを行う場合、敵の襲来や弾丸の飛来を避けようと、頭部が複雑かつ急に動くことが考えられる。また、ゲームコントローラを用いるケースでは、当該コントローラが頭に当たり、衝撃に起因する加速度が意図せず発生することもある。このような予測しにくい動きは、ヘッドマウントディスプレイに限らず、自律走行ロボットが地面の段差を越える場合など、様々なシーンで起こり得る。

解析結果を安定的に得るには、撮像装置がいかなる動きをしようと、モーションブラーの少ない画像を撮影し続けられるようにすることが望ましい。一方、一般的な撮像装置では、撮影された画像を人が見て美しいと感じるように、撮影条件や画像処理の自動調整がなされる。人が美しいと感じる要素には、例えば高コントラスト、高先鋭感、高解像度がある。これらの要素を好適に実現するため、一般的な撮像装置では、周囲の明るさに合わせた露出時間やゲインの調整、ノイズ低減処理、ガンマ補正、コントラスト強調、デモザイク、超解像など、各種加工や調整がなされる。

図２は、一般的な撮影画像の処理に係るパラメータの依存関係を例示している。このうち（ａ）は、主たるパラメータの連鎖を示している。まず、画像全体としての好適な明るさを示すターゲット輝度５０が設定されている。画像全体の明るさは、例えば輝度ヒストグラムにおける重心などで表現できる。撮像装置は、撮影画像全体の明るさがターゲット輝度５０に近づくように、撮影環境５２の明るさに合わせて露出時間５４を制御する。例えば暗い環境で輝度が十分得られなければ、露出時間（シャッター速度）を長くすることにより、画素ごとの入射光が増え輝度が上がる。

ターゲット輝度５０に対し、まず露出時間５４を設定することで、本来の光の検出値を極力高くし、相対的にノイズを減らすことができる。ゲイン値５６は、そのようにして得られた検出値を増幅し、ターゲット輝度５０にさらに近づけるために設定される。そしてゲイン調整によって増幅したノイズを低減するため、ゲイン値５６を踏まえた平滑化フィルタなどのフィルタパラメータ５８が設定される。実際には上述のとおり、ガンマ補正、コントラスト強調、超解像などの加工処理も実施される。カラー画像であればさらに、デモザイク処理や色調の調整なども実施される。

このように、周囲の明るさに対し露出を調整する機能はＡＥ（Auto Exposure）、ゲインを調整する機能はＡＧＣ（Auto Gain Control）として知られている。（ｂ）は、一般的な撮像装置で撮影する場合の、撮影環境とモーションブラーの関係を例示している。（ａ）に示すパラメータの連鎖によれば、撮影環境の明暗によって露出時間が定まる。定性的には図示するように、撮影環境が明るければ露出時間を短くし、暗ければ露出時間を長くする。なおここでの表現は、明暗に対応する相対的なものである。

ここで撮像装置、ひいてはそれを搭載するヘッドマウントディスプレイ１００に動きがなければ、露出時間によらずモーションブラーは生じない。一方、ヘッドマウントディスプレイ１００に動きがある場合、露出時間を長くするほどモーションブラーの発生の程度（ボケの大きさ）が大きくなる。結果的に、ヘッドマウントディスプレイ１００の動きが同様であっても、撮影環境が暗いほどモーションブラーが大きくなる。

モーションブラーを抑制するには、露出時間の自動制御を行わないことが考えられるが、この場合、露出時間は常に短めに合わせておく必要がある。これにより、ヘッドマウントディスプレイ１００が静止しているときを含め、定常的に光の検出値が小さくなるため、ゲイン値を上げる必要があり、結果としてノイズ成分が増加する。このようなノイズの増加は、暗い環境では顕著となり、結局は画像解析の精度が低下してしまう。すなわち一般的な撮像装置を採用した場合はいずれにしろ、撮影画像の解析精度、ひいてはヘッドマウントディスプレイ１００を用いたユーザ体験の質が、周囲の環境に依存することになる。

そこで本実施の形態では、撮像装置の動きを露出時間決定の根拠とする。図３は、本実施の形態の撮影画像の処理に係るパラメータの依存関係を示している。（ａ）は図２と同様の形式で、本実施の形態におけるパラメータの連鎖を示している。図２と比較すると、本実施の形態では撮影環境の代わりに運動情報６０から露出時間６４を決定している点、ターゲット輝度６２は、ゲイン値６６の決定において用いている点が異なる。

具体的には、ヘッドマウントディスプレイ１００に設けられたＩＭＵセンサから運動情報６０を取得し、それに基づき露出時間６４を決定する。定性的には、ヘッドマウントディスプレイ１００が静止しているか、モーションブラーが問題にならない程度の低速運動であれば露出時間を長くし、モーションブラーが問題になるほど中速、高速の運動であれば露出時間を短くする。以後、前者の状態を「運動がない」状態、後者の状態を「運動がある」状態と呼ぶことがある。

そして、そのような露出時間制御により得られた光の検出値と、ターゲット輝度６２との比較によりゲイン値６６を決定することで、画像全体の輝度を好適に保つ。ただし後述するように、露出時間の切り替えに際してはその変化に対応するようにゲイン値６６を決定する。さらに当該ゲイン値６６に対応するように、ノイズ低減処理のためのフィルタパラメータ６８を決定する。このように本実施の形態では、ヘッドマウントディスプレイ１００、ひいては撮像装置の運動情報６０を基点として撮影画像の処理のパラメータを制御する。

ここで運動情報６０は、ＩＭＵセンサが計測する角速度や加速度の少なくともいずれかでもよいし、運動があるかないか、といった単純な検出結果でもよい。当然、運動情報が詳細なほど、決定される露出時間の精度や詳細度を上げることができる。例えばモーションブラーの発生は、並進運動より回転運動においてより顕著になるため、回転運動が発生しているときに、より露出時間を短くするなどのきめ細かい制御が可能になる。

（ｂ）は、本実施の形態におけるヘッドマウントディスプレイ１００の運動とモーションブラーの関係を例示している。上述のとおり運動がある状態において露出時間を短くすることにより、図２の例と比較しモーションブラーを小さく抑えることができる。また露出時間を短くした分、ゲイン値を上げることにより、画像全体の輝度を維持できる。例えば露出時間を１／Ｎに切り替えた場合、ゲイン値をそれまでのＮ倍にする。これによりノイズ成分（ＳＮ比）が大きくなるが一時的なものであるうえ、モーションブラーの影響が抑えられるため、総合的に見て画像解析の精度を上げることができる。

このように、運動がある状態での適正な露出時間を保証することにより、運動がない状態においては、露出時間を極力長くでき、小さいゲインでノイズの小さい撮影画像を得ることができる。運動がない状態では当然、モーションブラーは発生しないため、ノイズの小ささとの相乗効果により、画像解析の精度を向上させることができる。図では、撮影環境の変化も付記している。本実施の形態では、運動の有無によって露出時間を決定するため、周囲の明るさによる影響を最小限に抑えられる。

なお明暗によって光の検出値自体は当然、変化するため、ゲイン値やフィルタパラメータの絶対値は変化する。定性的には暗所であれば明所の場合より検出値が小さくなるため、大きなゲインがかかりノイズ成分が増す。しかしながらヘッドマウントディスプレイ１００の運動がない限り、露出時間を長く保つことができるため、ノイズを最小限に抑え込むことができる。

撮影画像を画像解析のみに用いる場合、上述のように人が見て美しいと感じる要素を後から付け加える必要がない。むしろコントラスト強調や超解像など、イメージセンサによる光の検出結果に施す加工は、本来の像の情報を変化させたり余分な情報を追加したりするものであり、画像解析の精度の観点では阻害要因となり得る。したがって本実施の形態では、ゲイン調整後の画像処理として、ノイズ低減のみを行うようにすることが望ましい。またカラー画像とすると分光のために空間分解能が下がることを踏まえ、好適には輝度の大きさのみを画素値とするグレースケールの画像を撮影する。

図４は、本実施の形態を適用できる情報処理システムの構成を示している。情報処理システム８は、撮像装置１４、画像処理装置１０、運動計測装置１２、画像解析装置１６を含み、少なくとも撮影画像に基づき実世界の情報を生成する。ここで情報処理システム８は、ヘッドマウントディスプレイ１００などの可動体に内蔵される。ただし情報処理システム８の少なくとも一部、例えば画像処理装置１０と画像解析装置１６の少なくともどちらか、あるいは画像処理装置１０の一部は、可動体と通信接続する別の装置に設けてもよい。また画像処理装置１０の少なくとも一部は、撮像装置１４に含まれていてもよい。

図１のヘッドマウントディスプレイ１００に適用した場合、撮像装置１４と運動計測装置１２は、撮像装置１１０および内蔵されるＩＭＵセンサに対応する。以後、情報処理システム８をヘッドマウントディスプレイ１００に搭載するものとして説明する。撮像装置１４は、入射光をＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子アレイで光電変換してなる電荷の２次元分布（ＲＡＷ画像）を所定のレートで出力する撮像部２０と、露出時間を調整する露出調整部１８を備える。

運動計測装置１２は、例えばジャイロセンサおよび加速度センサからなるＩＭＵセンサであり、ヘッドマウントディスプレイ１００の姿勢、並進運動、回転運動を所定のレートで検出する。画像解析装置１６は、撮影画像を用いてＶ－ＳＬＡＭ、物体検出、物体認識などの周知の技術により、ヘッドマウントディスプレイ１００の位置や姿勢、周囲の物体の情報など、実世界の情報を所定のレートで生成する。画像解析装置１６は好適には、運動計測装置１２の計測値と画像解析の結果を相補完的に用いて、実世界の情報を高精度に生成する。

画像処理装置１０は、撮像装置１４が撮影した、ゲイン処理前のＲＡＷ画像を処理して、画像解析装置１６が解析に用いる撮影画像のデータを所定のレートで生成する。画像処理装置１０は、ハードウェア的にはＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、各種演算器、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリなどで実現でき、ソフトウェア的には、記録媒体からメモリにロードした、情報処理機能、画像描画機能、データ入出力機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像処理装置１０は、ＲＡＷ画像の画素値を増幅させるゲイン処理を行うゲイン処理部２２、ノイズ低減処理など必要な画像処理を行う画像処理部２６、画像処理後のデータを画像解析装置１６に出力する出力部２８を備える。画像処理装置１０はまた、ゲイン処理後の画像全体の輝度に係る情報を取得する輝度情報取得部２４、および、露出時間、ゲイン値、フィルタパラメータなど、撮影や画像処理に用いるパラメータを制御するパラメータ制御部３０を備える。

なおゲイン処理部２２は詳細には、撮像部２０が出力するアナログ値に対しゲインをかけるアナログゲイン部、当該データをデジタル値に変換するＡＤ変換部、およびデジタル値に対しゲインをかけるデジタルゲイン部により構成してよい。画像処理部２６は、ゲイン調整がなされた画像のデータを順次取得し、必要な画像処理を施す。上述のとおり本実施の形態で画像処理部２６は、好適には、ノイズ低減処理を実施し、それ以外の加工処理は行わない。

出力部２８は、画像処理部２６から出力されるデータを内部のバッファメモリに一時保存するなどしたうえ、画像解析装置１６に供給する。画像解析装置１６が好適なタイミングで、バッファメモリからデータを読み出してもよい。輝度情報取得部２４は、ゲイン処理部２２によりゲイン調整がなされた画像のデータを取得し、輝度ヒストグラムの重心など、画像全体の輝度を表す情報を生成したうえ、パラメータ制御部３０に供給する。パラメータ制御部３０は、図３の（ａ）に示したパラメータの連鎖により、露出時間、ゲイン値、フィルタパラメータを所定のレートで決定する。

例えばパラメータ制御部３０は、運動計測装置１２による計測値を所定のレートで取得することで、ヘッドマウントディスプレイ１００の変化量を、フレーム周期単位で導出する。ここで変化量とは例えば３軸周りの回転角であり、角速度をフレーム周期で積分することによって得られる。そしてパラメータ制御部３０は、導出した単位時間あたりの変化量すなわち速度に基づき適正な露出時間を決定し、露出調整部１８に露出時間の制御信号を送信する。例えばヘッドマウントディスプレイ１００が静止していると見なせるしきい値以下の速度であれば、パラメータ制御部３０は、あらかじめ設定された規定の露出時間とする。

当該露出時間は、フレームレートで定まる上限値、あるいは飽和しない範囲での最長時間などとする。この際、パラメータ制御部３０は、周囲の明るさに応じて露出時間を調整してもよい。そしてパラメータ制御部３０は、ヘッドマウントディスプレイ１００の速度がしきい値を超えたら露出時間を短くし、速度が再びしきい値以下となったら露出時間を元に戻す。なお露出時間切り替えの契機とする速度のしきい値は、速度の増加方向と減少方向で同一であってもよいし異ならせてもよい。しきい値を異ならせることにより露出時間が短時間に切り替わるのを回避できる。

あるいは速度に複数のしきい値を設け、パラメータ制御部３０は、速度が大きくなるほど露出時間を短くするように、段階的に露出時間を変化させてもよい。露出調整部１８は、パラメータ制御部３０からの制御信号に従い、撮像部２０の露出時間を調整する。調整処理自体には、一般的なＡＥの技術を利用できる。

パラメータ制御部３０はまた、輝度情報取得部２４から供給される、画像全体の輝度情報と、内部で保持するターゲット輝度とを比較することにより、ターゲット輝度を実現するためのゲイン値を決定する。一方、パラメータ制御部３０は、運動の有無や速度の変化により露出時間を変化させる際、その変化に対応するように即時にゲイン値も変化させる。これにより、露出時間を短くしたことに起因して輝度が十分でないフレームが続いたり、露出時間を元に戻したにも関わらず余分なゲインによりノイズが大きいフレームが続いたりする悪影響を抑える。

パラメータ制御部３０は、決定した値でゲイン調整がなされるように、ゲイン処理部２２に制御信号を送信する。ゲイン処理部２２は当該制御信号に応じた値で、撮像部２０から供給されるＲＡＷ画像にゲイン処理を施す。パラメータ制御部３０は、上述のアナログゲイン部とデジタルゲイン部のそれぞれに対しゲイン値を設定してよい。

さらにパラメータ制御部３０は、ゲインの大きさに応じて発生し得るノイズを見積もり、その量に対応する、空間フィルタや時間フィルタのパラメータを決定する。パラメータ制御部３０は、決定したパラメータでノイズ低減処理がなされるように、画像処理部２６に制御信号を送信する。画像処理部２６は当該制御信号に応じたフィルタ処理により、ゲイン調整後の画像にノイズ低減処理を施し、出力部２８に出力する。

次に、露出時間の制御に対する応答性の観点から、一般的な撮像装置と本実施の形態を比較する。図５は、一般的な撮像装置における露出の制御と画像の変化の関係を例示している。図は横軸に時間経過を表し、最上段の垂直同期信号に同期するように各フレームが撮影される。ここで「撮影環境」と「出力画像」に示される、縦方向の矩形の対は、フレーム番号＃１～＃８のうち同じフレームの撮影環境と出力画像の状態を表している。

また、３段目の「露出時間／ゲイン」は、各フレームが撮影されるときに設定される露出時間やゲイン値であり、５段目の「参照先輝度重心」は、各フレームの露出時間やゲインの設定根拠とされる輝度ヒストグラムの重心である。この例ではまず、＃１のフレームが明るい環境で撮影され、＃２のフレーム以後、暗い環境で撮影されているとする。

この場合、＃１のフレーム（およびそれ以前のフレーム）で、撮影画像が明るくなりすぎないように露出時間やゲインが抑えられ、例えば最小値（Ｍｉｎ）に設定される。その結果、輝度ヒストグラムの重心がターゲット輝度（Ｔａｒｇｅｔ）となるような、明るく好適な画像が出力される。ここで、続く＃２のフレームの撮影期間において周囲が暗くなっても、露出時間やゲインは即座には調整されない。＃２のフレームの撮影タイミングでは、直前の＃１のフレームの輝度重心（Ｓ１０）を制御の根拠とするためである。

その結果、露出時間やゲインは最小値のままの撮影となり、＃２のフレームの出力画像はかなり暗いものとなる。撮像装置は例えば、当該＃２のフレームの輝度重心（Ｓ１２）を＃３のフレームの撮影時間に参照することによりターゲット輝度との乖離を検出し、＃４のフレームの撮影タイミングで露出時間やゲインを増加させる（Ｓ１４）。その結果、＃４のフレームで、画像の暗さが多少改善される（Ｓ１６）。

以後、＃４のフレームの輝度重心を＃５のフレームの撮影時間に参照して＃６のフレームの露出時間やゲインが調整され、＃６のフレームの輝度重心を＃７のフレームの撮影時間に参照して＃８のフレームの露出時間やゲインが調整される、といったことが繰り返される（Ｓ１８）。そして最終的には、暗い環境に適した露出時間やゲインへと収束し、ターゲット輝度に該当する輝度重心の画像が出力される。

このように一般的な自動露出制御によれば、輝度重心を一度にターゲット輝度に到達させず、畳み込み処理などにより数フレーム程度の時間をかけて露出時間やゲインを調整していく。これにより、ノイズや照明の影響で出力画像が暗くなったり明るくなったりするブリンクの発生を防ぎ、人がファインダーで見ても違和感のない、緩やかな変化になるようにする。

図６は、本実施の形態の画像処理装置１０における露出時間の制御と画像の変化の関係を例示している。図の示し方は図５と同様である。ただし本実施の形態では基本的に、ヘッドマウントディスプレイ１００の運動の有無で露出時間を制御するため、２段目は「撮影環境」の代わりに「運動」の有無を示している。また５段目の「出力画像」は、モーションブラーの程度を示している。３段目の「露出時間」、４段目の「ゲイン」はそれぞれ、各フレームが撮影されるときに設定される露出時間とゲイン値である。

この例では、＃１のフレームの撮影時間でヘッドマウントディスプレイ１００が静止しており、＃２のフレーム以後、ヘッドマウントディスプレイ１００が動いている状態で撮影されているとしている。この場合、画像処理装置１０のパラメータ制御部３０は、＃１のフレームでは露出時間を最大値（Ｍａｘ）とし、ゲインを抑えることにより、画像解析に好適なノイズの小さい明るい画像を出力する。このようにしても、ヘッドマウントディスプレイ１００が静止しているため、出力画像にモーションブラーが発生しない。

＃２のフレームの撮影時間に、ヘッドマウントディスプレイ１００の速度がしきい値を超えるなど運動の発生を検出したら、画像処理装置１０のパラメータ制御部３０は、＃３のフレームの撮影タイミングで露出時間を短くする（Ｓ２０）。同時に、露出時間の短縮による光量の低下を補填するように、ゲイン値を増加させる（Ｓ２２）。このとき、図５で示した一般的な撮像装置による露出時間やゲインの制御のように畳み込み処理などを実施せず、即時に目標値まで到達させる。

これにより、運動の発生時に撮影された＃２のフレームの出力画像には、モーションブラーが大きく現れるものの、＃３のフレームで即座に抑えられ、全体的な輝度も大きく変化しない出力画像が得られる。パラメータ制御部３０は運動の有無に限らず、速度変化などによりヘッドマウントディスプレイ１００の運動が露出時間を変化させる条件を満たしたときは、その直後のフレームから露出時間とゲイン値を目標値に切り替える。このためパラメータ制御部３０は、運動の有無や速度の範囲と、露出時間およびゲイン値の目標値とを対応付けたテーブルを内部のメモリに保持する。

また上述のとおり、再びヘッドマウントディスプレイ１００が静止したら、パラメータ制御部３０は、露出時間やゲイン値を即座に元に戻す。これらの制御により、画像解析の精度が低下する状況を最小限の期間に抑え込むことができる。出力画像を人が見ない状況においては、このようにしても支障なく、画像の解析精度を保つことができる。なお撮影画像を表示する必要がある場合、ヘッドマウントディスプレイ１００には、画像解析用の撮像装置のほかに、表示用の撮像装置を搭載してもよい。

図７は、従来の撮像装置による撮影と本実施の形態の情報処理システム８による撮影とを実際の出力画像で比較している。（ａ）は従来の撮像装置によって撮影された画像であり、撮像装置自体が動くことによりモーションブラーが発生し、被写体である天井灯の輪郭がぼやけている。一方、（ｂ）に示す本実施の形態による撮影画像では、同じ状況においても、露出時間を抑えゲインを上げることにより、モーションブラーが抑制され、全体的な輝度は変化しない画像が取得できている。

以上述べた本実施の形態によれば、撮像装置の露出時間を、撮像装置やそれを搭載した可動体の運動情報に基づき制御する。具体的には、モーションブラーが問題になる程度に高速で動いている場合、露出時間を短くすることによりモーションブラーの程度を小さくする。これにより、撮像装置が動く状況においてもモーションブラーの少ない画像を撮影でき、画像解析の精度低下を最小限に抑えられる。

また、そのような露出時間の制御を保証することにより、撮像装置が静止している期間の露出時間を最大限、長くでき、輝度が高くノイズの小さい画像を取得できる。暗所であってもノイズを抑えられるため、静止時の画像解析の精度を、周囲の環境によらず安定的に保つことができる。さらに、人の鑑賞を想定した画像加工を行わないようにすることで、実世界本来の情報を正確に取得できるとともに出力までの遅延時間を軽減できる。

また運動の有無の変化に応じて、露出時間とゲイン値を即時に目標値まで変化させることにより、モーションブラーや高ＳＮ比の発生期間、ひいては解析精度が悪化しやすい期間を最小限に抑えることができる。本実施の形態で、運動情報は可動体が備えるモーションセンサの計測値を利用する。撮像装置を備えた電子機器は近年、姿勢や動きを取得して情報処理に活用するため、モーションセンサも内蔵されているケースが多い。これを利用することで、コストや重量の影響なく、本実施の形態を容易に導入できる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

８ 情報処理システム、 １０ 画像処理装置、 １２ 運動計測装置、 １４ 撮像装置、 １６ 画像解析装置、 １８ 露出調整部、 ２０ 撮像部、 ２２ ゲイン処理部、 ２４ 輝度情報取得部、 ２６ 画像処理部、 ２８ 出力部、 ３０ パラメータ制御部、 １００ ヘッドマウントディスプレイ、 １１０ 撮像装置。

Claims (12)

1. 動画を撮影する撮像装置の運動情報を所定のレートで取得し、当該運動情報に基づき露出時間を制御するパラメータ制御部と、
   前記撮像装置により前記露出時間で撮影された画像に所定の処理を施したデータを出力する出力部と、
   を備えたことを特徴とする画像処理装置。
2. 前記パラメータ制御部は、前記撮像装置の速度がしきい値を超えているとき、前記露出時間を短くすることを特徴とする請求項１に記載の画像処理装置。
3. 前記パラメータ制御部は、前記撮像装置の速度が大きくなるほど、前記露出時間を短くすることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記パラメータ制御部は、前記撮像装置が静止していると見なせる条件を満たすとき、前記露出時間を上限値にすることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記撮影された画像にゲイン処理を施すゲイン処理部をさらに備え、
   前記パラメータ制御部は、前記露出時間の変化に対応するようにゲイン値を制御することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 前記パラメータ制御部は、前記運動情報が前記露出時間を変化させる条件を満たしたとき、直後のフレームから前記露出時間と前記ゲイン値を目標値に切り替えることを特徴とする請求項５に記載の画像処理装置。
7. 前記ゲイン処理が施された画像にノイズ低減処理を施す画像処理部をさらに備え、
   前記パラメータ制御部は、前記ゲイン値に基づきノイズ低減に用いるフィルタパラメータを制御することを特徴とする請求項５または６に記載の画像処理装置。
8. 前記画像処理部は、ノイズ低減処理を施した画像を、その他の加工処理をせず前記出力部に供給することを特徴とする請求項７に記載の画像処理装置。
9. 前記出力部は、画像解析により実世界に係る情報を所定のレートで生成する画像解析装置に前記データを出力することを特徴とする請求項１から８のいずれかに記載の画像処理装置。
10. 請求項１から９のいずれかに記載の画像処理装置と、
    前記撮像装置と、
    前記運動情報を所定のレートで計測する運動計測装置と、
    を含むことを特徴とする情報処理システム。
11. 動画を撮影する撮像装置の運動情報を所定のレートで取得するステップと、
    当該運動情報に基づき露出時間を制御するステップと、
    前記撮像装置により前記露出時間で撮影された画像に所定の処理を施したデータを出力するステップと、
    を含むことを特徴とする画像取得方法。
12. 動画を撮影する撮像装置の運動情報を所定のレートで取得する機能と、
    当該運動情報に基づき露出時間を制御する機能と、
    前記撮像装置により前記露出時間で撮影された画像に所定の処理を施したデータを出力する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。

Images