JP2019114884A - 検出装置、表示装置、検出方法 - Google Patents

Abstract

【課題】１フレームよりも短い周期で加速度対応値を求めること。【解決手段】ローリング方式によって被写体を撮像するエリアイメージセンサーによって撮像される第１フレームに含まれる第ｍブロックの画像と、第１フレームよりも後に撮像された第２フレームに含まれる第ｍブロックにおいて撮像された画像とを比較することによって、ラインの主走査方向についての画像の移動量を取得する第１移動量取得部と、第１フレームに含まれる第ｐブロックの画像と、第２フレームに含まれる第ｐブロックにおいて撮像された画像とを比較することによって、主走査方向についての画像の移動量を取得する第２移動量取得部と、第ｍブロックにおいて取得された移動量と、第ｐブロックにおいて取得された移動量との差分を、被写体に対するエリアイメージセンサーの加速度に対応する値として取得する差分取得部と、を備える検出装置。【選択図】図５

Description

本開示は、加速度に対応する値の検出に関する。

撮像装置によって撮像された画像の位置変化を解析する技術が知られている。例えば、特許文献１は、撮像装置で撮像された画像からテンプレートマッチングによって動きベクトルの検出対象となる矩形領域を抽出し、当該矩形領域のフレーム間の相関値に基づいて動きベクトルを算出する構成を開示している。

特開２０１６−６６８４８号公報

一般的に、動きベクトルの次元は、距離である。動きベクトルをフレームレートの逆数で除算すれば、次元を速度に変換できる。さらに、次元を加速度にする場合には、上記の速度が、１フレーム毎にどの程度変化したかを演算すればよい。上記のようにして加速度の次元を有する値（以下、「加速度に対応する値」または「加速度対応値」ともいう）を求める演算は、従来、１フレーム単位で実施することが通常であった。

上記の手法では、１フレーム単位よりも短い時間についての加速度対応値を求めることはできない。本開示は、上記を踏まえ、加速度対応値を、１フレーム単位よりも短い周期で求めることを解決課題とする。

本開示の一形態は、各々が１以上のラインを含む第１〜第ｎ（ｎは２以上の整数）ブロック毎に順次、画像を取得するローリング方式によって被写体を撮像するエリアイメージセンサーと；前記エリアイメージセンサーによって撮像される第１フレームに含まれる第ｍ（ｍはｎ以下の正の整数）ブロックの画像と、前記第１フレームよりも後に撮像された第２フレームに含まれる前記第ｍブロックにおいて撮像された画像とを比較することによって、前記ラインの主走査方向についての画像の移動量を取得する第１移動量取得部と；前記第１フレームに含まれる第ｐ（ｐはｎ以下の正の整数、且つｍ≠ｐ）ブロックの画像と、前記第２フレームに含まれる前記第ｐブロックにおいて撮像された画像とを比較することによって、前記主走査方向についての画像の移動量を取得する第２移動量取得部と；前記第ｍブロックにおいて取得された移動量と、前記第ｐブロックにおいて取得された移動量との差分を、前記被写体に対する前記エリアイメージセンサーの加速度に対応する値として取得する差分取得部と；を備える検出装置である。この形態によれば、加速度対応値を、１フレーム単位よりも短い周期で取得できる。この形態では、フレーム単位で求めた２ブロックにおける移動量の差分を求めるため、１フレーム中の２ブロックの間の移動量の差分を、加速度対応値として求めることができるからである。

上記形態において、前記第２フレームは、前記第１フレームの次のフレームでもよい。この形態によれば、第１フレームと第２フレームとの間に他のフレームが存在する場合に比べて、第１フレームと第２フレームとの時間差が短くなる。このため、加速度対応値が、短時間における移動量に基づいて取得されるので、短時間における移動量の変化を反映した値になる。

上記形態において、前記ｐは、前記ｍに１を足した値でもよい。この形態によれば、加速度対応値が、短時間における移動量の変化に基づいて取得されるので、短時間における移動量の変化を反映した値になる。

上記形態において、前記ブロックは、１ラインで構成されてもよい。この形態によれば、加速度対応値を取得する周期が、１ライン分の処理時間になる。

上記形態において、前記第１及び第２移動量取得部は、前記比較に、エッジ強調処理を用いてもよい。この形態によれば、移動量の検出の精度が高くなる。

本開示は、上記以外の種々の形態で実現できる。例えば、上記の検出装置を備える表示装置や、検出装置が実行する方法等の形態で実現できる。

ヘッドマウントディスプレイの外観図。 ヘッドマウントディスプレイの機能ブロック図。 検出処理を示すフローチャート。 撮像画像と、移動量と、加速度対応値とを示す図。 撮像画像と、移動量と、加速度対応値とを示す図。 撮像画像と、移動量と、加速度対応値とを示す図。

図１は、表示装置の一種であるヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）１の外観を示す。図２は、ヘッドマウントディスプレイ１の機能ブロック図である。ヘッドマウントディスプレイ１は、シースルータイプであり、眼鏡形状を有している。眼鏡のレンズに相当する部分には、表示部１０とカメラユニット３０とが組み込まれている。眼鏡のレンズに相当する部分にはユーザーの耳に掛けられる保持部４０が連結されている。保持部４０には制御部２０が取り付けられている。

表示部１０は、ＶＲＡＭ１１、ＲＡＭ１２、画像合成部１３、タイミング制御部１４、出力コントローラー１５、第１パネルドライバー１６ａ、第２パネルドライバー１６ｂ、第１表示パネル１７ａ、第２表示パネル１７ｂを備えている。これら表示部１０の各要素については後述する。

カメラユニット３０は、エリアイメージセンサー３１と、タイミング制御部３２と、画像処理部３３と、移動量取得部３４と、差分取得部３５とを備えている。カメラユニット３０は、検出装置である。エリアイメージセンサー３１は、第１エリアイメージセンサー３１ａと、第２エリアイメージセンサー３１ｂとを備えている。第１エリアイメージセンサー３１ａ及び第２エリアイメージセンサー３１ｂは、各々、光学系とＣＭＯＳセンサーとを備えている。

光学系は、ヘッドマウントディスプレイ１を装着したユーザーの視野方向に存在する物体からの光をＣＭＯＳセンサーに結像させる。ＣＭＯＳセンサーは、カラーフィルターと、複数のフォトダイオードとを備えており、視野内の像を示すカラーの画像データを出力する。複数のフォトダイオードの各々は、光量に応じた電荷を光電変換によって画素毎に蓄積する。

第１エリアイメージセンサー３１ａは、ヘッドマウントディスプレイ１の筐体において右の端に固定されている。第２エリアイメージセンサー３１ｂは、ヘッドマウントディスプレイ１の筐体において左の端に固定されている。第１エリアイメージセンサー３１ａは主に右目の視野内の画像データを出力するセンサーである。第２エリアイメージセンサー３１ｂは主に左目の視野内の画像データを出力するセンサーである。第１エリアイメージセンサー３１ａと第２エリアイメージセンサー３１ｂとの撮像範囲は、ほぼ重なっている。

第１エリアイメージセンサー３１ａ，第２エリアイメージセンサー３１ｂにおいて、画素の位置は直交座標系における座標で規定される。本実施形態において、第１エリアイメージセンサー３１ａのラインは、Ｘ方向に平行であり、このため、第１エリアイメージセンサー３１ａのラインはＹ方向に配列している。本実施形態では、ラインに平行な方向を主走査方向、ラインに垂直な方向を副走査方向と呼ぶ。

本実施形態においてエリアイメージセンサー３１の第１エリアイメージセンサー３１ａおよび第２エリアイメージセンサー３１ｂは、タイミング制御部３２が出力する各種信号に同期した動作を行う。すなわち、タイミング制御部３２は、基準のクロック信号に基づいて各種信号を生成することが可能である。

本実施形態において、各種信号には、１フレーム（各エリアイメージセンサーの全画素によって構成される１画面）分のフォトダイオードの検出結果を読み出すための期間を規定する垂直同期信号（SVsync）、１ライン分のフォトダイオードの検出結果を読み出すための期間を規定する水平同期信号（SHsync）、各画素の画像データの読み出しタイミング等を規定するデータクロック信号（SDotclock）が含まれる。

エリアイメージセンサー３１は、垂直同期信号SVsyncに応じて１フレーム分の出力データの出力を開始し、水平同期信号SHsyncにて規定される期間内にデータクロック信号SDotclockに応じたタイミングで第１エリアイメージセンサー３１ａおよび第２エリアイメージセンサー３１ｂの１ライン内の画素に対応するフォトダイオードの検出結果を示す出力データを逐次読み出す。

本実施形態では、ローリングシャッター方式なので、各ラインの露光時間がライン単位で異なるタイミングで露光される。これを詳しく述べると、以下のようになる。本実施形態における第１エリアイメージセンサー３１ａにおいて、水平同期信号SHsync1の位相はライン毎に少しずつずれている。第２エリアイメージセンサー３１ｂにおいても同様に、水平同期信号SHsync2の位相がライン毎に少しずつずれている。すなわち、本実施形態において、同一ラインは同一のタイミングで露光されるが、副走査方向に隣接するライン同士では異なるタイミングで露光される。

副走査開始ラインから副走査終了ラインまでに並ぶ各ラインにおいて、ライン番号が増加するたびに露光開始タイミングが遅れ、各ラインで異なるタイミングで順次露光が開始されるように構成されている。すなわち、本実施形態における第１エリアイメージセンサー３１ａおよび第２エリアイメージセンサー３１ｂは、ローリングシャッター方式のＣＭＯＳセンサーである。ローリングシャッター方式は、ローリング方式ともいう。以下、第１エリアイメージセンサー３１ａ、第２エリアイメージセンサー３１ｂ用の信号や第１表示パネル１７ａ、第２表示パネル１７ｂ用の信号を区別する際には、信号を示す符号に１，２等の符号を付して示す。

画像処理部３３は、図示しないバッファーメモリーを利用し、第１エリアイメージセンサー３１ａ及び第２エリアイメージセンサー３１ｂからライン順次に出力される撮像データに既定の画像処理を行う。本実施形態における画像処理は、第１エリアイメージセンサー３１ａおよび第２エリアイメージセンサー３１ｂが撮像した画像を第１表示パネル１７ａ，第２表示パネル１７ｂのそれぞれに対して表示させるための処理であり、例えば、色再現処理、フィルター処理、ガンマ補正、リサイズ処理等によって構成される。

なお、リサイズ処理は、第１エリアイメージセンサー３１ａおよび第２エリアイメージセンサー３１ｂの有効撮像領域の画素数と第１表示パネル１７ａおよび第２表示パネル１７ｂの有効表示領域の画素数との差を吸収し、撮像画像を第１表示パネル１７ａおよび第２表示パネル１７ｂに表示可能な大きさにするための処理である。従って、画像処理部３３から出力される撮像画像は、第１表示パネル１７ａ、第２表示パネル１７ｂで表示できるように変換された画像である。

画像処理部３３における処理は第１エリアイメージセンサー３１ａおよび第２エリアイメージセンサー３１ｂのそれぞれについてライン順次に実行され、処理後のデータは表示部１０が備えるＶＲＡＭ１１に出力される（図２に示すＶＲＡＭ１１内の撮像画像）。ＶＲＡＭ１１には、少なくとも１フレーム前の１フレーム分の撮像画像と現フレームの撮像中の画像とが保存されていく。画像処理部３３による処理後のデータは、移動量取得部３４にも出力される。

移動量取得部３４は、詳しくは、図３〜図６と共に説明するように、エリアイメージセンサー３１で撮像された画像のライン毎のフレーム間差分に基づいてエリアイメージセンサー３１の位置の変化を検出する機能を有している。本実施形態においては、第１エリアイメージセンサー３１ａの出力に対して画像処理部３３で処理されたデータが移動量取得部３４に出力される構成が採用されている。

差分取得部３５は、詳しくは、図３〜図６と共に説明するように、移動量取得部３４によって取得される位置の変化について、ブロック間での差分を取る。ブロックは、１以上のラインから構成される。本実施形態におけるブロックは、１のラインから構成される。この差分は、詳しくは、後述するように、加速度に対応する値である。

次に、表示部１０の各要素について説明する。第１表示パネル１７ａは、ユーザーがヘッドマウントディスプレイ１を装着した状態において、右目の視野を遮るように配置されている。第２表示パネル１７ｂは、ユーザーがヘッドマウントディスプレイ１を装着した状態において、左目の視野を遮るように配置されている。なお、第１表示パネル１７ａおよび第２表示パネル１７ｂは透明であるので、ユーザーは、第１表示パネル１７ａと第２表示パネル１７ｂとを通して外界を視認できる。

ＶＲＡＭ１１は、第１表示パネル１７ａ，第２表示パネル１７ｂに表示される画像を記憶する。本実施形態においては、画像処理部３３が出力する撮像画像（表示用に変換済の画像）、撮像画像に重畳されてＡＲ（Augmented Reality）表示を行うためのオブジェクト画像、撮像画像に重畳されて各種の情報をユーザーに伝達するためのＯＳＤ画像、これらの画像が合成された合成画像がＶＲＡＭ１１に記憶され得る。

オブジェクト画像のデータおよびＯＳＤ画像のデータは予め作成され、制御部２０の制御により表示対象のオブジェクト画像のデータおよびＯＳＤ画像のデータがＶＲＡＭ１１に記憶される。制御部２０は、表示部１０やカメラユニット３０、図示しない入力部の入力に応じた出力の制御など、各種の処理を実行可能である。合成に関して制御部２０は、オブジェクト画像やＯＳＤ画像の選択および位置の決定を行う。制御部２０は、オブジェクト画像に表示位置を対応づけてＶＲＡＭ１１に記憶する。ＯＳＤ画像が表示されない場合、ＯＳＤ画像のデータは記憶されなくて良い。

ＲＡＭ１２には移動量取得部３４が出力する移動量が記憶される。本実施形態においては、第１エリアイメージセンサー３１ａの位置の変化がゼロである場合のオブジェクトの表示位置が制御部２０によって決められる。第１エリアイメージセンサー３１ａの位置の変化がゼロではない場合、画像合成部１３は、第１エリアイメージセンサー３１ａの位置の変化を相殺するように、オブジェクトの位置を表示位置に対して変化させる。

第１エリアイメージセンサー３１ａの位置の変化を反映してオブジェクトの表示位置が補正されると、画像合成部１３は、撮像画像に対してオブジェクト画像を合成する。合成する際には、補正後のオブジェクトの表示位置を反映していれば良く、種々の手法で合成が行われてよい。例えば、スプライト機能等によって実現されて良い。スプライト機能が利用されるのであれば、画像合成部１３は、ＶＲＡＭ１１に記憶されたオブジェクト画像の表示位置が補正後の表示位置であると見なし、撮像画像に対してオブジェクト画像を重畳表示するための合成画像のデータを生成する。

なお、本実施形態においては、第１エリアイメージセンサー３１ａの撮像画像が第１表示パネル１７ａに表示され、第２エリアイメージセンサー３１ｂの撮像画像が第２表示パネル１７ｂに表示される。このため、第１エリアイメージセンサー３１ａの撮像画像と第２エリアイメージセンサー３１ｂの撮像画像とのそれぞれがＶＲＡＭ１１に記憶されており、画像合成部１３は、各撮像画像に対して補正後のオブジェクトの表示位置にオブジェクト画像を合成する。本実施形態において、以上の処理はライン順次に実行される。なお、ＯＳＤ表示の必要がある場合、画像合成部１３はＯＳＤ画像を既定の位置に重畳する処理も行う。

本実施形態において、第１表示パネル１７ａ、第２表示パネル１７ｂは、ＯＬＥＤ（Organic Light Emitting Diode）パネルであり、白色の発光体のそれぞれに対してＲＧＢ（赤、緑、青）のカラーフィルターが設けられることで構成された画素が複数個形成されている。従って、各発光体の発光強度が変化することで各画素において多色の表示を行うことができる。第１表示パネル１７ａ、第２表示パネル１７ｂにおいても画素の位置は直交座標系における座標で規定される。また、一方の座標軸（本実施形態ではＸ軸）に平行な方向に並ぶ複数の画素によってラインが構成され、複数のラインが他方の座標軸（本実施形態ではＹ軸）に平行な方向に並ぶように構成されている。本実施形態では、ラインに平行な方向を主走査方向、ラインに垂直な方向を副走査方向と呼び、各パネルの全画素によって構成される１画面を１フレームと呼ぶ。

第１パネルドライバー１６ａ、第２パネルドライバー１６ｂは、各画素を合成画像のデータに応じた発光強度で発光させるための信号を第１表示パネル１７ａ、第２表示パネル１７ｂに対して出力する。第１表示パネル１７ａ、第２表示パネル１７ｂは、図示しない主走査方向ドライバーおよび副走査方向ドライバーを備えており、第１パネルドライバー１６ａ、第２パネルドライバー１６ｂから出力される信号に応じて主走査方向ドライバーが各ラインの各画素における表示タイミングを制御し、副走査方向ドライバーが表示タイミングとされているラインの各画素の発光体を駆動することによって表示を行う。

すなわち、第１パネルドライバー１６ａ、第２パネルドライバー１６ｂは、第１表示パネル１７ａ、第２表示パネル１７ｂにおける表示を行うための各種信号、例えば、１フレーム分の表示を行うための期間を規定する垂直同期信号（DVsync）、１ライン分の表示を行うための期間を規定する水平同期信号（DHsync）、各ライン内での合成画像のデータの取り込み期間を規定するデータアクティブ信号（DDactive）、各画素のデータの取り込みタイミング等を規定するデータクロック信号（DDotclock）、各画素のデータ（Data）を出力するように構成されている。

第１表示パネル１７ａは、第１エリアイメージセンサー３１ａで撮像され、画像処理部３３によって生成された撮像画像の表示を垂直同期信号DVsync1に応じて開始し、水平同期信号DHsync1にて規定される期間内にデータクロック信号DDotclock1に応じたタイミングで第１表示パネル１７ａの各ライン上の表示対象画素を駆動して表示を行う。第２表示パネル１７ｂは、第２エリアイメージセンサー３１ｂで撮像され、画像処理部３３によって生成された撮像画像の表示を垂直同期信号DVsync2に応じて開始し、水平同期信号DHsync2にて規定される期間内にデータクロック信号DDotclock2に応じたタイミングで第２表示パネル１７ｂの各ライン上の表示対象画素を駆動して表示を行う。

表示部１０のタイミング制御部１４は、カメラユニット３０のタイミング制御部３２と接続されている。すなわち、カメラユニット３０における撮像と表示部１０における表示とを同期させる必要がある場合には、タイミング制御部１４とタイミング制御部３２との少なくとも一方で生成されたクロック信号を他方で使用することにより、同期を行うことが可能である。

以上のように、第１表示パネル１７ａおよび第２表示パネル１７ｂにおいては、ライン順次に表示を行うことができる。そして、本実施形態において、第１エリアイメージセンサー３１ａおよび第２エリアイメージセンサー３１ｂはローリングシャッター方式のセンサーであるため、各ラインの撮像画像を表示するための撮像画像は少しずつずれたタイミングで生成される。本実施形態においては、１フレーム分の撮像画像の生成が完了するのを待つことなく、表示の準備が完了したラインから順に表示を行えるように構成されている。

すなわち、Ｋライン目の撮像画像に基づいて第１エリアイメージセンサー３１ａの位置の変化が特定され、オブジェクトの表示位置が特定され、Ｋライン目における撮像画像とオブジェクト画像との合成が完了すると、Ｋライン目の表示が可能になる。そこで、タイミング制御部１４は、当該Ｋライン目の合成が完了するタイミングを指示する信号を出力コントローラー１５に指示する。

出力コントローラー１５が当該指示を受け付けると、出力コントローラー１５は、画像合成部１３に指示を行い、画像合成部１３はＫライン目の合成画像のデータをＶＲＡＭ１１から取得し、出力コントローラー１５に出力する。出力コントローラー１５は、第１エリアイメージセンサー３１ａの撮像画像に基づいて生成されたＫライン目のデータに基づいて第１パネルドライバー１６ａを駆動し、第２エリアイメージセンサー３１ｂの撮像画像に基づいて生成されたＫライン目のデータに基づいて第２パネルドライバー１６ｂを駆動する。この結果、第１表示パネル１７ａおよび第２表示パネル１７ｂは、撮像画像にオブジェクト画像が重畳されたＫライン目の画像を表示する。

なお、Ｋライン目の合成が完了するタイミングを指示する信号は、各種の態様であって良く、第１エリアイメージセンサー３１ａおよび第２エリアイメージセンサー３１ｂにおいてＫライン目の撮像が開始されてから、一定期間後のタイミングであってもよいし、画像合成部１３でＫライン目の合成が完了したことが特定されたタイミングであっても良い。前者の一定期間は、例えば、画像処理部３３や画像合成部１３の処理に要する期間以上の固定期間等によって定義可能である。後者は、画像合成部１３で各ラインの合成が終了した場合に画像合成部１３等からパルス信号がタイミング制御部１４や出力コントローラー１５に出力される構成等によって実現可能である。

以上のように、本実施形態においては、ライン毎に第１エリアイメージセンサー３１ａの位置の変化が検出され、当該ライン毎の位置の変化が反映した状態でオブジェクトの合成および表示が行われる。

図３は、検出処理を示すフローチャートである。本実施形態における検出処理は、詳しくは後述するように、第１エリアイメージセンサー３１ａの撮像を利用して、ヘッドマウントディスプレイ１のＸ方向の加速度に対応する値（以下、加速度対応値ΔＳ）を取得することを目的とした処理である。加速度対応値ΔＳとは、詳しくは後述するように、並進運動と回転運動とを、ラインの主走査方向という１次元の運動に統合し、時間での２回微分に相当する演算を施すことによって得られる値を意味する。

図４〜図６は、加速度対応値ΔＳの検出の具体例を説明するための図である。フレームＦは、本実施形態においては７６８本のラインによって構成されるが、図示を簡単にするため、図４〜図６では、１０本のラインで構成されているものとする。各ラインの横に示された数字は、ライン番号を示す。

図４〜図６に示されたフレームＦは、第１エリアイメージセンサー３１ａによる撮像画像を示す。図４〜図６に示されたフレームＦは何れも、最終ライン（１０ライン目）の読み出しが完了した時点における撮像画像を示す。図４〜図６に示されたフレームＦは、連続する３枚のフレームを示す。つまり、図４に示されたフレームＦの最終ラインの次に読み出されるのは、図５の１ライン目であり、図５に示されたフレームＦの最終ラインの次に読み出されるのは、図６の１ライン目である。

これらの図は、第１エリアイメージセンサー３１ａの視野に長方形の物体Ｂが存在する場合の例である。図４は、第１エリアイメージセンサー３１ａが静止した状態において撮像された画像を示す。ここでいう静止とは、物体Ｂの撮像結果が変化しないことを意味する。つまり、ここでいう静止とは、第１エリアイメージセンサー３１ａが物体Ｂに対して相対的に静止していることを意味する。同様に、第１エリアイメージセンサー３１ａが移動しているという場合には、物体Ｂに対して相対的に移動していることを意味する。以下、単に「静止」や「移動」という場合、上記のように、物体Ｂとの相対的な関係を意味する。

図５，図６は、第１エリアイメージセンサー３１ａが主走査方向（つまりＸ軸方向）に沿って移動している状態において撮像された画像を示す。第１エリアイメージセンサー３１ａがＸ軸方向に移動している状態は、例えば、ヘッドマウントディスプレイ１を装着したユーザーが頭部を回転させることによって発生する。より正確には、ヘッドマウントディスプレイ１を装着したユーザーが頭部を水平方向に左右に回転運動させることによって発生する。ユーザーの頭部の回転は、実際にはＸ軸方向に沿った水平移動とは異なるものの、物体Ｂの撮像結果を基準にすると、Ｘ軸方向に沿った移動として観測される。

図５の最終ラインを読み出した時刻（以下「図５の時刻」という。図４，図６の場合も同様である。）を現在時刻とする場合、図５のフレームＦを現フレーム、図４のフレームＦを前フレームという。同様に、図６の時刻を現在時刻とする場合、図６のフレームＦを現フレーム、図５のフレームＦを前フレームという。図５，図６には、現フレームが実線、前フレームが破線で示されている。なお、図４は、現フレームと前フレームとが一致しているので、前フレームを示していない。

第１エリアイメージセンサー３１ａが移動している状態においては、ローリングシャッター方式によって各ラインの露光開始タイミングがずれることにより、移動による位置変化が反映された状態で画像が撮像される。図５においては、露光開始タイミングが早いラインの撮像段階で第１エリアイメージセンサー３１ａが静止しており、途中で第１エリアイメージセンサー３１ａの移動が開始されたことを反映し、矩形の物体が歪んだ状態で撮像されている。図６は、図５に示す状態から更に時間が進んだ状態であり、図６の時刻においては、第１エリアイメージセンサー３１ａの移動は終了している。

検出処理が開始されると、画像処理部３３は、ライン番号Ｋを１に初期化する（Ｓ１００）。次に、画像処理部３３は、Ｋライン目の画像処理を実行する（Ｓ１０５）。すなわち、第１エリアイメージセンサー３１ａから１ライン分の出力が行われると、画像処理部３３は、それぞれのラインの出力に対して色再現処理、フィルター処理、ガンマ補正、リサイズ処理等を実施する。Ｓ１０５が実行されると、撮像画像は表示用の画像に変換された状態になり、ＶＲＡＭ１１に記憶される。本実施形態においては詳しく説明しないが、Ｓ１０５によって得られる画像は、表示部１０によって表示されてもよい。

次に、画像処理部３３は、前フレームにおけるＫライン目の画像処理結果を取得する（Ｓ１１０）。ＶＲＡＭ１１においては、少なくとも前フレームの撮像画像は保持する。ＶＲＡＭ１１にＫライン目の変換後の撮像画像のデータが蓄積される際、２フレーム以前の撮像画像が存在するならば当該２フレーム以前のＫライン目のデータは破棄される。データを破棄するタイミングはＶＲＡＭ１１の容量に応じて変化して良く、ＶＲＡＭ１１の容量が多い場合に３フレーム以前の撮像画像が存在する際に破棄される構成等であっても良い。

次に、移動量取得部３４は撮像画像に対してエッジ強調処理を施す（Ｓ１１３）。エッジ強調処理を施された画像を、以下、エッジ画像という。

次に、移動量取得部３４は、パターンマッチングによって、ブロック単位で移動量ΔＬを取得し、出力する（Ｓ１１５）。移動量取得部３４は、前フレームのＫライン目におけるエッジ画像をＸ軸方向に移動させ、移動後のエッジ画像の階調値と、現フレームのＫライン目におけるエッジ画像の階調値との差分を取得する。そして、差分が最小になる場合のＸ軸方向への移動量ΔＬを取得する。移動量ΔＬは、画素を単位として取得される。このように、本実施形態においては、１ラインを１ブロックとして取り扱う。

図４〜図６に示された例では、物体ＢのＸ方向のマイナス側のエッジが、物体Ｂの位置として取り扱われている。Ｘ印は現フレームの位置、四角印は前フレームの位置を示す。

例えば、図４に示された例では、第１エリアイメージセンサー３１ａが静止した場合に撮像されているので、現フレームのエッジの位置と、前フレームのエッジの位置とが一致している。このため、移動量ΔＬは、図４に示すように、何れのラインにおいてもゼロである。

図５に示された例では、３ライン目以降において、現フレームのエッジが、前フレームのエッジに対し、Ｘ方向プラス側に位置する。さらに、３ライン目以降において、現フレームのエッジは、Ｋが増大すればするほど（つまり１０ライン目に近づくほど）、Ｘ方向プラス側に位置する。これは、３ライン目の露光時刻以降、第１エリアイメージセンサー３１ａが同じ向きに移動を継続していることを反映している。

図６に示された例では、３〜１０ライン目について、現フレームのエッジのＸ方向の位置は、同じである。これは、３ライン目の露光時刻において、第１エリアイメージセンサー３１ａの移動が終了したことを反映している。

次に、差分取得部３５は、加速度対応値ΔＳを検出する（Ｓ１１７）。加速度対応値ΔＳを説明する前に、速度に対応する値（以下、速度対応値）について説明する。先述した移動量ΔＬは、画素数を単位としたパラメーターでありつつも、実質的に速度対応値を示すパラメーターである。なぜなら、同じラインに着目した場合、現フレームと前フレームとでの時間差は、フレームレート（フレーム／秒）で定まるので、（移動量ΔＬ×フレームレート）によって、１秒当たりの移動量（画素／秒）が求まる。フレームレートは一定であるので、移動量ΔＬの値そのものを速度対応値として取り扱っても差し支えない。

速度対応値と呼称しているのは、物体ＢがＸ方向に移動するのは、並進運動と回転運動との何れか一方に起因したり、両方に起因したりするからである。このため、並進運動の速度の次元（ｍ／秒）や、角速度の次元（ｒａｄ／秒）とは異なり、速度対応値の次元は画素／秒である。このように、並進運動の速度や、角速度とは、物理量が厳密に一致することは限らないことを表すために、本実施形態においては速度対応値という用語を用いる。このような事情は、加速度対応値についても同じである。

上記のように移動量ΔＬを速度対応値として取り扱う場合、移動量ΔＬを対象に、時間による微分に相当する演算を実行すれば、加速度対応値ΔＳが求まる。本実施形態における差分取得部３５は、上記演算を、ΔＳ＝ΔＬ_K−ΔＬ_K-1によって実行する。ΔＬ_KはＫライン目の移動量ΔＬであり、ΔＬ_K-1はＫ−１ライン目の移動量ΔＬである。Ｋ＝１の場合、最終ライン（図示された例では１０ライン目）をＫ−１ライン目と見なす。差分取得部３５は、移動量取得部３４からΔＬ_Kを順次、取得して、上記の演算を実行する。

上記の演算によるΔＳは、速度対応値としての移動量ΔＬが、Ｋ−１ライン目を露光してからＫライン目を露光するまでの時間で、どの程度変化したかを示している。このため、ΔＳを加速度対応値（画素／秒²）として取り扱うことができる。なお、本実施形態におけるフレームレートは６０ｆｐｓであり、ライン数は７６８本である。６０ｆｐｓを周期に変換すると１フレーム当たり１６．６ｍｓなので、ΔＳが出力される周期は、１６．６ｍｓ／７６８＝２１．７μｓである。

次に、画像処理部３３は、ライン番号Ｋが最終ラインの番号であるか否かを判定し（Ｓ１２０）、最終ラインでなければ、Ｋをインクリメントして（Ｓ１２５）、Ｓ１０５以降を繰り返す。Ｓ１２０で最終ラインであると判定された場合、画像処理部３３はＳ１００以降を繰り返す。

本実施形態によれば、２１．７μｓ毎という１フレーム分の時間よりも大幅に短い周期で、且つ、上記したように簡単な演算で加速度対応値ΔＳを取得できる。さらに、加速度対応値ΔＳは、画素を単位としているので、高い空間分解能を有すると共に、２１．７μｓという高い時間分解能を有する。

加速度対応値ΔＳは、物体Ｂに対する第１エリアイメージセンサー３１ａの相対的な運動を表す値として取り扱うことができる。このため、加速度対応値ΔＳを用いることによって、ジャイロセンサー等に比べて、短周期、且つ、高精度で、第１エリアイメージセンサー３１ａの加速度対応値を求めることができる。第１エリアイメージセンサー３１ａは、ヘッドマウントディスプレイ１に固定されているので、第１エリアイメージセンサー３１ａの加速度対応値は、ヘッドマウントディスプレイ１と同じであると見なすことができる。

しかも、加速度対応値ΔＳによれば、ジャイロセンサーとは異なり、積分による誤差が蓄積することがなく、且つ、温度変化による影響が小さい。このため、ジャイロセンサー等に比べて、高精度に加速度対応値を求めることができる。

本開示は、本明細書の実施形態や実施例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現できる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例中の技術的特徴は、先述の課題の一部又は全部を解決するために、或いは、先述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせができる。その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除できる。例えば、以下の実施形態が例示される。

上記の加速度対応値ΔＳを求める構成を備える表示装置は、シースルータイプのヘッドマウントディスプレイ１に限られず、ビデオシースルータイプ、クローズタイプ（Virtual Reality用）等のヘッドマウントディスプレイでもよい。或いは、ヘッドマウントディスプレイ以外の表示装置でよく、例えば、スマートフォン、タブレット型端末等でもよいし、表示装置を備えたロボットでもよい。

カメラユニットとしての検出装置は、表示装置と一体に設けられていなくてもよく、単体で実装されてもよい。

移動量ΔＬを算出する際、前フレームは、現フレームの１フレーム前のフレームでなくてもよく、２フレーム以上前のフレームでもよい。

移動量ΔＬを算出する際、１ブロックは、１ラインでなくてもよく、２以上のラインによって構成されてもよい。

加速度対応値ΔＳを算出する際、Ｋライン目との比較対象は、Ｋ−１ライン目でなくてもよく、Ｋ−ｑ（ｑは２以上の整数）ライン目でもよい。

検出処理に用いるエリアイメージセンサーの主走査方向は、Ｘ方向に平行でなくてもよく、例えばＹ方向に平行でもよい。つまり、第２エリアイメージセンサー３１ｂを用いて、Ｙ方向について加速度対応値ΔＳを求めてもよい。また、第１エリアイメージセンサー３１ａと第２エリアイメージセンサー３１ｂとを用いて、Ｘ方向とＹ方向とのそれぞれについて加速度対応値ΔＳを求めてもよい。或いは、Ｘ方向ともＹ方向とも平行でない方向に主走査方向が向くようにエリアイメージセンサーを配置し、その方向について加速度対応値ΔＳを求めてもよい。

上記実施形態において、ソフトウエアによって実現された機能及び処理の一部又は全部は、ハードウエアによって実現されてもよい。また、ハードウエアによって実現された機能及び処理の一部又は全部は、ソフトウエアによって実現されてもよい。ハードウエアとしては、例えば、集積回路、ディスクリート回路、または、それらの回路を組み合わせた回路モジュールなど、各種回路を用いてもよい。

第２エリアイメージセンサー３１ｂのラインは、Ｙ方向に平行でもよい。つまり、第２エリアイメージセンサー３１ｂのラインは、第１エリアイメージセンサー３１ａラインと直交していてもよい。この場合、第２エリアイメージセンサー３１ｂのラインはＸ方向に配列する。或いは、第２エリアイメージセンサー３１ｂのラインは、Ｘ方向およびＹ方向の何れに対しても平行でなくてもよい。

１…ヘッドマウントディスプレイ、１０…表示部、１１…ＶＲＡＭ、１２…ＲＡＭ、１３…画像合成部、１４…タイミング制御部、１５…出力コントローラー、１６ａ…第１パネルドライバー、１６ｂ…第２パネルドライバー、１７ａ…第１表示パネル、１７ｂ…第２表示パネル、２０…制御部、３０…カメラユニット、３１…エリアイメージセンサー、３１ａ…第１エリアイメージセンサー、３１ｂ…第２エリアイメージセンサー、３２…タイミング制御部、３３…画像処理部、３４…移動量取得部、３５…差分取得部、４０…保持部

Claims (7)

1. 各々が１以上のラインを含む第１〜第ｎ（ｎは２以上の整数）ブロック毎に順次、画像を取得するローリング方式によって被写体を撮像するエリアイメージセンサーと、
   前記エリアイメージセンサーによって撮像される第１フレームに含まれる第ｍ（ｍはｎ以下の正の整数）ブロックの画像と、前記第１フレームよりも後に撮像された第２フレームに含まれる前記第ｍブロックにおいて撮像された画像とを比較することによって、前記ラインの主走査方向についての画像の移動量を取得する第１移動量取得部と、
   前記第１フレームに含まれる第ｐ（ｐはｎ以下の正の整数、且つｍ≠ｐ）ブロックの画像と、前記第２フレームに含まれる前記第ｐブロックにおいて撮像された画像とを比較することによって、前記主走査方向についての画像の移動量を取得する第２移動量取得部と、
   前記第ｍブロックにおいて取得された移動量と、前記第ｐブロックにおいて取得された移動量との差分を、前記被写体に対する前記エリアイメージセンサーの加速度に対応する値として取得する差分取得部と、
   を備える検出装置。
2. 前記第２フレームは、前記第１フレームの次のフレームである
   請求項１に記載の検出装置。
3. 前記ｐは、前記ｍに１を足した値である
   請求項１から請求項２までの何れか一項に記載の検出装置。
4. 前記ブロックは、１ラインで構成される
   請求項１から請求項３までの何れか一項に記載の検出装置。
5. 前記第１及び第２移動量取得部は、前記比較に、エッジ強調処理を用いる
   請求項１から請求項４までの何れか一項に記載の検出装置。
6. 請求項１から請求項５までの何れか一項に記載の検出装置を備えた表示装置。
7. 各々が１以上のラインを含む第１〜第ｎ（ｎは２以上の整数）ブロック毎に順次、画像を取得するローリング方式によって被写体を撮像するエリアイメージセンサーを用いた検出方法であって、
   前記エリアイメージセンサーによって撮像される第１フレームに含まれる第ｍ（ｍはｎ以下の正の整数）ブロックの画像と、前記第１フレームよりも後に撮像された第２フレームに含まれる前記第ｍブロックにおいて撮像された画像とを比較することによって、前記ラインの主走査方向についての画像の移動量を取得し、
   前記第１フレームに含まれる第ｐ（ｐはｎ以下の正の整数、且つｍ≠ｐ）ブロックの画像と、前記第２フレームに含まれる前記第ｐブロックにおいて撮像された画像とを比較することによって、前記主走査方向についての画像の移動量を取得し、
   前記第ｍブロックにおいて取得された移動量と、前記第ｐブロックにおいて取得された移動量との差分を、前記被写体に対する前記エリアイメージセンサーの加速度に対応する値として取得する
   検出方法。

Images