JP2013127434A - 情報処理装置、情報処理装置の制御方法、およびプログラム - Google Patents

Abstract

【課題】光源の点灯時間を削減し、光源の昇温を防止し、光源の長寿命化および省電力化を図る。
【解決手段】表示デバイスにより生成された投影パターンを消点灯可能な光源の点灯により対象物へ投影する投影部と、投影パターンが投影された対象物を撮像する撮像部と、表示デバイスの応答特性と撮像部の撮像特性とに基づいて撮像部の撮像期間を算出する算出部と、撮像期間に光源を点灯させることにより、撮像部の撮像期間と投影部の投影期間とを同期させるように制御する制御部と、を備える。
【選択図】 図１

Description

本発明は、情報処理装置、情報処理装置の制御方法、およびプログラムに関する。

産業用マシンビジョン分野では、技術要素として三次元計測技術が知られている。ここで、マシンビジョンを用いて三次元計測を行う方法を以下に簡単に説明する。まず、測定対象物に対して２次元パターン光を照射し、当該２次元パターンが投影された測定対象物をカメラで撮像する。次に、２次元パターンの周期性を手掛かりに、その撮像画像をコンピュータで解析して測定対象物までの距離情報を得る。この距離情報とは、測定対象物のカメラからの距離や表面凹凸など奥行き方向の距離である。幅方向、高さ方向の情報が２次元撮像画像から得ることができるため、この時点で三次元空間情報が得られている。そして、２次元撮像画像、距離情報、および予め保持している測定対象物のモデル情報を用いて三次元モデルフィッティングを行い、測定対象物の位置、姿勢、そして三次元形状を計測する。

この技術は、例えば、工場の製造ラインでのロボットアームによる部品ピッキングや組み立てなどに用いられる。三次元計測技術を用いて部品の位置、姿勢、および三次元形状を計測し、取得した情報に基づいてロボットアームを制御することによって、ロボットアームによる部品ピッキングや組み立てを効率的に、正確に行うことができる。

２次元パターンを用いる三次元計測法としては、空間符号化法や位相シフト法などがあり、画像認識処理と兼用できるため有効な手法である。また、プロジェクタによるパターン投影は、パターンを変化させて投影させることが可能なことから、空間符号化法や位相シフト法などのように複数パターンを必要とする三次元計測法に有効である。ここで、プロジェクタは３０ｆｐｓ〜６０ｆｐｓ、あるいはそれ以上のフレームレートでパターンを切り替えて投影可能である。カメラも同様に高いフレームレートで撮像可能である上に、プロジェクタおよびカメラの解像度も向上しているので、フレーム単位にパターンを変化させて計測できれば、高精度で高速な三次元計測が可能になる。

特許文献１では、２次元画像情報を取得する時に照明用光源を点灯して照明する動作と、三次元画像情報を取得する時に投影用光源を点灯し幾何パターンを投影する動作と、を同期させる技術が開示されている。

特許文献２では、複数のパターンマスクを順次切換えて、ストロボ光源をその都度発光して撮像する技術が開示されている。

特許文献３では、撮像装置としてＣＣＤ（電荷結合素子）が想定されており、画像取り込み期間（全画素同時取り込み）と画像出力時間とを明確に分離し、その画像出力期間に投影パターンの切換を行う技術が開示されている。

特開２００９−１８６４０４号公報 特許第２９９７２４５号公報 特開平７−２３４９２９号公報

しかしながら、上述した従来の技術においては、以下のような課題がある。現在プロジェクタの光源は、高圧水銀ランプが主流である。この水銀ランプはハロゲンランプと異なりフィラメントを使用しないので寿命はある程度長いが、産業用として四六時中点灯し続ける場合は数カ月程度で部品交換をしなくてはならない。また、点灯してから安定するまで時間がかかるため、一度点灯したら処理に必要な間は点灯し続ける必要がある。そのため、計測時以外の時間にも無駄に点灯し続ける上に、長時間の点灯に伴う温度上昇を抑える必要が生じてしまう。

また、特許文献１乃至３は何れも、投影および撮像の特性に合わせて１フレーム内で精度良く発光制御を行っていない。

従来は、光源として高圧水銀ランプを使用していたため光源は点灯したままだったが、ＯＮ／ＯＦＦ可能な光源（例えば、ＬＥＤ光源など）を使用することにより、従来技術のようなことは可能である。さらにＬＥＤ点灯を計測に必要な期間のみに限定して、より細かく制御することで、熱対策にも、省エネにも効果のある最適な光源利用をした計測装置の実現が可能になる。

上記の課題に鑑み、本発明は、光源の点灯時間を削減し、光源の昇温を防止し、光源の長寿命化および省電力化を図ることを目的とする。

上記の目的を達成する本発明に係る情報処理装置は、
表示デバイスにより生成された投影パターンを消点灯可能な光源の点灯により対象物へ投影する投影手段と、
前記投影パターンが投影された前記対象物を撮像する撮像手段と、
前記表示デバイスの応答特性と前記撮像手段の撮像特性とに基づいて前記撮像手段の撮像期間を算出する算出手段と、
前記撮像期間に前記光源を点灯させることにより、前記撮像手段の前記撮像期間と前記投影手段の投影期間とを同期させるように制御する制御手段と、
を備えることを特徴とする。

本発明によれば、光源の点灯時間を削減し、光源の昇温を防止し、光源の長寿命化および省電力化を実現することができる。

第１実施形態における３次元計測装置の構成を示す図。（予め同期タイミングを用意） 第１実施形態における投影部および撮像部の各々の動作タイミングを示す図。 第１実施形態における同期制御部の内部構成を示す図。 第１実施形態における投影および撮像の同期タイミングと光源点灯とを示す図（全エリア）。 第２実施形態における投影および撮像の同期タイミングと光源点灯とを示す図（ローリングシャッター方式による一部エリアの撮像）。 第２実施形態における投影および撮像の同期タイミングと光源点灯とを示す図（グローバルシャッター方式による一部エリアの撮像）。 第３実施形態における投影および撮像の同期タイミングと光源点灯とを示す図（投影パターンの白部分のみ点灯）。 第４実施形態における計測距離と、投影と撮像の各エリアとの関係を示す図。 第４実施形態における投影および撮像の同期タイミングと光源点灯を示す図（点灯期間を撮像期間より長めに設定）。 第５実施形態における３次元計測装置の構成を示す図（カメラとプロジェクタの特性情報を取得し同期タイミング生成）。 第６実施形態における投影装置の内部構成を示す図（光源制御可能な投影装置）。 第６実施形態における投影と光源点灯のタイミングを示す図。

（第１実施形態）
図１を参照して、第１実施形態における情報処理装置として機能する三次元計測装置の構成を説明する。三次元計測装置は、全体制御部１０１と、投影部１０２と、撮像部１０３と、同期制御部１０４とを備える。

全体制御部１０１は、計測パターン出力部１０１−１と、投影／撮像同期情報管理部１０１−２と、計測画像処理部１０１−３と、点灯情報管理部１０１−４とを備える。投影部１０２は、光源部１０２−１を備える。同期制御部１０４は、光源制御部１０４−１を備える。

全体制御部１０１は、計測パターン出力部１０１−１と、投影／撮像同期情報管理部１０１−２と、計測画像処理部１０１−３と、点灯情報管理部１０１−４との各処理部を制御し、また、投影部１０２、撮像部１０３、または同期制御部１０４と、全体制御部１０１と、の間での情報の送受信を制御する。

計測パターン出力部１０１−１は、計測に利用するための投影パターン画像を生成する。計測パターン出力部１０１−１は、当該投影パターン画像を投影部１０２へ送信する。

投影／撮像同期情報管理部１０１−２は、投影部１０２の投影開始タイミングと撮像部１０３の撮像開始タイミングとを同期させるための同期情報を予め記憶して管理する。投影／撮像同期情報管理部１０１−２は、当該同期情報を読み出して同期制御部１０４へ送信する。

計測画像処理部１０１−３は、撮像部１０３により撮像された画像データを受信して解析し、パターンのエッジ位置情報を抽出する。そして、投影部１０２と撮像部１０３との基線長や計測対象物までの距離に基づいて三角測量の原理で計測対象物までの距離情報マップを作成する。

点灯情報管理部１０１−４は、投影部１０２が備える消点灯可能な光源部１０２−１の点灯タイミングを制御するための点灯情報を生成する。点灯情報管理部１０１−４は、当該点灯情報を同期制御部１０４へ送信する。

投影部１０２は、投影パターンを計測対象物へ投影する。撮像部１０３は、投影部１０２により投影パターンが投影された計測対象物を撮像する。

同期制御部１０４は、パターン投影による三次元計測の際に投影部１０２と撮像部１０３とをフレーム単位で高速に制御することを実現するために、受信した点灯情報および同期情報に基づいて、投影部１０２による投影開始のタイミングと、撮像部１０３による撮像開始のタイミングと、を調整して両者の同期制御を行う。

より具体的に説明すると、全体制御部１０１は、計測パターン出力部１０１−１により生成された計測に利用するための投影パターン画像を、当該計測パターン出力部１０１−１を制御することにより、投影部１０２へ送信する。さらに、全体制御部１０１は、点灯情報管理部１０１−４により生成された点灯情報を、点灯情報管理部１０１−４を制御することにより同期制御部１０４へ送信する。

投影部１０２は、投影パターン画像を全体制御部１０１から受信して、不図示の表示部を駆動する。さらに、点灯情報を同期制御部１０４から受信する。そして投影部１０２は、光源部１０２−１が点灯してから投影パターンを計測対象物へ投影する。

撮像部１０３は、投影パターンが投影された計測対象物を撮像し、その撮像した画像を全体制御部１０１に送信する。全体制御部１０１は、撮像部１０３により撮像された画像データを受信する。計測画像処理部１０１−３がその受信された画像データを解析し、パターンのエッジ位置情報を抽出する。そして、計測画像処理部１０１−３は、投影部１０２と撮像部１０３との基線長や計測対象物までの長さに基づいて三角測量の原理で計測対象物までの距離情報マップを作成する。

また、図１では、投影部１０２による投影の水平走査方向と、撮像部１０３による撮像の水平走査方向とが同じ方向になるように両者をセッティングしているが、両者の水平走査方向は逆方向であってもよい。

ただし、線順次の表示方式またはローリングシャッター方式の撮像をする場合には、投影部１０２の副走査方向（すなわち、複数ラインで１フレームを形成するときに、ライン走査を順次進める方向であって水平走査方向に対して垂直な方向）と撮像部１０３の副走査方向とが同じ方向になるようにセッティングする。これにより、投影部の走査と撮像部の走査との、時間経過による両者の走査位置の差をより小さくすることが可能になる。

また、図１に示すように、撮像部１０３は、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）制御により投影部１０２の投影領域の範囲内で任意の部分領域に撮像領域を設定して撮像する機能を有する。これにより、撮像側の処理の効率アップと高速化を可能としている。

図２（ａ）および（ｂ）は、投影部１０２と撮像部１０３との間で特に調整が難しい線順次方式の表示とローリングシャッター方式の撮像との各々の動作タイミング図である。

例えば、プロジェクタとしては、液晶表示デバイス型が広く普及している。一般的に液晶ではアクティブマトリクス駆動方式を採用している。アクティブマトリクス駆動方式では、水平走査期間ごとに走査線（信号線）に順次走査電圧を印加することにより、対応する画素電極に順次所定の電圧を印加して液晶を駆動し、表示画像が構成される。

ここで、駆動方式は、信号線への電圧印加の方法によって、面順次駆動方式と線順次駆動方式とに大別される。面順次駆動方式は、入力した映像信号に対応する信号線に印加する方式であり、線順次駆動方式は、１ライン分の映像信号を一旦ラッチした後、各映像信号の対応信号線に一度に印加する方式である。一般に線順次駆動方式が広く普及している。しかし、線順次駆動方式では全画面を同時に投影できないため、ある時点では各ラインで駆動状態が異なる表示画像となる。更に、１画面内に前フレーム画像と現フレーム画像とが混在した表示になることから、複数パターンを投影して使用するのは非常に難しい。

図２（ａ）は、投影部１０２がアクティブマトリクス駆動方式による線順次駆動方式である場合の動作タイミングを示している。図２（ａ）の上部には、液晶プロジェクタの線順次駆動方式における、各ラインの投影開始時間のズレと水平走査方向での投影光量の時間的変化とが示されている。縦軸は、投影位置をライン番号で表したものであり、副走査方向（垂直方向）は上から下の方向に走査される。横軸は、時間であり、ここでは２フレーム期間分の時間を示しており、１フレーム目には白パターン（輝度値が高い）、２フレーム目には黒パターン（輝度値が低い）が投影されている。なお、ここでは説明の都合により白パターンと黒パターンとで投影パターンを表現しているが、空間符号化の縦縞の投影をする場合は１フレーム内の水平方向あるいは垂直方向に空間符号化の縦縞に相当する輝度変化が存在している。

これにより、各ラインの投影輝度の時間的な変化はほぼ同じであるが、投影開始時間がラインごとにずれていくため、同時刻で見た場合は、投影位置に応じて光量変化が生じることがわかる。この投影輝度の時間的変化は、液晶デバイスの応答特性に起因している。

アクティブマトリクス駆動方式の場合は、ゲート電極線に加えられた電圧によってそれに接続されている１列分すべてのＦＥＴ（フィールド・エフェクト・トランジスタ）が"ＯＮ"動作となることで、ソースとドレインとの間に電流が流れ、そのときソース電極線に加えられている各々の電圧が液晶電極にかかり、コンデンサには電圧に応じた電荷が蓄積される。ゲート電極線が１列分の充電を終えると電圧の印加は次の列に移り、最初の１列分のＦＥＴはゲート電圧を失って"ＯＦＦ"動作となる。しかし、最初の１列分の液晶電極はソース電極線からの電圧を失うものの、同時にコンデンサに蓄積された電荷によって、次にゲート電極線が選択されるまでの１フレーム分の時間、必要な電圧をほとんど維持できる。ここで、液晶パネルの応答時間は、ブラウン管やプラズマ・ディスプレイ・パネル（ＰＤＰ）の応答時間であるマイクロ秒程度よりも遅い。その理由は、液状の液晶物質の配向変化という物理的な変化を表示に利用するためであり、具体的には、主に液晶の粘度および層の厚みをパラメータとして配向変化の遅れが決まる。この液晶デバイスの応答特性に基づいて、投影開始から所定の光量に達するまでの期間を算出することが可能になる。また、その算出結果から撮像期間を想定することも可能になる。さらに、計測可能な充分な光量を投影できる期間も算出することが可能になるので、その計測可能な期間内で撮像するように同期タイミングを生成することが可能になる。図２（ａ）の下側は、前述した上側の表示パネルの動作を簡略化して表現したものである。

図２（ｂ）は、撮像部１０３であるＣＭＯＳセンサの、ローリングシャッター方式での動作タイミングを示している。また、カメラは、従来はＣＣＤを使用したカメラが普及していたが、現在は、カメラ、ビデオ、携帯電話などにおいてＣＭＯＳセンサを搭載したものが非常に多くなってきている。その理由は、省電力化、高解像度化が進んでいるためである。またＣＣＤと比較して劣っていた感度性能も以前より格段に向上していることからも、ＣＭＯＳセンサが広く普及している。

ＣＣＤで構成されるＣＣＤセンサは、二次元配列したホトダイオードと、垂直ＣＣＤと、水平ＣＣＤと、出力アンプとを備えている。ホトダイオードにより光電変換された電荷が、垂直ＣＣＤと水平ＣＣＤとを経由して順次転送され、当該電荷は、出力アンプにより電圧変換されて電圧信号として出力される。ここで、垂直ＣＣＤおよび水平ＣＣＤの電荷の蓄積が１画面メモリとして機能するので、露光する時間と読み出す時間とを分離でき、全画素同時露光が可能となる。 一方、ＣＭＯＳセンサは、ホトダイオードと、水平・垂直ＭＯＳスイッチマトリクスと、水平と垂直とを順次走査する水平・垂直走査回路と、出力アンプとを備えている。ホトダイオードにより光電変換された電荷は、垂直走査回路のシフトパルスが到達したときに垂直ＭＯＳスイッチを導通状態にし、水平走査回路のシフトパルスが到達したときに 水平ＭＯＳスイッチを導通状態にする。

このとき水平・垂直のマトリクス構造になっているので、水平・垂直の両方のスイッチが導通状態になったときにその位置のホトダイオードの電荷が出力アンプに直結し、その電荷は電圧変換されて電圧信号として出力される。ここで、電荷はホトダイオードのみでしか蓄積できないので、水平ラインごとにセンサ情報を順次出力するローリングシャッター方式が採用されている。特殊ケースとして、メモリ機能を付加してグローバルシャッター方式を採用しているＣＭＯＳセンサもあるが、内部構成が複雑で回路も大規模になり高価になってしまうことから、ローリングシャッター方式のＣＭＯＳセンサが広く普及している。

しかし、ローリングシャッター方式では全画面同時露光での撮像ができないため、同時刻でみるとラインによって状態が異なり、計測のための撮像に使用するのは非常に難しい。

図２（ｂ）の上側には、ＣＭＯＳセンサのローリングシャッター方式における、各ラインの撮像開始時間のズレと、水平ライン内の露光時間と、転送時間と、水平ブランキング時間の割り振りと、垂直ブランキング時間との関係が示されている。縦軸は、撮像位置をライン番号で表したものであり、副走査方向（垂直方向）は上から下の方向に走査されるものとする。横軸は、時間であり、ここでは２フレーム期間分の時間を示している。

図２（ｂ）より、各水平ラインの撮像開始のずれ時間が、１水平ラインの転送時間と水平ブランキング時間との合計時間に相当することがわかる。このずれ時間は、１ライン当たりに生じる隣接するラインとの投影開始の差分時間である。つまり、ローリングシャッター方式では、１フレームの露光時間を一定に保つために、各水平ラインの露光時間を一定に保つ必要があるが、水平ライン単位で転送処理をするため、前の水平ラインの転送処理が完了しないと次の水平ラインの転送を開始することができない。そこで、前の水平ラインの転送処理と水平ブランキングにかかる時間を予め把握しておき、その時間分だけ前の水平ラインの露光開始よりも時間を遅らせて次のラインの露光を開始するようにすることで、各水平ラインの露光時間を同じ時間に保つようにしている。

そのため、すべての水平ラインでライン内の露光時間、転送時間、水平ブランキング時間は同じだが、各ラインの撮像開始時間がずれていくため、同時刻で見た場合は、撮像位置によって、各水平ラインの露光開始から経過した時間が異なり、更に、露光状態と転送状態と水平ブランキング状態とのうちのいずれかの状態が混在する場合もある。撮像デバイスではこのような撮像特性を有している。図２（ｂ）中の下側は、上側の各ラインの動作を簡略化して表現しているものである。

このような撮像特性を有する投影デバイスと撮像デバイスとを用いて三次元計測するためには、投影側で投影輝度が一定になる期間を充分確保できるようにし、更に、撮像側でその投影輝度が一定の期間中に撮像を完了するように、複数フレームを使って充分な時間を確保する必要がある。

本実施形態では、同期制御部１０４により、両者の同期タイミングをより正確にかつ適切に調整してフレーム単位で高速計測を実現する。

図３は、同期制御部１０４の内部構成図示す。同期制御部１０４は、Ｉ／Ｏ部３０１と、制御部３０２と、同期タイミング参照テーブル３０３と、同期検出部３０４と、同期タイミング生成部３０５と、同期発生部３０６と、点灯タイミング参照テーブル３０７と、点灯期間生成部３０８とを備える。

Ｉ／Ｏ部３０１は、全体制御部１０１から、投影タイミングと撮像タイミングとの同期合わせのための同期タイミング情報や光源点灯情報を受信する。

制御部３０２は、Ｉ／Ｏ部３０１により受信された同期タイミング情報を同期タイミング参照テーブル３０３へ記憶し、光源点灯情報を点灯タイミング参照テーブル３０７へ記憶する。

同期検出部３０４は、投影部１０２から同期に関係する信号を受信し、同期に必要な同期信号（具体的には、Ｖｓｙｎｃ信号）を検出する。

同期タイミング生成部３０５は、同期検出部３０４により検出された同期信号について、同期タイミング参照テーブル３０３から読み出した同期タイミング情報に基づいて、同期信号を発生させるタイミングになったときに同期発生部３０６へ同期発生の命令である同期タイミング信号を出力する。同期発生部３０６は、同期タイミング信号を受けたら、撮像部１０３が外部トリガ信号として認識できる同期信号を生成して、撮像部１０３へ送出する。

点灯期間生成部３０８は、同期タイミング生成部３０５により生成された同期タイミング信号を用いて、点灯タイミング参照テーブル３０７から読み出した点灯タイミング情報から点灯信号を生成して、投影部１０２の光源部１０２−１へ出力する。

このように、投影部１０２の投影タイミングに同期して、撮像部１０３の撮像タイミングの制御と、投影部１０２の光源１０２−１の点灯の制御とが可能になる。

図４は、第１実施形態における投影と撮像との同期タイミングについて全エリアを計測した場合の例を示す。図４では、図２（ａ）および（ｂ）の簡略化した投影と撮像の各々の動作タイミングを同期制御してタイミングを合わせてマージしている。

図４において、平行四辺形４０１は投影タイミングを示しており、平行四辺形４０２は撮像タイミングを示している。投影タイミングである平行四辺形４０１の内側に、撮像タイミングである平行四辺形４０２が存在すれば、投影タイミングに対して撮像タイミングが適切に調整できていることを表している。

ここで、図４の左側には、線順次駆動方式による投影タイミングとローリングシャッター方式による撮像タイミングとの同期タイミングが示されている。一方、右側には、線順次駆動方式による投影タイミングとグローバルシャッター方式による撮像タイミングとの同期タイミングが示されている。各々の下側には、各々の光源部の点灯タイミングが示されている。

Ｓ１は、投影部１０２の表示デバイスの立ち上りの特性や線順次駆動方式により遅れている有効なパターン投影の開始時間を示しており、Ｓ２は、撮像の終了時間を示している。このＳ２からＳ１を除いた期間が光源部の点灯期間４０３になる。

次に、最小の点灯期間４０３を設定するため、投影動作と撮像動作とを同期させて、効率よく高速に投影および撮像を可能にするタイミングを算出する方法を説明する。

まず、投影パターンのエッジ位置を精度良く計測するためには、投影部１０２の解像度よりも撮像部１０３の解像度を高くする必要がある。撮像部１０３の解像度が投影部１０２の解像度のｐ倍であるとすると、撮像部１０３の水平画素数ｍと投影部１０２の水平画素数ｎとの関係、および、撮像部１０３の垂直ライン数Ｎと投影部１０２の垂直ライン数Ｍとの関係は、それぞれ以下のようになる。

・水平画素数： ｎ＝ｍ×ｐ
・垂直ライン数： Ｎ＝Ｍ×ｐ (ＲＯＩ制御時は、Ｌ＋Ｎ＝Ｍ×ｐ、ただしＬはＲＯＩ制御の開始ライン)
投影部１０２は、表示方式として面順次駆動方式または線順次駆動方式とを採用可能であるが、タイミング調整が難しい線順次駆動方式の液晶デバイスを前提に説明をする。

表示デバイス特有の性能特性情報として、１ライン当たりの投影が有効となるまでのオフセット時間（ここでは「Ｈｐ_ｓｔ」と称する）がある。オフセット時間は、投影開始から計測可能な投影状態になるまでに要する時間であり、表示デバイスの立ち上がりの応答特性に依存している。

また、表示デバイス特有の性能特性情報として、１ライン当たりのズレ時間（ここでは「ΔＨｐ」と称する）がある。線順次駆動方式では、１ラインごとに投影開始時間に一定のズレが生じるが、このズレの程度は、液晶のアクティブマトリクス駆動方式やラインバッファなどの回路構成により決まるものである。

さらに、表示デバイス特有の性能特性情報として、１ライン当たりの有効投影時間（ここでは「Ｈｐ」と称する）がある。有効投影時間は、例えば、投影パターンが白パターンである場合に明るさが８０％以上である期間、あるいは、投影パターンが黒パターンである場合に明るさが２０％以下である期間などであり、表示デバイスの応答特性に依存している。これらの表示デバイス特有の性能特性情報から、以下の時間を算出することが可能になる。

・投影部１０２のＭライン目のズレ時間： ΔＨｐ×Ｍ
・投影部１０２のＭライン目の有効投影開始時間： Ｈｐ_ｓｔ＋ΔＨｐ×Ｍ
・投影部１０２のＭライン目の有効投影終了時間： Ｈｐ_ｓｔ＋ΔＨｐ×Ｍ＋Ｈｐ
次に、撮像部１０３は、撮像方式としてグローバルシャッター方式またはローリングシャッター方式を採用可能であるが、タイミング調整が難しいローリングシャッター方式のＣＭＯＳ撮像デバイスを前提に説明をする。

ローリングシャッター方式の撮像デバイス特有の性能特性情報として、例えば、ピクセル速度（ここでは「ｆ」と称する）があるが、これは撮像素子からセンサ情報を出力する速度である。

また、ローリングシャッター方式の撮像デバイス特有の性能特性情報として、１ライン当たりのズレ時間（ここでは「ΔＨｓ」と称する ）があるが、これは１水平ライン分のセンサ情報を外部に転送するのに要する時間（ブランキング期間も含む）である。

ここで、１ライン当たりの水平画素数ｎ、水平ブランキング数（ここでは「ｂｋ」と称する)、または１ライン当たりの露光時間（ここでは「Ｈｓ」と称する）といった各性能特性情報は、撮像部１０３の許容範囲内であれば、操作者が自由に変更して設定できるパラメータである。これらのパラメータから、１ライン当たりのズレ時間ΔＨｓが ΔＨｓ＝(ｎ＋ｂｋ)×ｆとして、また、１ライン当たりの処理時間がＨｓ＋ΔＨｓとして算出することができる。

さらに、撮像部１０３がＲＯＩ制御を行って部分撮像をしているケースを考える。ＲＯＩ制御により、ＲＯＩ制御の開始ラインＬのオフセット時間（ここでは「ＲＯＩ_ｓｔ」と称する）が任意に設定変更可能なパラメータとしてさらに追加される。ＲＯＩ制御による撮像を開始するためには、ＲＯＩ制御の開始ライン位置と同じ位置に相当する投影ラインにおいて、撮像開始前に投影が開始されている必要がある。よって、ＲＯＩ制御の開始ラインＬのオフセット時間ＲＯＩ_ｓｔは、投影側に依存しており、投影側Ｍライン目の有効投影開始時間（Ｈｐ_ｓｔ ＋ΔＨｐ×Ｍ）、垂直ライン数（Ｍ＝Ｎ÷ｐ）、およびＮ＝Ｌから、ＲＯＩ_ｓｔ＝Ｈｐ_ｓｔ＋ΔＨｐ×(Ｌ÷ｐ)となり、これに基づいて以下の時間を算出することができる。

・撮像部１０３のＮライン目のズレ時間（ＲＯＩ制御の開始ラインＬのオフセット時間ＲＯＩ_ｓｔを加算）：
ＲＯＩ_ｓｔ＋ΔＨｓ×Ｎ ⇒ {Ｈｐ_ｓｔ＋ΔＨｐ×（Ｌ÷ｐ）}＋ΔＨｓ×Ｎ
・撮像部１０３のＮライン目の撮像開始時間（ＲＯＩ制御の開始ラインＬのオフセット時間ＲＯＩ_ｓｔを加算）：
ＲＯＩ_ｓｔ＋ΔＨｓ×Ｎ ⇒ {Ｈｐ_ｓｔ＋ΔＨｐ×（Ｌ÷ｐ）}＋ΔＨｓ×Ｎ
・撮像部１０３のＮライン目の撮像終了時間（ＲＯＩ制御の開始ラインＬのオフセット時間ＲＯＩ_ｓｔを加算）：
ＲＯＩ_ｓｔ＋ΔＨｓ×Ｎ＋Ｈｓ ⇒ {Ｈｐ_ｓｔ＋ΔＨｐ×（Ｌ÷ｐ）}＋ΔＨｓ×Ｎ＋Ｈｓ
次に、投影部１０２の投影時間情報と撮像部１０３の撮像時間情報とを用いて、投影および撮像のタイミングを適切に調整して制御するための条件を以下に示す。投影部１０２の有効投影期間内に撮像部１０３の露光を行うためには、以下の２つの条件を満たす必要がある。

まず条件１としては、投影部１０２の有効投影開始時間以降に、撮像部１０３の露光を開始する必要がある。つまり、撮像部１０３の露光開始時間を、投影の有効投影開始時間以降に設定する必要がある。すなわち、以下の関係を満たす必要がある。

（Ｎライン目の撮像開始時間）≧（Ｍライン目の有効投影開始時間）
⇔ ＲＯＩ_ｓｔ＋ΔＨｓ×Ｎ ≧ Ｈｐ_ｓｔ＋ΔＨｐ×{(Ｌ＋Ｎ)÷ｐ} 但し、Ｍ＝(Ｌ＋Ｎ)÷ｐ
⇔ {Ｈｐ_ｓｔ＋ΔＨｐ×（Ｌ÷ｐ）}＋ΔＨｓ×Ｎ ≧ Ｈｐ_ｓｔ＋ΔＨｐ×（(Ｌ＋Ｎ)÷ｐ）
⇔ ΔＨｓ×Ｎ−ΔＨｐ×(Ｎ÷ｐ) ≧ Ｈｐ_ｓｔ＋ΔＨｐ×(Ｌ÷ｐ)−Ｈｐ_ｓｔ− ΔＨｐ×(Ｌ÷ｐ)
⇒ Ｎ ≧ ０
次に、条件２としては、投影部１０２の有効投影終了時間前に、撮像部１０３の露光を終了する必要がある。つまり、撮像部１０３の露光終了時間を、投影部１０２の有効投影終了時間と同じかそれよりも早く設定する必要がある。すなわち、以下の関係を満たす必要がある。

（Ｎライン目の撮像終了時間）≦ （Ｍライン目の有効投影終了時間）⇔ ＲＯＩ_ｓｔ＋ΔＨｓ×Ｎ＋Ｈｓ ≦ Ｈｐ_ｓｔ＋ΔＨｐ×Ｍ＋Ｈｐ
⇔ {Ｈｐ_ｓｔ＋ΔＨｐ×（Ｌ÷ｐ）}＋ΔＨｓ×Ｎ＋Ｈｓ ≦ Ｈｐ_ｓｔ＋ΔＨｐ×((Ｌ ＋Ｎ)÷ｐ)＋Ｈｐ 但し、Ｍ＝(Ｌ＋Ｎ)÷ｐ
⇔ Ｈｐ_ｓｔ＋ΔＨｐ×（Ｌ÷ｐ）＋ΔＨｓ×Ｎ＋Ｈｓ ≦ Ｈｐ_ｓｔ＋ΔHｐ×((Ｌ＋ Ｎ)÷ｐ)＋Ｈｐ
⇔ Ｎ ≦ (Ｈｐ−Ｈｓ) ÷（ΔＨｓ−ΔＨｐ÷ｐ）
⇔ Ｎ ≦ (Ｈｐ−Ｈｓ) ÷（(ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ） 但し、ΔＨｓ＝(ｎ＋ｂｋ)×ｆ
以上から、条件１および条件２を共に満たすためには、以下の関係を満たす必要がある。

(Ｈｐ−Ｈｓ) ÷（(ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ） ≧ Ｎ ≧ ０ … （１）
この式（１）は、投影部１０２の１ライン当たりの有効投影時間Ｈｐから撮像部１０３の露光時間Ｈｓを差し引いた時間が、１フレーム期間内に投影の走査と撮像の走査とにより生じる時間の差を吸収できる猶予期間となり、その猶予期間を投影の走査と撮像の走査とにより生じる１ライン当りの時間差分で割った値が、撮像の最大垂直ライン数Ｎ_ｍａｘになることを示している。

ここで、Ｈｐ、ｆ、ΔＨｐ÷ｐは定数であるが、ｎ、ｂｋ、Ｈｓ、Ｎは設定パラメータであるため、この条件式を満たすように、撮像の水平画素数ｎ、ブランキング数ｂｋ、撮像部１０３の露光時間Ｈｓ、およびＲＯＩ制御エリアの撮像の垂直ライン数Ｎを決定することにより、投影および撮像のタイミングを適切に調整することが可能となる。

また、撮像の開始時間Ｓ１は、ＲＯＩ制御の開始ラインＬを設定することにより、以下の式により算出することができる。

Ｓ１＝Ｈｐ_ｓｔ＋ ΔＨｐ×（Ｌ÷ｐ）、但し、Ｍ＝Ｌ
そして、撮像の終了時間Ｓ２は、式（１）を満たすようにＲＯＩ制御エリアの水平画素数ｎとブランキング数ｂｋと垂直ライン数Ｎを設定することにより、以下の式により算出することができる。

Ｓ２＝Ｓ１＋ΔＨｓ×Ｎ
＝{Ｈｐ_ｓｔ＋ΔＨｐ×（Ｌ÷ｐ）}＋{(ｎ＋ｂｋ)×ｆ}×Ｎ 但し、ΔＨｓ＝(ｎ＋ｂｋ)×ｆ
ここまでは撮像部１０３がＲＯＩ制御を行い撮像するケースで説明したが、ＲＯＩ制御を行わない場合もあり、下記の２つのケースが考えられる。

ケース１：ＲＯＩ制御無しで、投影開始と同時に全画面の撮像を開始する場合
ケース２：ＲＯＩ制御無しで、投影開始からオフセット値（Ｈｓ_ｓｔ）分だけ遅れて全画面の撮像を開始する場合
以下、ケース１およびケース２のそれぞれについてＲＯＩ制御を行う場合と同様に、以下に示すように各時間を算出する。 ・撮像部１０３のＮライン目のズレ時間：
ケース１：ΔＨｓ×Ｎ
ケース２：Ｈｓ_ｓｔ＋ΔＨｓ×Ｎ
・撮像部１０３のＮライン目の撮像開始時間：
ケース１：ΔＨｓ×Ｎ
ケース２：Ｈｓ_ｓｔ＋ΔＨｓ×Ｎ
・撮像部１０３のＮライン目の撮像終了時間：
ケース１：ΔＨｓ×Ｎ＋Ｈｓ
ケース２：Ｈｓ_ｓｔ＋ΔＨｓ×Ｎ＋Ｈｓ
そして、これらを同様に条件１および条件２に当てはめる。まず条件１としては、投影部１０２の有効投影開始時間以降に、撮像部１０３の露光を開始する必要がある。つまり、撮像部１０３の露光開始時間を、投影の有効投影開始時間以降に設定する必要がある。すなわち、以下の関係を満たす必要がある。

（Ｎライン目の撮像開始時間）≧（Ｍライン目の有効投影開始時間）
ケース１：
⇔ ΔＨｓ×Ｎ ≧ Ｈｐ_ｓｔ＋ΔＨｐ×（Ｎ÷ｐ）
⇔ Ｎ ≧ Ｈｐ_ｓｔ ÷ ((ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ) 但し、ΔＨｓ＝(ｎ＋ｂｋ)×ｆ
ケース２：
⇔ Ｈｓ_ｓｔ＋ΔＨｓ×Ｎ ≧ Ｈｐ_ｓｔ＋ΔＨｐ×（Ｎ÷ｐ）
⇔ Ｎ ≧ (Ｈｐ_ｓｔ−Ｈｓ_ｓｔ )÷ ((ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ) 但し、ΔＨｓ＝(ｎ＋ｂｋ)×ｆ
次に、条件２としては、投影部１０２の有効投影終了時間前に、撮像部１０３の露光を終了する必要がある。つまり、撮像部１０３の露光終了時間を、投影部１０２の有効投影終了時間と同じかそれよりも早く設定する必要がある。すなわち、以下の関係を満たす必要がある。

（Ｎライン目の撮像終了時間）≦ （Ｍライン目の有効投影終了時間）
ケース１：
⇔ ΔＨｓ×Ｎ＋Ｈｓ≦ Ｈｐ_ｓｔ＋ΔＨｐ×(Ｎ÷ｐ)＋Ｈｐ
⇔ Ｎ ≦ (Ｈｐ_ｓｔ＋Ｈｐ−Ｈｓ) ÷（(ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ）但し、ΔＨｓ＝(ｎ＋ｂｋ)×ｆ
ケース２：
⇔ Ｈｓ_ｓｔ＋ΔＨｓ×Ｎ＋Ｈｓ ≦ Ｈｐ_ｓｔ＋ΔＨｐ×(Ｎ÷ｐ)＋ Ｈｐ
⇔ Ｎ ≦ (Ｈｐ_ｓｔ＋Ｈｐ−Ｈｓ_ｓｔ−Ｈｓ) ÷（(ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ） 但し、ΔＨｓ＝(ｎ＋ｂｋ)×ｆ
以上より、条件１および条件２を共に満たすためには、以下の関係を満たす必要がある。

ケース１：
(Ｈｐ_ｓｔ＋Ｈｐ−Ｈｓ) ÷（(ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ）≧ Ｎ ≧ Ｈｐ_ｓｔ÷ ((ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ) （但し、Ｎ≧０）…（２）
ケース２：
(Ｈｐ_ｓｔ＋Ｈｐ−Ｈｓ_ｓｔ−Ｈｓ)÷（(ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ）≧ Ｎ ≧ (Ｈｐ_ｓｔ−Ｈｓ_ｓｔ)÷ ((ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ) （但し、Ｎ≧０）…（３）
つまり、ケース１では、投影部１０２の有効投影期間Ｈｐから撮像部１０３の露光時間Ｈｓを差し引いた時間に投影開始オフセット時間Ｈｐ_ｓｔを足した時間が、１フレーム期間内で投影の走査と撮像の走査により生じる時間差分を吸収できる猶予期間となり、その猶予期間を投影の走査と撮像の走査により生じる１ライン当りの時間差分で割った値が、式（２）を満たす撮像の最大の垂直ライン数になることを示している。そのため、その垂直ライン数までの撮像エリアが撮像可能である。また、投影開始オフセット時間Ｈｐ_ｓｔは、１フレーム期間内で投影の走査と撮像の走査により生じる時間差を利用して撮像開始可能になるまでに費やす期間であり、その期間を投影の走査と撮像の走査により生じる１ライン当りの時間差分で割った値が、式（２）を満たす撮像の最小の垂直ライン数になることを示している。そのため、その垂直ライン数からの撮像エリアが撮像可能である。すなわち、式（２）は、両者を合わせて、垂直ライン数の最小数から最大数までの撮像エリアが有効であることを示している。

また、ケース２では、投影部１０２の有効投影期間Ｈｐから撮像部１０３の露光時間Ｈｓを差し引いた時間に、投影開始オフセット時間Ｈｐ_ｓｔから撮像開始オフセット時間Ｈｓ_ｓｔを差し引いた時間を足した時間が、１フレーム期間内で投影の走査と撮像の走査により生じる時間差分を吸収できる猶予期間となり、その猶予期間を投影の走査と撮像の走査により生じる１ライン当りの時間差分で割った値が、式（３）を満たす撮像の最大の垂直ライン数になることを示している。そのため、その垂直ライン数までの撮像エリアが撮像可能である。また、投影開始オフセット時間Ｈｐ_ｓｔは、１フレーム期間内で投影の走査と撮像の走査により生じる時間差を利用して撮像開始可能になるために費やす期間であり、その期間を投影の走査と撮像の走査により生じる１ライン当りの時間差分で割った値が、式（３）を満たす撮像の最小の垂直ライン数を示している。そのため、その垂直ライン数からの撮像エリアが撮像可能である。すなわち、式（３）は、両者を合わせて、垂直ライン数の最小数から最大数までの撮像エリアが有効であることを示している。

ここで、Ｈｐ、ｆ、ΔＨｐ数学ｐは定数であるが、ｎ、ｂｋ、Ｈｓ、Ｎ、Ｈｓ_ｓｔは設定パラメータであるため、式（２）または式（３）を満たして、撮像の水平画素数ｎ、ブランキング数ｂｋ、撮像の露光時間Ｈｓ、ＲＯＩ制御エリアの撮像の垂直ライン数Ｎ、および投影開始からのオフセット値Ｈｓ_を決定することにより、投影および撮像のタイミングを適切に調整することが可能となる。

また、撮像の開始時間Ｓ１および撮像の終了時間Ｓ２は、以下の式により算出することができる。

ケース１：
Ｓ１＝Ｈｐ_ｓｔ
Ｓ２＝Ｈｐ_ｓｔ＋(ｎ＋ｂｋ)×ｆ×Ｎ＋Ｈｓ
ケース２：
Ｓ１＝Ｈｓ_ｓｔ
Ｓ２＝Ｈｐ_ｓｔ＋ (ｎ＋ｂｋ)×ｆ×Ｎ＋Ｈｓ
以上より、撮像部１０３に対して上記で決定した撮像パラメータを設定し、同期制御部１０４の撮像開始タイミングを上記により算出した値に設定する。そして同期制御部１０４が、投影の同期信号に対してその設定値分遅延させて撮像部１０３へ外部トリガ信号を出力し、撮像部１０３はそのトリガ信号に合わせて撮像する。これにより、線順次駆動方式の投影部１０２と、ローリングシャッター方式の撮像部１０３の組合せであっても、フレーム単位に投影・撮像が可能となり、高速な三次元計測を安価に実現することが可能になる。

ケース１は、図４における左側の線順次駆動方式の投影部１０２の表示とローリングシャッター方式の撮像部１０３との組合せに相当している。また、ケース２は、面順次駆動方式の投影部１０２の表示とローリングシャッター方式の撮像部１０３との組合せに相当している。なお、図４における右側の線順次駆動方式の投影部１０２の表示とグローバルシャッター方式の撮像部１０３との組合せでは、線順次駆動方式の表示で全画面を一斉に表示する期間中（最後のラインが表示を開始してから最初のラインが表示を終了するまでの期間）に撮像するように同期調整を行う。また、面順次駆動方式の表示とグローバルシャッター方式の撮像との同期については、表示期間中に撮像すれば良いので調整は容易である。

以上説明してきたように、本実施形態によれば、投影部の光源を点灯消灯可能な光源とし、投影部・撮像部のライン毎の時間ズレ、表示デバイスの 応答特性、撮像エリア情報（ＲＯＩのサイズや位置）や投影パターンなどに基づいて、投影部・撮像部を同期させる。さらに、計測に必要な期間のみ光源を点灯させることにより、投影部の光源利用効率が優れた三次元計測装置を構築可能になる。また、光源の点灯時間を削減し、光源の昇温を防止し、長寿命化および省電力化を実現することができる。

（第２実施形態）
図５および図６を参照して、第２実施形態における、全エリアのうち一部の部分エリアを計測する場合の投影と撮像との同期タイミングについて説明する。以下、このように部分撮像を行うことをＲＯＩ撮像と称する。

ここで、図５は、ローリングシャッター方式によるＲＯＩ撮像の場合であり、垂直ラインの上位領域と中間領域と下位領域との３か所でＲＯＩを区切って撮像している。この場合は、ＲＯＩの位置により、光源部の点灯期間が異なる。上位領域では早くに点灯し、中間領域、下位領域になるにつれて点灯が遅くなる。撮像の開始時間Ｓ１は、上位領域の場合はｔ１、中間領域の場合はｔ２、下位領域の場合はｔ３に相当する。また、撮像の終了時間Ｓ２は、上位領域の場合はｔ４、中間領域の場合はｔ５、下位領域の場合はｔ６に相当する。

また、図５における右側は、左側よりも高速な撮像系を想定した場合であり、撮像期間が短くなるため、点灯期間も短くすることができることと、更に、もし左側と同じ点灯期間を設ける場合には、矢印５０１で示されるように露光時間を長くすることができることを示している。

また、図６は、グローバルシャッター方式によるＲＯＩ撮像の場合であり、図５と同様に、垂直ラインの上位領域と中間領域と下位領域との３か所でＲＯＩを区切って撮像している。この場合は、ＲＯＩの位置により、光源部の点灯期間が異なる。上位領域では早くに点灯し、中間領域、下位領域になるにつれて点灯が遅くなる。撮像の開始時間Ｓ１は、上位領域の場合はｔ１、中間領域の場合はｔ２、下位領域の場合はｔ３に相当する。また、撮像の終了時間Ｓ２は、上位領域の場合はｔ４、中間領域の場合はｔ５、下位領域の場合はｔ６に相当する。

また、図６における右側は、左側よりも高速な撮像系を想定した場合であり、撮像期間が短くなるため、点灯期間も短くすることができることと、更に、もし左側と同じ点灯期間を設ける場合には、矢印６０１で示されるように露光時間を長くすることができることを示している。

（第３実施形態）
図７を参照して、第３実施形態における、投影パターンの白部分（輝度が高い部分）の時のみ光源を点灯させる場合の投影と撮像との同期タイミングについて説明する。図７に示される例では、線順次駆動方式の投影部１０２の表示とローリングシャッター方式の撮像部１０３との組合せで、ＲＯＩ撮像するときに、垂直ラインの上位領域では白黒パターン、中間領域では白黒白黒パターン、下位領域では黒白パターンを、それぞれ投影する。

図５および図６のようにＲＯＩの領域だけで判断した場合の点灯期間は、点線枠までの点灯期間が必要になるが、図７の場合、垂直ラインの上位領域では、白パターンのある前半の期間のみ点灯し、後半の黒パターンのときは消灯する。そして、中間領域では、白黒白黒と続く下側の黒パターンのときは消灯する。また、下位領域では、前半の黒パターンで消灯し、後半の白パターンのときのみ点灯する。これにより、点灯時間を必要最小限の期間にすることが可能になる。

また、図７の右側の場合、ローリングシャッター方式の撮像で露光期間をより短くすることができるケースである。例えば、中間領域では、白黒白黒パターンにおいて、途中の白に挟まれた黒領域を撮像する期間が生じるので、その期間では光源をさらに消灯することができることを示している。

（第４実施形態）
本実施形態では、点灯期間を撮像期間より長めに設定する場合の投影と撮像との同期タイミングについて説明する。まず図８を参照して、点灯期間を撮像期間より長めに設定する理由を説明する。

まず、三次元計測で奥行のある対象物を計測するが、その奥行き方向の計測の許容範囲内では計測距離を基準位置から前後にずれた位置で投影し撮像することになる。その場合、基準位置では、投影の投影エリアと撮像の撮像エリアが一致していたとしても、基準位置よりも手前側の位置では、投影エリアが投影側へ移り、かつ投影エリアは小さくなるため、撮像側の一部の撮像エリアで投影されないエリア８０１が発生してしまう。逆に、基準位置よりも奥側の位置では、投影エリアが撮像側の方へ移り、かつ投影エリアは大きくなるが、投影側の一部の撮像エリアで投影されないエリア８０２が発生してしまう。そのため、このエリア８０２に対して投影を行い計測可能にするために点灯期間を撮像期間より長めに設定する必要がある。

図９を参照して、第４実施形態における、点灯期間を撮像期間より長めに設定する場合の投影と撮像との同期タイミングについて説明する。図９では、撮像期間中のみ点灯するのではなく撮像期間の前後に延長して点灯するように点灯期間を設定している。撮像領域のうち投影領域が重複していない領域の水平画素数および垂直ライン数を算出する（領域算出処理）。投影されないエリア８０２の撮像ライン数を延長する期間に相当するライン数として、ＲＯＩのライン数に加算し、その加算したトータルのライン数分を点灯期間にする。

（第５実施形態）
本実施形態では、投影部および撮像部の特性情報を取得して投影と撮像との同期タイミングを生成する構成について説明する。

図１０を参照して、第５実施形態における三次元計測装置の構成を説明する。本実施形態の三次元計測装置は、第１実施形態の三次元計測装置の構成に対して、全体制御部１０１が、投影・撮像性能特性情報記憶部１０１−５と、投影・撮像同期情報生成部１０１−６とをさらに備える点が異なる。

投影・撮像性能特性情報記憶部１０１−５は、投影部および撮像部の性能特性情報を予め記憶しておく。投影・撮像同期情報生成部１０１−６は、投影・撮像性能特性情報記憶部１０１−５から必要な性能特性情報を読み出して、読み出した性能特性情報から第１実施形態で説明した算出方法により同期情報を生成し、必要に応じて同期制御部１０４へ同期情報を出力するように構成する。

従って、投影部や撮像部が変更された場合、変更された部分の性能特性情報を新たに投影・撮像性能特性情報記憶部１０１−５へ入力して記憶しておくことにより、その性能特性情報に基づいて自動的に同期タイミングを生成することができる。そのため、投影部や撮像部の変更に容易に対応することが可能となる。

（第６実施形態）
図１１を参照して、投影部１０２が有する光源部１０２−１の内部構成について説明する。図１１（ａ）に示される光源部１０２−１の構成は、第１実施形態に対応している。光源部１０２−１は、画像メモリ１１０１と、同期検知生成部１１０２と、デバイス駆動部１１０３と、表示デバイス１１０４と、光源駆動部１１０９と、光源１１１０とを備える。画像メモリ１１０１は、表示デバイス１１０４が表示すべき画像データを記憶する同期検知生成部１１０２は、同期情報を取得して、当該同期情報に従ってデバイス駆動部１１０３を動作させる。デバイス駆動部１１０３は、表示デバイス１１０４を駆動する。また、光源駆動部１１０９は、光源１１１０を駆動する。

図１１（ｂ）に示される光源部１０２−１は、図１１（ａ）の構成に加えて、Ｉ／Ｏ部１１０５と、制御部１１０６と、点灯タイミング参照テーブル１１０７と、点灯期間生成部１１０８とをさらに備える。Ｉ／Ｏ部１１０５は、外部との情報をやり取りする入力／出力部１１０５である。制御部１１０６は、Ｉ／Ｏ部１１０５を介して外部から転送された点灯タイミング情報を点灯タイミング参照テーブル１１０７へ記憶する。点灯期間生成部１１０８は、同期検知生成部１１０２および点灯タイミング参照テーブル１１０７から取得した情報に従って、光源駆動部１１０９を動作させる。

図１１（ｂ）の場合は、図１１（ａ）の場合とは異なり、外部から光源１１１０の点灯タイミング情報を予め光源部１０２−１へ転送しておき、点灯タイミング参照テーブル１１０７に展開し、表示デバイス１１０４の表示タイミングに対して予め設定しておいたオフセット値と点灯期間とで光源１１１０を点灯する構成である。何れの場合も、光源１１１０の点灯消灯制御を外部から行うことが可能である。

図１２は、図１１の投影装置の投影と光源点灯タイミング図を示している。全エリアを点灯した場合と、一部の計測エリアを点灯した場合と、投影パターンで白部分（高輝度領域）のみ点灯した場合について示されている。図１２の左側は、計測エリアに白黒パターンを投影した場合であり、右側は、全エリアに白黒パターンを投影した場合である。それぞれ、ｔ２からｔ３まで光源部を点灯させ、ｔ６からｔ７まで光源部を点灯させればよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 表示デバイスにより生成された投影パターンを消点灯可能な光源の点灯により対象物へ投影する投影手段と、
   前記投影パターンが投影された前記対象物を撮像する撮像手段と、
   前記表示デバイスの応答特性と前記撮像手段の撮像特性とに基づいて前記撮像手段の撮像期間を算出する算出手段と、
   前記撮像期間に前記光源を点灯させることにより、前記撮像手段の前記撮像期間と前記投影手段の投影期間とを同期させるように制御する制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記撮像手段は、部分領域ごとに撮像可能であり、
   前記算出手段は、前記応答特性と、前記撮像特性と、前記部分領域に対応する撮像素子の水平画素数および垂直ライン数とに基づいて前記撮像期間を算出することを特徴とする請求項１に記載の情報処理装置。
3. 前記算出手段は、さらに前記投影パターンを構成する白黒パターンのうち白パターンの位置に基づいて前記撮像期間を算出することを特徴とする請求項１に記載の情報処理装置。
4. 前記撮像特性は、前記撮像手段の撮像素子のピクセル速度であることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記撮像手段は、１ラインごとに撮像動作を行うローリングシャッター方式で動作し、
   前記撮像特性は、前記１ラインごとの露光時間と、前記１ライン分のセンサ情報を前記撮像素子から外部へ転送するのに要する時間と、をさらに含むことを特徴とする請求項４に記載の情報処理装置。
6. 前記投影手段の前記表示デバイスは、１ラインごとに投影動作を行う線順次駆動方式で動作し、
   前記応答特性は、前記１ライン当たりの投影が可能な状態になるまでのオフセット時間と、前記１ライン当たりに生じる隣接するラインとの投影開始の差分時間と、前記投影パターンが計測可能な時間を示す前記１ライン当たりの有効投影時間とを含むことを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記撮像手段の撮像領域のうち前記投影手段の投影領域が重複していない領域の水平画素数および垂直ライン数を算出する領域算出手段をさらに備え、
   前記制御手段は、前記水平画素数および前記垂直ライン数に相当する時間だけ前記撮像期間を延長して、当該延長された撮像期間に前記光源を点灯させることにより、前記撮像手段の前記撮像期間と前記投影手段の投影期間とを同期させるように制御することを特徴とする請求項１に記載の情報処理装置。
8. 投影手段と、撮像手段と、算出手段と、制御手段とを備える情報処理装置の制御方法であって、
   前記投影手段が、表示デバイスにより生成された投影パターンを消点灯可能な光源の点灯により対象物へ投影する投影工程と、
   前記撮像手段が、前記投影パターンが投影された前記対象物を撮像する撮像工程と、
   前記算出手段が、前記表示デバイスの応答特性と前記撮像手段の撮像特性とに基づいて前記撮像手段の撮像期間を算出する算出工程と、
   前記制御手段が、前記撮像期間に前記光源を点灯させることにより、前記撮像手段の前記撮像期間と前記投影手段の投影期間とを同期させるように制御する制御工程と、
   を備えることを特徴とする情報処理装置の制御方法。
9. 請求項８に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。