JP2018088596A - 情報処理システム、制御装置、検出装置、情報処理方法、制御方法、検出方法、及びプログラム - Google Patents

Abstract

【課題】撮像画像を利用した移動体の位置の変化に関する原理的な遅延時間を短くする。【解決手段】情報処理システム２０００は、照射装置２０を制御して、カメラ１０における１つの露光期間内に変調光を照射させる。情報処理装置２０００は、この露光期間における露光の結果としてカメラ１０によって生成される撮像画像１２から、この露光期間内に含まれる異なる複数の時点それぞれにおける移動体３０の位置を検出する。【選択図】図１

Description

本発明は画像処理に関する。

カメラによって生成された撮像画像に写っている移動する物体（以下、移動体）について解析を行う技術が開発されている。例えば特許文献１は、異なる時刻に撮像された２枚の画像からオプティカルフローを算出する技術を開示している。

特開平１０−０９１７９３号公報

１つの撮像画像から得られる移動体の位置は１つである。そのため、移動体の位置の変化に関する解析（例えばオプティカルフローの算出）には撮像画像が２つ以上必要となる。よって、解析に利用する１つ目の撮像画像が得られてからその撮像画像を利用した解析の結果が得られるまでに、撮像間隔に依存する遅延が生じてしまう。

例えば、撮像画像が一定の撮像間隔 dt で生成されるとする。この場合、時点 t で撮像された移動体のオプティカルフローを算出するためには、時刻 t-dt で撮像された移動体との対応付けを行う必要がある。よって、算出されたオプティカルフローは時点 t-dt/2 における値となる。すなわち、原理的に dt/2 の遅延が生じる。

同様に、時点 t で撮像された移動体の加速度を算出するためには、時点 t の撮像画像、 時点 t-dt の撮像画像、及び時点 t-2*dt の撮像画像という３つの撮像画像が必要となる。よって、算出された加速度は時点 t-dt における値となる。すなわち、原理的に dt の遅延が生じる。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、撮像画像を利用した移動体の位置の変化に関する原理的な遅延時間を短くする技術を提供することである。

本発明の情報処理システムは、（１）撮像装置における１つの露光期間内に、所定の方法で変調した変調光を照射装置から照射させる制御手段と、（２）前記露光期間における露光の結果として前記撮像装置によって生成される撮像画像から、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する検出手段と、を有する。

本発明の制御装置は、撮像装置における１つの露光期間内に、所定の方法で変調した変調光を照射装置から照射させる制御手段を有する。

本発明の検出装置は、撮像装置における１つの露光期間における露光の結果として撮像装置によって生成される撮像画像から、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する検出手段を有する。

本発明の情報処理方法は、１つ以上のコンピュータによって実行される。
当該情報処理方法は、（１）撮像装置における１つの露光期間内に、所定の方法で変調した変調光を照射装置から照射させる制御ステップと、（２）前記露光期間における露光の結果として前記撮像装置によって生成される撮像画像から、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する検出ステップと、を有する。

本発明の制御方法は、コンピュータによって実行される。
当該制御方法は、撮像装置における１つの露光期間内に、所定の方法で変調した変調光を照射装置から照射させる制御ステップを有する。

本発明の検出方法は、コンピュータによって実行される。
当該検出方法は、撮像装置における１つの露光期間における露光の結果として撮像装置によって生成される撮像画像から、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する検出ステップを有する。

本発明の第１のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

本発明の第２のプログラムは、本発明の検出方法が有する各ステップをコンピュータに実行させる。

本発明によれば、撮像画像を利用した移動体の位置の変化に関する原理的な遅延時間を短くする技術が提供される。

実施形態１の情報処理システムの使用環境を例示する図である。 情報処理システムの構成を例示するブロック図である。 情報処理システムを実現するための計算機を例示する図である。 照射装置のハードウエア構成を例示する図である。 実施形態１の情報処理システムにおける処理の流れを例示するフローチャートである。 照射装置から照射される光を変調する変調信号を例示する図である。 図６の変調光において山の間隔を変更したケースを例示する図である。 変調光が照射された移動体が撮像された撮像画像を例示する図である。 照射装置から照射される光を変調する変調信号を例示する図である。 移動体が撮像された撮像画像を例示する図である。 色が変化しない変調光が照射された移動体を表すテンプレート画像を例示する図である。 図１１のテンプレート画像を用いたテンプレートマッチングを説明するための図である。 複数の時点それぞれにおける移動体を表すテンプレート画像を例示する図である。 図１３のテンプレート画像を用いたテンプレートマッチングを説明するための図である。 照射装置から変調光が照射されている期間の移動体の動きボケを表すテンプレート画像を例示する図である。 数式（１１）で表される変調信号のグラフを例示する図である。 数式（１１）で表される変調光が照射された移動体が撮像された撮像画像を例示する図である。 色強度 Pr(x)、Pg(x)、及び Pb(x) のグラフを例示する図である。 数式（１２）の各原始関数のグラフを示す図である。 移動体のオプティカルフローを算出する機能を有する情報処理システムを例示する図である。 移動体の移動速度を算出する機能を有する情報処理システムを例示する図である。 移動体の加速度を算出する機能を有する情報処理システムを例示する図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。

［実施形態１］
図１は、実施形態１の情報処理システム２０００の使用環境を例示する図である。本図は、情報処理システム２０００の理解を容易にするために情報処理システム２０００の動作の一例を示すものであり、情報処理システム２０００の実現方法を何ら限定するものではない。

カメラ１０は、撮像を行って撮像画像を生成するカメラである。照射装置２０は、所定の方法で変調した光（以下、変調光）を照射する装置である。移動体３０は、カメラ１０によって撮像される物体である。

情報処理システム２０００は、照射装置２０による変調光の照射を制御する。具体的には、照射装置２０は、カメラ１０が撮像を行う際の露光期間内に変調光を照射するように制御される。例えば図１における変調光は、カメラ１０の露光期間のそれぞれ異なるタイミングで照射される赤色の光、緑色の光、及び青色の光で構成される。

情報処理システム２０００は、撮像画像１２から移動体３０の位置を複数検出する。撮像画像１２は、上述した変調光が照射された移動体３０を撮像したカメラ１０によって生成される画像である。

ここで前述したように、照射装置２０による３色の光の照射は、撮像画像１２を生成するための１つ露光期間内で行われている。そのため、この露光期間内にカメラ１０のイメージセンサ（例えば CCD（Charge-Coupled Device）センサ）に取り込まれる光には、照射装置２０から照射された赤色の光が移動体３０によって反射された光、照射装置２０から照射された緑色の光が移動体３０によって反射された光、及び照射装置２０から照射された青色の光が移動体３０によって反射された光の全てが含まれる。よって図１に示すように、撮像画像１２には、赤色の光が照射された時点の移動体３０−Ｒ、緑色の光が照射された時点の移動体３０−Ｇ、及び青色の光が照射された時点の移動体３０−Ｂのそれぞれが含まれる。なお、図示の都合上、赤色をドット、緑色を格子、青色を斜線で表している。

そこで情報処理システム２０００は、移動体３０−Ｒの位置、移動体３０−Ｇの位置、及び移動体３０−Ｂの位置の内の少なくとも２つ以上を検出する。

図２は、情報処理システム２０００の構成を例示するブロック図である。情報処理システム２０００は、上述した処理を実現するために、制御部２０２０及び検出部２０４０を有する（図２（ａ）参照）。制御部２０２０は、照射装置２０を制御して、カメラ１０における１つの露光期間内に変調光を照射させる。検出部２０４０は、この露光期間における露光の結果としてカメラ１０によって生成される撮像画像１２から、この露光期間内に含まれる異なる複数の時点それぞれにおける移動体３０の位置を検出する。

例えば情報処理システム２０００は、制御装置３０００及び検出装置４０００という２つの装置によって実現される（図２（ｂ）参照）。ただし、情報処理システム２０００は、１つの装置によって実現されてもよい。

＜作用・効果＞
本実施形態の情報処理システム２０００によれば、カメラ１０によって生成される１つの撮像画像１２から、移動体３０の位置を複数検出することができる。よって、移動体３０のオプティカルフローや加速度の算出など、移動体３０の位置の変化に関する解析を、１つの撮像画像１２で実行できる。そのため、これらの解析に複数の撮像画像が必要な場合と比較し、原理的な遅延時間が短くなる。

なお、移動体３０の位置の変化に関する解析の結果は、例えば、ロボットの制御、又は自動車の自動運転若しくは危険回避システムの制御などに利用することができる。そのため、本実施形態の情報処理システム２０００によれば、これらの制御を低遅延で実現することができるようになる。

ここで、原理的な遅延時間を短くする他の方法として、カメラの撮像間隔を短くする方法が考えられる。しかし、（１）カメラが高価になる、及び（２）単位時間当たりに解析する撮像画像の数が増えるため、単位時間当たりのデータ処理量が増加するといった問題がある。これに対し、情報処理システム２０００では、撮像間隔を短くする必要がないため、一般的なカメラを利用することができる。また、単位時間当たりに処理する撮像画像の数を増やす必要がないため、単位時間当たりのデータ処理量を増やす必要はない。

以下、本実施形態についてさらに詳細を述べる。

＜情報処理システム２０００のハードウエア構成の例＞
情報処理システム２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理システム２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図３は、情報処理システム２０００を実現するための計算機１０００を例示する図である。計算機１０００は種々の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、又は携帯端末（タブレット端末やスマートフォン）などである。計算機１０００は、情報処理システム２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。プロセッサ１０４０は、CPU（Central Processing Unit）や GPU（Graphics Processing Unit）などの演算処理装置である。メモリ１０６０は、RAM（Random Access Memory）などで構成される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、ROM、又はメモリカードなどで構成される補助記憶装置である。ただしストレージデバイス１０８０は RAM で構成されてもよい。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、カメラ１０及び照射装置２０が接続される。その他にも例えば、入出力インタフェース１１００には、キーボードやマウスなどの入力デバイスや、ディスプレイ装置などの出力デバイスが接続される。

ネットワークインタフェース１１２０は、WAN（Wide Area Network）や LAN（Local Area Network）などの通信網に接続するためのインタフェースである。計算機１０００は、通信網を介して撮像画像１２を取得してもよい。この場合、計算機１０００は、入出力インタフェース１１００を介してカメラ１０と接続されていなくてもよい。

ストレージデバイス１０８０は情報処理システム２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、そのプログラムモジュールに対応する各機能を実現する。

なお前述したように、例えば情報処理システム２０００は、制御装置３０００及び検出装置４０００という２つの装置で実現される。この場合、情報処理システム２０００は、制御装置３０００を実現する計算機と、検出装置４０００を実現する計算機という２つの計算機で構成される。図３は、これら各計算機の構成を示す。この場合、制御装置３０００を実現する計算機のストレージデバイス１０８０には、制御部２０２０の機能を実現するプログラムモジュールが記憶される。一方、検出装置４０００を実現する計算機のストレージデバイス１０８０には、検出部２０４０の機能を実現するプログラムモジュールが記憶される。

ただし情報処理システム２０００は、１つの計算機で実現されてもよい。この計算機のストレージデバイス１０８０には、制御部２０２０の機能を実現するプログラムモジュールと検出部２０４０の機能を実現するプログラムモジュールの双方が含まれる。

＜照射装置２０のハードウエア構成＞
図４は、照射装置２０のハードウエア構成を例示する図である。図４の照射装置２０は、FPGA（field-programmable gate array）ボード１５００及び光源２４を有する。

FPGA ボード１５００は、バス１５２０、FPGA １５４０、メモリ１５６０、ストレージデバイス１５８０、及び入出力インタフェース１６００を有する。バス１５２０は、FPGA １５４０、メモリ１５６０、ストレージデバイス１５８０、及び入出力インタフェース１６００が、相互にデータを送受信するためのデータ伝送路である。FPGA １５４０は、光源２４を制御することで変調光の照射を実現するためのロジックデバイスである。メモリ１５６０は、RAM などで構成される主記憶装置である。ストレージデバイス１０８０は、ROM などで構成される補助記憶装置である。ただしストレージデバイス１０８０は RAM で構成されてもよい。

入出力インタフェース１１００には、情報処理システム２０００を実現するための計算機１０００、及び光源２４が接続されている。光源２４は、例えば LED 光源である。光源２４の数は１つであってもよいし、複数であってもよい。例えば後者の場合、照射装置２０は、赤色の光を照射する光源（以下、Ｒ光源）、緑色の光を照射する光源（以下、Ｇ光源）、及び青色の光を照射する光源（以下、Ｂ光源）を有する。

照射装置２０では、FPGA １５４０が、光源２４を制御して変調光を照射するための変調信号に従い、光源２４を制御する。変調信号は、予めストレージデバイス１０８０に記憶されていてもよいし、計算機１０００から受信してもよい。前者の場合、例えば FPGA １５４０は、変調光を照射するタイミングを表す制御信号を計算機１０００から受信し、そのタイミングに従って変調光を照射する。一方後者の場合、例えば FPGA １５４０は、変調信号を計算機１０００から受信したことに応じ、その変調信号を使って光源２４を制御し、変調光を照射する。なお、照射装置２０から出力される光の変調方法については後述する。

＜カメラ１０について＞
カメラ１０には、撮像を行って撮像画像を生成できる任意のカメラを利用することができる。カメラ１０は、動画を生成するビデオカメラでもよいし、静止画を生成するスチールカメラであってもよい。

カメラ１０の露光期間内において照射装置２０の変調光が照射されるようにするためには、カメラ１０の露光のタイミングと照射装置２０による変調光の照射のタイミングとを同期させる手段が必要となる。そこで例えば、カメラ１０が露光を開始するタイミング又はそのタイミングよりも所定時間前のタイミングで、カメラ１０から所定の信号が出力されるようにする。

制御部２０２０は、この信号をカメラ１０から受信することで、カメラ１０が露光を開始するタイミングを把握することができる。例えば制御部２０２０は、カメラ１０から上記信号を受信したことに応じ、前述した制御信号や変調信号を照射装置２０に送信する。なお、照射装置２０による変調光の照射はカメラ１０の露光期間内に行われればよいため、カメラ１０が露光を開始するタイミングと照射装置２０が変調光の照射を開始するタイミングとを必ずしも一致させる必要はない。

以上のように、情報処理システム２０００、カメラ１０、及び照射装置２０の実現には、いずれも汎用のハードウエアを利用可能である。よって、高価な専用ハードウエアが必要な場合と比較し、実現に要する費用が安い。ただし、情報処理システム２０００、カメラ１０、及び照射装置２０は、汎用のハードウエアではなく、専用のハードウエアで実現されてもよい。

＜処理の流れ＞
図５は、実施形態１の情報処理システム２０００における処理の流れを例示するフローチャートである。制御部２０２０は、露光のタイミングを表す制御信号をカメラ１０から受信する（Ｓ１０２）。制御部２０２０は、照射装置２０に変調光を照射させる（Ｓ１０４）。検出部２０４０は、カメラ１０によって生成された撮像画像１２を取得する（Ｓ１０６）。検出部２０４０は、撮像画像１２から移動体３０の複数の位置を検出する（Ｓ１０８）。

なお、上述のフローチャートは例示であり、情報処理システム２０００による処理の流れは上述の流れに限定されない。例えばカメラ１０が連続して撮像画像１２を生成する場合（例えばカメラ１０がビデオカメラである場合）、上述のフローチャートでは、撮像画像１２が生成される度に検出部２０４０による検出処理が行われる。しかし、検出部２０４０による検出処理は、必ずしも撮像画像１２が生成される度に実行される必要はなく、撮像画像１２が生成された後の任意のタイミングで行うことができる。

例えば検出部２０４０による検出処理は、バッチ処理で行われてもよい。具体的には、検出部２０４０は、記憶装置から、過去に生成された複数の撮像画像１２（例えば、ビデオカメラによって生成された動画を構成するフレーム列）を読み出し、各撮像画像１２の解析を行う。

＜変調光の照射：Ｓ１０４＞
制御部２０２０は、１つ以上の光源２４を制御して所定の変調光を照射させる（Ｓ１０４）。照射装置２０から照射される光の変調方法は様々である。以下、その変調方法について具体的に例示する。

＜＜変調方法の例１＞＞
例えば照射装置２０から照射される光は、カメラ１０の露光期間において、色が一定でなおかつ強さが変化するように変調される。光の色は、例えば白色である。

図６は、照射装置２０から照射される光を変調する変調信号を例示する図である。ここで、ts はカメラ１０の露光期間の開始時点であり、te はカメラ１０の露光期間の終了時点である。図６（ａ）の変調光は、カメラ１０の露光期間内に３つの山を持つ矩形波である。一方、図６（ｂ）の変調光は、カメラ１０の露光期間内に３つの山を持つ正弦波である。

図６の例では、各山の間隔が一定になっている。しかし、各山の間隔は一定でなくてもよい。図７は、図６の変調光において山の間隔を変更したケースを例示する図である。具体的には、図７では、１つ目と２つ目の山の間隔よりも、２つ目と３つ目の山の間隔の方が長くなっている。

ここで、変調光の色が一定の場合、図６のように変調光において強度の山の間隔が一定であると、移動体３０の移動方向を撮像画像１２から推測することが難しい。一方で、図７のように変調光において強度の山の間隔が一定でないと、移動体３０の移動方向を撮像画像１２から推測しやすい。以下、図を用いてその理由を説明する。

図８は、変調信号で変調された変調光が照射された移動体３０が撮像された撮像画像１２を例示する図である。図８（ａ）は、図６（ａ）の変調信号で変調された変調光を照射したケースである。一方、図８（ｂ）は、図７（ａ）の変調信号で変調された変調光を照射したケースである。ここで、移動体３０は立方体であり、正面から撮像されているとする。

図８（ａ）では、撮像画像１２に写っている３つの移動体３０の間隔が等間隔となっている。そのため、移動体３０の移動の始点と終点とを区別することが難しい。よって、移動体３０の移動方向が撮像画像１２の右方向と左方向のどちらなのかを見分けることが難しい。

一方図８（ｂ）では、移動体３０の移動方向は撮像画像１２における右方向であると推測できる。理由は以下の通りである。図８（ａ）の変調光では、１つ目と２つ目の山の間隔が２つ目と３つ目の山の間隔より短い。そのため、この変調光が照射された移動体３０が撮像された撮像画像１２では、１つ目の山に対応する移動体３０と２つ目の山に対応する移動体３０の間隔が、２つ目の山に対応する移動体３０と３つ目の山に対応する移動体３０の間隔よりも短くなると予想できる。そして図８（ｂ）では、移動体３０−１と移動体３０−２の間隔が、移動体３０−２と移動体３０−３の間隔よりも短くなっている。よって図８（ｂ）では、移動体３０の移動の始点と終点がそれぞれ移動体３０−１と移動体３０−３であることが分かり、移動方向は撮像画像１２の右方向であると推測できる。なお一般に、カメラ１０の露光期間は短い（例えば数ミリ秒から数十ミリ秒）ため、カメラ１０の露光期間における移動体３０の速度変化の影響は無視できると考えてよい。

なお前述したように、変調方法の例１における変調光は、カメラ１０の露光期間において色が一定である。このように色が一定の変調光は、１つの光源で実現されてもよいし、複数個の光源で実現されてもよい。後者の場合、例えばＲ光源、Ｇ光源、及びＢ光源それぞれから照射される光の強さが揃うように各光源を制御することで、照射装置２０から照射される光の色を常に白色にすることができる。

＜＜変調方法の例２＞＞
例えば照射装置２０から照射される光は、カメラ１０の露光期間において色が変化するように変調される。言い換えれば、照射装置２０から照射される光の波長が変調される。

図９は、照射装置２０から照射される光を変調する変調信号を例示する図である。この例において、照射装置２０は、Ｒ光源、Ｇ光源、及びＢ光源の３つを有する。そして照射装置２０は、時点 t1 から t1+d までＲ光源から光を照射し、時点 t2 から t2+d までＧ光源から光を照射し、時点 t3 から t3+d までＢ光源から光を照射する。なお、ts < t1 かつ t3+d < te である。

図１０は、移動体３０が撮像された撮像画像１２を例示する図である。移動体３０は立方体であり、正面から撮像されているとする。撮像画像１２には、赤色の光が照射された移動体３０−１、緑色の光が照射された移動体３０−２、及び青色の光が照射された移動体３０−３がそれぞれ写っている。なお、図示の都合上、赤色をドット、緑色を格子、青色を斜線で表している。

なお、各光源についての変調信号は、矩形波には限定されず、例えば正弦波であってもよい。この場合、撮像画像１２には、変調光に起因する移動体３０の模様（移動体３０の動きボケ（motion blur））が写る。移動体３０の動きボケは、移動体３０が移動しつつその色が次第に変化する様子を表している。

変調光の強度の山の間隔は、一定であってもよいし一定でなくてもよい。ただし、変調光の色が変化するため、変調光の強度の山の間隔が一定であったとしても、撮像画像１２から移動体３０の移動方向を推測することは容易である。なぜなら、撮像画像１２に写っている移動体３０の色が異なるためである。例えば図１０の撮像画像１２において、移動体３０は、赤色の光が照射された移動体３０−１、緑色の光が照射された移動体３０−２、青色の光が照射された移動体３０−３の順に移動していることが分かる。

なお、露光期間内の或る時点における変調光の色は、カメラ１０のイメージセンサの受光素子が受光する光の色であることが好ましい。例えば一般的に、イメージセンサで生成される画像の各画素の色は、赤色の光を受光する受光素子、緑色の光を受光する受光素子、及び青色の光を受光する受光素子それぞれによって受光された光の強さで表される。この場合、露光期間内のそれぞれ異なる時点において、変調光の色は、赤色、緑色、及び青色となることが好ましい。

複数色の光源から光が照射される期間には、重なりがあってもよい。以下の数式（１）は、Ｒ光源、Ｇ光源、及びＢ光源それぞれから光が照射される期間に重なりがある変調信号の一例である。

R(t)、G(t)、B(t) はそれぞれ、Ｒ光源、Ｇ光源、Ｂ光源から時点 t に照射される光の強度を表す。T は正弦波の周期を表す。例えば周期 T にはカメラ１０の露光期間と同じ値を設定する。

＜撮像画像１２の取得：Ｓ１０６＞
検出部２０４０は、カメラ１０によって生成された撮像画像１２を取得する。検出部２０４０が撮像画像１２を取得する方法は任意である。例えば検出部２０４０は、カメラ１０から送信される撮像画像１２を受信する。また例えば、検出部２０４０は、カメラ１０にアクセスし、カメラ１０に記憶されている撮像画像１２を取得する。カメラ１０は、カメラ１０の外部に設けられている記憶装置に撮像画像１２を記憶してもよい。この場合、検出部２０４０は、この記憶装置にアクセスして撮像画像１２を取得してもよい。

検出部２０４０は、撮像画像１２をリアルタイムで取得してもよいし、撮像画像１２が生成されてからしばらく後に撮像画像１２を取得してもよい。後者の場合、例えば検出部２０４０は、撮像画像１２の解析をバッチ処理で行う。

＜移動体３０の検出：Ｓ１０８＞
例えば検出部２０４０は、撮像画像１２から移動体３０の複数の位置を検出する（Ｓ１０８）。ここで、撮像画像１２から移動体３０の複数の位置を検出する方法には様々な方法がある。以下では、その検出方法についていくつか例示する。

＜＜テンプレートマッチング（１）＞＞
例えば検出部２０４０は、変調光が照射された移動体３０を表すテンプレート画像を利用して、撮像画像１２から移動体３０の位置を検出する。この例におけるテンプレート画像は、或る１時点における移動体３０の様子を表すものであるとする。なお、テンプレートマッチングを利用する場合、移動体３０の形状と色が既知であるとする。

露光期間に変調光の色が変化しない場合、変調光が照射された移動体３０を表すテンプレート画像を１つ生成しておく。図１１は、色が変化しない変調光が照射された移動体３０を表すテンプレート画像を例示する図である。この例において、変調光の色は白である。また、移動体３０は白色の立方体である。

検出部２０４０は、このテンプレート画像１４にマッチする領域を撮像画像１２から複数検出する。これにより、露光期間内における複数の異なる時点それぞれについて、移動体３０の位置が検出される。

図１２は、図１１のテンプレート画像を用いたテンプレートマッチングを説明するための図である。図１２（ａ）は変調信号を表しており、図１２（ｂ）は撮像画像１２を表している。検出部２０４０は、この撮像画像１２から、図１１のテンプレート画像１４にマッチする領域を検出する。その結果、領域１６−１から領域１６−３が検出される。

検出部２０４０は、これら複数の領域１６それぞれの位置を、それぞれ異なる時点における移動体３０の位置として検出する。より具体的には、図１２（ａ）の変調信号及び各領域１６の位置関係から、検出部２０４０は、時点 t1、t2、及び t3 における移動体３０の位置としてそれぞれ、領域１６−１の位置、領域１６−２の位置、及び領域１６−３の位置を検出する。

なお、対象の画像からテンプレート画像にマッチする領域を検出する技術自体には、既存の技術を利用することができる。

露光期間内に変調光の色が変化する場合、異なる複数の時点それぞれにおける変調光が照射された移動体３０を表すテンプレート画像１４をそれぞれ生成しておく。図１３は、複数の時点それぞれにおける移動体３０を表すテンプレート画像を例示する図である。この例における変調光は、図９の例と同様に、Ｒ光源、Ｇ光源、及びＢ光源からそれぞれ異なるタイミングで照射される光によって構成されているとする。そこで、赤色の光が照射された時点の移動体３０を表すテンプレート画像１４−１、緑色の光が照射された時点の移動体３０を表すテンプレート画像１４−２、及び青色の光が照射された時点の移動体３０を表すテンプレート画像１４−２がそれぞれ生成される。なお、図示の都合上、赤色をドット、緑色を格子、青色を斜線で表している。

検出部２０４０は、複数のテンプレート画像１４それぞれにマッチする領域を撮像画像１２から検出する。これにより、露光期間内における複数の異なる時点それぞれについて、移動体３０の位置が検出される。

図１４は、図１３のテンプレート画像を用いたテンプレートマッチングを説明するための図である。図１４（ａ）は変調信号を表しており、図１４（ｂ）は撮像画像１２を表している。検出部２０４０は、この撮像画像１２から、図１３の各テンプレート画像１４にマッチする領域を検出する。その結果、領域１６−１から領域１６−３が検出される。

検出部２０４０は、これら複数の領域１６それぞれの位置を、それぞれ異なる時点における移動体３０の位置として検出する。より具体的には、図１４（ａ）の変調信号から、検出部２０４０は、時点 t1、t2、及び t3 における移動体３０の位置としてそれぞれ、領域１６−１の位置、領域１６−２の位置、及び領域１６−３の位置を検出する。

＜＜テンプレートマッチング（２）＞＞
例えば検出部２０４０は、照射装置２０から変調光が照射されている期間の移動体３０の動きボケを表すテンプレート画像を利用したテンプレートマッチングを行うことで、撮像画像１２から移動体３０の位置を検出する。

図１５は、照射装置２０から変調光が照射されている期間の移動体３０の動きボケを表すテンプレート画像１４について説明するための図である。図１５（ａ）は変調信号を表し、図１５（ｂ）は移動体３０の動きボケを表すテンプレート画像１４を表す。この例において、移動体３０は長さ a の立方体である。

ここで、移動体３０の動きボケは移動体３０の移動速度に依存する。そのため、テンプレート画像１４は、移動体３０の移動速度に基づいて生成される。なお、図１５の例において、移動体３０の移動速度は v である。また、現実の長さと撮像画像１２上の長さとの比率は p である。

変調信号の１つ目の山の時点と露光期間の開始時点との差は t1-ts である。よって、この間に移動体３０は (t1-ts)*v 移動する。そこで検出部２０４０は、テンプレート画像１４の左端と変調信号の１つ目の山に対応する移動体３０の位置の距離を (t1-ts)*v*p にする。

同様に、検出部２０４０は、変調信号の２つ目の山に対応する移動体３０の位置と変調信号の１つ目の山に対応する移動体３０の位置の距離を (t2-t1)*v*p にする。また、検出部２０４０は、変調信号の３つ目の山に対応する移動体３０の位置と変調信号の２つ目の山に対応する移動体３０の位置の距離を (t3-t2)*v*p にする。さらに、検出部２０４０は、テンプレート画像１４の右端と変調信号の３つ目の山に対応する移動体３０の位置の距離を (te-t3)*v*p にする。

なお上述の p は、必ず時も現実の長さと撮像画像１２上の長さとの比率を正確に表す必要はなく、任意の実数とすることができる。

移動体３０の移動速度が既知であれば、その移動速度を用いてテンプレート画像１４を生成しておく。検出部２０４０は、このテンプレート画像１４を使ってテンプレートマッチングを行うことで、撮像画像１２からテンプレート画像１４にマッチする領域を検出する。そして、テンプレート画像１４にマッチした領域の位置に基づいて、撮像画像１２における移動体３０の複数の位置を検出する。

例えば検出部２０４０は、テンプレートマッチングで検出された領域の両端を、露光期間における移動体３０の始点と終点として検出する。その他にも例えば、検出部２０４０は、テンプレートマッチングで検出された領域から、変調光の強度が極大値をとる時点（図１５における t1、t2、及び t3）に相当する移動体３０の位置を検出する。

一方、移動体３０の移動速度が未知であるとする。この場合、検出部２０４０は、移動体３０の移動速度を複数パターン仮定し、各仮定の移動速度に応じた複数のテンプレート画像１４を生成する。例えば図１５の例では、移動速度 v に様々な値を当てはめたテンプレート画像１４が生成される。検出部２０４０は、これら複数のテンプレート画像１４それぞれを使って、テンプレート画像１４にマッチする領域を撮像画像１２から検出する。

上記検出の結果、複数のテンプレート画像１４それぞれについて、そのテンプレート画像１４との類似度が最も高い領域が撮像画像１２から検出される。検出部２０４０は、この検出結果に基づき、複数のテンプレート画像１４の中から、移動体３０の実際の動きボケを最もよく表しているテンプレート画像１４を特定する。

具体的には、検出部２０４０は、検出された領域とテンプレート画像１４との類似度を、テンプレート画像１４間で比較する。そして、検出部２０４０は、この類似度が最も高いテンプレート画像１４が、移動体３０の実際の動きボケを最もよく表しているテンプレート画像１４であると特定する。そして検出部２０４０は、移動体３０の実際の動きボケを最もよく表しているテンプレート画像１４を使って検出された領域から、移動体３０の複数の位置を検出する。

例えば、第１のテンプレート画像１４と第２のテンプレートという２つのテンプレート画像１４を利用したとする。また、第１のテンプレート画像１４との類似度が最も高い領域として領域 R1 が検出され、その類似度が s1 であるとする。さらに、第２のテンプレート画像１４との類似度が最も高い領域として領域 R2 が検出され、その類似度が s2 であるとする。この場合、検出部２０４０は、s1 と s2 の大小を比較する。s1>s2 の場合、検出部２０４０は、移動体３０の実際の動きボケを最もよく表しているテンプレート画像１４として、第１のテンプレート画像１４を特定する。一方、s1<s2 の場合、検出部２０４０は、移動体３０の実際の動きボケを最もよく表しているテンプレート画像として、第２のテンプレート画像１４を特定する。

このように移動体３０の動きボケを表すテンプレート画像１４を利用することには、様々な利点がある。第１に、移動体３０の動きボケを表すテンプレート画像１４を利用すれば、撮像画像１２において複数の時点における移動体３０の一部が重なり合ってしまう場合にも、テンプレート画像１４にマッチする領域を検出することができる。このような状況は、例えば、移動体３０の移動速度が遅い場合に発生する。

前述したように、移動体３０の動きボケを表すテンプレート画像１４を用いたテンプレートマッチングでは、移動体３０の移動速度を複数パターン仮定する。この際、仮定する移動体３０の移動速度の中に、移動体３０の一部が重なりあってしまうような移動速度も含めれば、移動体３０の一部が重なり合った様子を表すテンプレート画像１４が生成される。よって、移動体３０の一部が重なり合ってしまっても、テンプレートマッチングによって移動体３０の動きボケを検出することができる。

第２に、移動体３０の動きボケを表すテンプレート画像１４を利用すれば、撮像画像１２の背景（移動体３０以外の領域）に移動体３０と似た形状及び色を持つ模様が含まれる場合でも、テンプレート画像１４にマッチする領域を検出することができる。ただしこの場合、背景に含まれている移動体３０と似た形状の出現パターンと、変調信号における光の強度の山の出現パターンとを異ならせることが好適である。例えば背景において移動体３０と似た形状が等間隔に出現する場合、変調信号における光の強度の山の間隔を不均一にすることが好適である。このように背景に合わせて変調信号を適宜決定することで、誤検出の確率を低くすることができる。

＜＜直交検波法＞＞
例えば検出部２０４０は、直交検波法を用いて、撮像画像１２から移動体３０の位置を検出する。以下では説明のため、撮像画像１２や変調光などを定式化した後に、直交検波法を利用した移動体３０の検出について説明する。ただし、以下で示す定式化は一例であり、定式化の方法は以下の方法に限定されない。

＜＜＜定式化＞＞＞
まずカメラ１０が、移動体３０が存在せずなおかつ露光量 E を与えた状態で移動体３０の背景を撮影したとする。この場合に生成される画像を背景画像 b とする。さらにカメラ１０が、同じ場所を、露光量 E を与えなおかつ露光期間の開始時点における位置に移動体３０が固定された状態で撮影したとする。この場合に生成される画像を静止画像 s とする。また、静止画像 s の中から移動体３０のみを抽出する二値マスク画像を m とする。

このようにおくと、s において移動体３０以外の領域を透明に変換した画像（以下、物体画像 o ）は、以下の数式（２）を用いて求められる。

また露光量 E は、次の数式（３）を用いて求められる。

L(t) は、時点 t における変調光の強さを表す。T は露光期間の長さを表す。

以上の定義から、画像平面上を一定速度 v で移動する移動体３０に対して変調光を照射して撮像した結果得られる画像（以下、変調画像 g）は、以下の数式（４）で表すことができる。簡単化のため、画像はいずれもグレースケール画像であるとする。

g(p) は、変調画像 g の座標 p 上における画素値を表す。具体的には、画素値は０以上１以下の値であり、画素値１が白を表し、画素値０が黒を表すとする。

ここで簡単化のため、x 軸上の１次元画像を考える。背景画像 b が黒い画像であるとすると、背景画像 b は以下の数式（５）で表される。

また、移動体３０が長さ 2l の白い物体であるとする。この場合、物体画像 o は以下の数式（６）で表される。

そして、上記背景画像 b の前を上記移動体３０が x 軸正方向に速度 v =l/T で移動すると、変調画像 g は以下の数式（７）で表される。変調画像 g には、変調光に起因する移動体３０の動きボケが現れる。

例えば、変調光の強さ L(t) が一定の値 E/T であるとする。この場合、数式（７）を更に簡単化して以下の数式（８）を得ることができる。この数式（８）から、典型的な動きボケである線形グラデーションが現れることが分かる。

その他にも例えば、変調光の強さが通信でよく利用される正弦波に基づく変調方式で変調されるとする。より具体的には、時点 t における変調光の強さ L(t) が、以下の数式（９）で表されるとする。

すると、数式（７）及び（９）に基づき、変調画像 g は領域 0≦x≦l について以下の数式（１０）で表される。

上記数式（１０）から、変調画像 g における移動体３０の動きボケは、変調光の変調周波数に対応する正弦波成分（以下、正弦波変調成分）、及び線形成分の合成信号となっていることが分かる。ここで上述の例では、背景が黒一色である仮定を置いている。背景が黒一色でない場合、変調画像 g における移動体３０の動きボケは、正弦波変調成分、線形成分、及び背景成分の合成信号となる。

＜＜＜直交検波法を利用した検出＞＞＞
前述したように、変調画像 g における移動体３０の動きボケは、正弦波変調成分、線形成分、及び背景成分の合成信号となる。よって、変調画像 g を表す撮像画像１２に含まれるこれら３つの成分の中から正弦波変調成分を取り出すことで、撮像画像１２に写っている移動体３０を検出することができる。

このように合成信号の中から所望の１つの信号を取り出すという問題は、混信して飛び交っている電波の中から特定の信号（例えば所望の放送局の信号）を検波する方法と同様に解くことができる。その方法の一つとして、直交検波法を利用することができる。

直交検波法を利用する場合、例えば検出部２０４０は、撮像画像１２、変調信号、及び移動体３０の移動速度を用いて、直交する２つの空間検波信号を生成する。具体的には、検出部２０４０は、撮像画像１２から得られる第１の空間検波信号と、変調信号から得られる第２の空間検波信号を生成する。各空間検波信号の生成方法については後述する。

さらに検出部２０４０は、これら２つの空間検波信号を混合（畳み込み積分）することにより、撮像画像１２の各領域における正弦波変調成分の強さを算出する。そして検出部２０４０は、正弦波変調成分が最も強い領域を、移動体３０の動きボケを表す領域として検出する。露光期間における移動体３０の複数の位置は、移動体３０の動きボケを表す領域から検出することができる。なお、移動体３０の動きボケを表す領域から移動体３０の複数の位置を検出する方法については、移動体３０の動きボケを表すテンプレート画像を利用したテンプレートマッチングのケースと同様の方法を利用できる。

ここで、撮像画像１２から得られる信号は位置の関数であるのに対し、変調信号は時間の関数であるため、これらを関連づけるために移動体３０の移動速度を利用する。具体的には、検出部２０４０は、移動体３０の速度及び撮像画像１２を用い、第１の空間検波信号を時間の関数として生成する。移動体３０の移動速度が既知であれば、その移動速度を用いて第１の空間検波信号を生成しておく。一方、移動体３０の移動速度が未知である場合、検出部２０４０は、移動体３０の移動速度を複数パターン仮定し、各仮定の移動速度に応じて第１の空間検波信号を生成する。

検出部２０４０は、これら複数の移動速度それぞれについて生成された第１の空間検波信号を第２の空間検波信号と混合することで、撮像画像１２の各領域における正弦波変調成分の強さを算出する。その結果、各移動速度それぞれについて生成された第１の空間検波信号ごとに、正弦波変調成分が最も強い領域が検出される。そして検出部２０４０は、検出された複数の領域のうち、正弦波変調成分が最も強い領域を、移動体３０の動きボケを表す領域として検出する。

直交検波法を利用する方法には、撮像画像１２の中で背景領域が支配的な場合（背景の明るさに対して変調光が弱い場合）であっても、移動体３０の動きボケを検出しやすいという利点がある。

以下、空間検波信号の生成方法を、空間検波信号を使って動きボケを検出する原理と共に説明する。まず、変調信号が以下の数式（１１）で定義されるとする。この例では、光源２４がＲ光源、Ｇ光源、及びＢ光源の３つの光源で構成されている。

R(t)、G(t)、及び B(t) はそれぞれＲ光源、Ｇ光源、及びＢ光源を制御する変調信号である。Fr、Fg、及び Fb はそれぞれ、Ｒ光源、Ｇ光源、及びＢ光源から照射される光の周波数である。

図１６は、数式（１１）で表される変調信号のグラフを例示する図である。Ｘ軸は時間を表しＹ軸は信号の強さを表す。図１６において、Fr、Fg、Fb はそれぞれ 5 である。また、露光時間 T を 100 としている。

図１７は、数式（１１）で表される変調光が照射された移動体３０が撮像された撮像画像１２を例示する図である。図１７において、背景は黒色である。また、移動体３０は白色である。なお図示の都合上、黒色の濃さがドットの密度で表されている。図１７の線５０は、移動体３０の左端の点６０の軌跡を表している。

ここで、線５０の位置 x における赤色、緑色、及び青色それぞれの色強度を Pr(x)、Pg(x)、及び Pb(x) とおく。図１８は、色強度 Pr(x)、Pg(x)、及び Pb(x) のグラフを例示する図である。Ｘ軸は、点６０の相対位置を表している。具体的には、この相対位置は、時点 t における位置を t とする相対位置である。Ｙ軸は色強度を表す。

また、数式（１１）の変調信号を積分して直流成分を除去することで得られる原始関数を算出する。この原始関数は、下記数式（１２）のように表される。

Hr(t)、Hg(t)、及び Hb(t) はそれぞれ、R(t)、G(t)、及び B(t) から算出された原始関数を表す。

図１９は、数式（１２）の各原始関数のグラフを示す図である。Ｘ軸は時間を表し、Ｙ軸は信号の値を表す。

各色について図１８と図１９とを比較すると、色強度の分布と変調信号の原始関数の位相が一致している。このことから、撮像画像１２から得られる色強度の分布と変調信号の原始関数との相関係数を算出することによって、変調に起因する移動体３０の動きボケを検出することが可能であることが分かる。

ここで、撮像画像１２における色強度の分布は位置の関数であるのに対し、変調信号の原始関数は時間の関数である。そして、撮像画像１２における位置と、変調信号における時間は、移動体３０の移動速度によって対応づけられる。そのため前述したように、移動体３０の移動速度を直交検波に利用する。以下では、移動体３０の移動速度の大きさが v であり、移動方向が＋Ｘ方向であると仮定する。

一般に直交検波では、入力信号とローカル信号（２つの空間検波信号）を混合する。ここで、直交検波における入力信号は、直流成分や一次成分を含まないことが前提となる。そこでまず、検出部２０４０は、撮像画像１２における色強度の分布 Pr(x)、Pg(x)、及び Pb(x) から、これらの一次近似式を差し引くことで、直流成分及び一次成分が除去された信号 Qr(x)、Qg(x)、及び Qb(x) を算出する。一次近似式の算出には、例えば最小二乗法を利用できる。

検出部２０４０は、上記 Qr(x)、Qg(x)、及び Qb(x) を入力信号（第１の空間検波信号）として利用する。また、検出部２０４０は、前述した変調信号の原始関数 Hr(t)、Hg(t)、及び Hb(t) をローカル信号（第２の空間検波信号）として利用する。そして、検出部２０４０は、これらの２つの空間検波信号を用いて、以下の数式（１３）で表される畳み込み積分を算出する。

検出部２０４０は、上述の計算で得られた検出値 Dr(x)、Dg(x)、及び Db(x) を用いて、移動体３０の動きボケの位置を算出する。例えば検出部２０４０は、Dr(x) を赤色成分、Dg(x) を緑色成分、及び Db(x) を青色成分とする色の分布から、最も白色に近い色となる位置を特定し、その位置を移動体３０の動きボケの位置とする。なお前述の例では、移動体３０の左端の点６０の位置における色強度の分布を利用しているため、算出される位置は、移動体３０の動きボケの左端の位置となる。

その他にも例えば、検出部２０４０は、Dr(x)、Dg(x)、及び Db(x) の相加平均や相乗平均を算出し、算出された値が最大となる位置を特定し、その位置を移動体３０の動きボケの位置としてもよい。相加平均や相乗平均を利用することで、これらを利用しない場合と比較し、誤検出を減らすことができる。

また、誤検出を減らすためのさらなる工夫として、変調信号の生成方法を工夫する方法がある。具体的には、各色の変調信号が直交するようにすることで、誤検出を減らすことができる。例えば前述の例において Fr=Fg=Fb=5 に設定しているところを、Fr=2、Fg=3、Fb=5 に設定すれば、誤検出をさらに減らすことができる。

なお、上述の例では説明を簡単にするために黒色の背景を仮定しているが、一般的な背景は黒一色ではなく、位置によって色が異なる。そして、背景の輝度変化が大きい位置などでは、移動体３０の動きボケが誤検出される可能性もある。このような誤検出を減らす方法として、前述した検出値の SN 比（Signal-to-Noise ratio）を用いる方法がある。具体的には、以下の数式（１４）で表される Er(x)、Eg(x)、Eb(x) を検出値として用いる。以下の数式（１４）では、数式（１３）の各検出値を、入力信号のパワーで正規化している。

なお前述したように、移動体３０の移動速度が未知の場合もある。ここで、移動方向については、ベクトル分解によってＸ方向成分とＹ方向成分に分離することができる。そこで、例えば検出部２０４０は、Ｘ方向とＹ方向それぞれについて、１）様々な速度で検出を試み、Ｘ方向とＹ方向それぞれについて最も大きく検出された速度（例えば前述した検出値の平均値の最大値が最も大きくなった速度）を各点の速度成分として扱う。そして検出部２０４０は、２）上記各速度成分をベクトル合成することにより、任意の方向に対する移動体３０の移動速度を検出することができる。

＜移動体３０の位置の利用方法＞
１つの撮像画像１２から検出された移動体３０の複数の位置は、例えば、移動体３０のオプティカルフローの算出に利用できる。図２０は、移動体３０のオプティカルフローを算出する機能を有する情報処理システム２０００を例示する図である。オプティカルフロー算出部２０６０は、検出部２０４０によって１つの撮像画像１２から検出された移動体３０の２つ以上の位置（例えば始点と終点）を用いて、移動体３０のオプティカルフローを算出する。

情報処理システム２０００を利用することにより、１つの撮像画像から複数の時点それぞれにおける移動体３０の位置を検出できるため、１つの撮像画像から移動体３０のオプティカルフローを算出できる。よって、複数の撮像画像を使わなければ移動体３０のオプティカルフローを算出できないケースと比較し、移動体３０のオプティカルフローの算出に要する時間が短くなる。そのため、例えばビデオカメラによって順次生成される撮像画像１２をリアルタイムで解析して移動体３０のオプティカルフローを算出し、算出したオプティカルフローを用いて画像フィードバック制御を行う際に、遅延時間を短くすることができる。なお、複数の時点における或る物体の位置を使ってその物体の移動速度を算出する技術自体には、既存の技術を利用できる。

その他にも例えば、１つの撮像画像１２から検出された移動体３０の複数の位置は、移動体３０の移動速度の算出に利用できる。図２１は、移動体３０の移動速度を算出する機能を有する情報処理システム２０００を例示する図である。速度算出部２０８０は、検出部２０４０によって１つの撮像画像１２から検出された移動体３０の２つ以上の位置（例えば始点と終点）を用いて、移動体３０の移動速度を算出する。

移動体３０のオプティカルフローと同様に、移動体３０の移動速度も、１つの撮像画像から算出できる。よって、複数の撮像画像を使わなければ移動体３０の移動速度を算出できないケースと比較し、移動体３０の移動速度の算出に要する時間が短くなる。そのため、例えば移動体３０の移動速度を算出して画像フィードバック制御を行う際の遅延時間を短くすることができる。なお、複数の時点における或る物体の位置を使ってその物体の移動速度を算出する技術自体には、既存の技術を利用できる。

その他にも例えば、１つの撮像画像１２から検出された移動体３０の複数の位置は、移動体３０の加速度の算出に利用できる。図２２は、移動体３０の加速度を算出する機能を有する情報処理システム２０００を例示する図である。加速度算出部２１００は、検出部２０４０によって１つの撮像画像１２から検出された移動体３０の３つ以上の位置を用いて、移動体３０の加速度を算出する。

移動体３０のオプティカルフローや移動速度と同様に、移動体３０の加速度も、１つの撮像画像から算出できる。よって、複数の撮像画像を使わなければ移動体３０の加速度を算出できないケースと比較し、移動体３０の加速度の算出に要する時間が短くなる。そのため、例えば移動体３０の加速度を算出して画像フィードバック制御を行う際の遅延時間を短くすることができる。なお、３つ以上の時点における或る物体の位置を使ってその物体の加速度を算出する技術自体には、既存の技術を利用できる。

なお、制御装置３０００と検出装置４０００によって情報処理システム２０００を実現する場合、例えばオプティカルフロー算出部２０６０、速度算出部２０８０、及び加速度算出部２１００はいずれも、検出装置４０００に含まれる。ただし、オプティカルフロー算出部２０６０、速度算出部２０８０、及び加速度算出部２１００は、制御装置３０００や検出装置４０００とは別の装置によって実現されてもよい。この装置は、検出装置４０００から、検出装置４０００によって検出された移動体３０の複数の位置を取得して利用する。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

以下、参考形態の例を付記する。
１． 撮像装置における１つの露光期間内に、所定の方法で変調した変調光を照射装置から照射させる制御手段と、
前記露光期間における露光の結果として前記撮像装置によって生成される撮像画像から、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する検出手段と、を有する情報処理システム。
２． １つの前記撮像画像から検出された前記移動体の２つ以上の位置を用いて前記移動体のオプティカルフロー又は移動速度を算出する第１算出手段を有する、１．に記載の情報処理システム。
３． １つの前記撮像画像から検出された前記移動体の３つ以上の位置を用いて前記移動体の加速度を算出する第２算出手段を有する、１．又は２．に記載の情報処理システム。
４． 前記変調光の強度の時間変化を表す波は、前記露光期間内に複数個の山を持つ、１．乃至３．いずれか一つに記載の情報処理システム。
５． 前記変調光は、前記露光期間内の異なる複数の時点においてそれぞれ異なる色の光であり、
前記検出手段は、前記撮像画像から、それぞれ異なる色で撮像されている前記移動体の各位置を検出する、１．乃至４．いずれか一つに記載の情報処理システム。
６． 前記変調光は、前記露光期間内の異なる３つの時点において、赤色成分、緑色成分、及び青色成分の内の最も強い成分がそれぞれ異なる、５．に記載の情報処理システム。
７． 前記変調光は、時間領域の正の方向において、第１の色の光、前記第１の色と第２の色が混合された色の光、及び前記第２の色の光を順に含む、５．又は６．に記載の情報処理システム。
８． 前記検出手段は、前記変調光の生成に利用される変調信号及び前記移動体の速度に基づいて、前記露光期間内において前記変調光が照射された前記移動体の動きブレを表すテンプレート画像を生成し、前記撮像画像から前記テンプレート画像との類似度合いが高い領域を検出することで、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する、１．乃至７．いずれか一つに記載の情報処理システム。
９． 前記検出手段は、前記変調光の生成に利用される変調信号及び前記移動体の速度に基づいて、前記変調信号の正弦波成分に対応する空間検波信号を生成し、前記空間検波信号を用いた直交検波法により、前記撮像画像を表す画像信号の中から、前記変調信号の正弦波成分が最も強く含まれる領域を検出し、前記検出された領域を用いて、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する、１．乃至７．いずれか一つに記載の情報処理システム。
１０． 前記撮像装置のイメージセンサは、CCD（Charge-Coupled Device）センサである、１．乃至９．いずれか一つに記載の情報処理システム。
１１． 前記撮像画像の１つの画素の色は、少なくとも、前記撮像装置のイメージセンサが有する第１の受光素子及び第２の受光素子それぞれによって受光された光の強さに基づいて定められ、
前記イメージセンサは、前記第１の受光素子が第１の色の光を受光し、なおかつ前記第２の受光素子は第２の色の光を受光するように構成されており、
前記変調光の色は、前記露光期間内の第１の時点において第１の色であり、前記露光期間内の第２の時点において第２の色の光である、１．乃至１０．いずれか一つに記載の情報処理システム。

１２． 撮像装置における１つの露光期間内に、所定の方法で変調した変調光を照射装置から照射させる制御手段を有する制御装置。

１３． 撮像装置における１つの露光期間における露光の結果として撮像装置によって生成される撮像画像から、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する検出手段を有する検出装置。

１４． １つ以上のコンピュータによって実行される情報処理方法であって、
撮像装置における１つの露光期間内に、所定の方法で変調した変調光を照射装置から照射させる制御ステップと、
前記露光期間における露光の結果として前記撮像装置によって生成される撮像画像から、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する検出ステップと、を有する情報処理方法。
１５． １つの前記撮像画像から検出された前記移動体の２つ以上の位置を用いて前記移動体のオプティカルフロー又は移動速度を算出する第１算出ステップを有する、１４．に記載の情報処理方法。
１６． １つの前記撮像画像から検出された前記移動体の３つ以上の位置を用いて前記移動体の加速度を算出する第２算出ステップを有する、１４．又は１５．に記載の情報処理方法。
１７． 前記変調光の強度の時間変化を表す波は、前記露光期間内に複数個の山を持つ、１４．乃至１６．いずれか一つに記載の情報処理方法。
１８． 前記変調光は、前記露光期間内の異なる複数の時点においてそれぞれ異なる色の光であり、
前記検出ステップにおいて、前記撮像画像から、それぞれ異なる色で撮像されている前記移動体の各位置を検出する、１４．乃至１７．いずれか一つに記載の情報処理方法。
１９． 前記変調光は、前記露光期間内の異なる３つの時点において、赤色成分、緑色成分、及び青色成分の内の最も強い成分がそれぞれ異なる、１８．に記載の情報処理方法。
２０． 前記変調光は、時間領域の正の方向において、第１の色の光、前記第１の色と第２の色が混合された色の光、及び前記第２の色の光を順に含む、１８．又は１９．に記載の情報処理方法。
２１． 前記検出ステップにおいて、前記変調光の生成に利用される変調信号及び前記移動体の速度に基づいて、前記露光期間内において前記変調光が照射された前記移動体の動きブレを表すテンプレート画像を生成し、前記撮像画像から前記テンプレート画像との類似度合いが高い領域を検出することで、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する、１４．乃至２０．いずれか一つに記載の情報処理方法。
２２． 前記検出ステップにおいて、前記変調光の生成に利用される変調信号及び前記移動体の速度に基づいて、前記変調信号の正弦波成分に対応する空間検波信号を生成し、前記空間検波信号を用いた直交検波法により、前記撮像画像を表す画像信号の中から、前記変調信号の正弦波成分が最も強く含まれる領域を検出し、前記検出された領域を用いて、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する、１４．乃至２０．いずれか一つに記載の情報処理方法。
２３． 前記撮像装置のイメージセンサは、CCD（Charge-Coupled Device）センサである、１４．乃至２２．いずれか一つに記載の情報処理方法。
２４． 前記撮像画像の１つの画素の色は、少なくとも、前記撮像装置のイメージセンサが有する第１の受光素子及び第２の受光素子それぞれによって受光された光の強さに基づいて定められ、
前記イメージセンサは、前記第１の受光素子が第１の色の光を受光し、なおかつ前記第２の受光素子は第２の色の光を受光するように構成されており、
前記変調光の色は、前記露光期間内の第１の時点において第１の色であり、前記露光期間内の第２の時点において第２の色の光である、１４．乃至２３．いずれか一つに記載の情報処理方法。

２５． コンピュータによって実行される制御方法であって、
撮像装置における１つの露光期間内に、所定の方法で変調した変調光を照射装置から照射させる制御ステップを有する制御方法。

２６． コンピュータによって実行される検出方法であって、
撮像装置における１つの露光期間における露光の結果として撮像装置によって生成される撮像画像から、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する検出ステップを有する検出方法。

２７． コンピュータに２５．に記載の制御方法の各ステップを実行させるプログラム。

２８． コンピュータに２６．に記載の検出方法の各ステップを実行させるプログラム。

１０ カメラ
１２ 撮像画像
１４ テンプレート画像
１６ 領域
２０ 照射装置
２４ 光源
３０ 移動体
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
１５００ FPGA ボード
１５２０ バス
１５４０ FPGA
１５６０ メモリ
１５８０ ストレージデバイス
１６００ 入出力インタフェース
２０００ 情報処理システム
２０２０ 制御部
２０４０ 検出部
２０６０ オプティカルフロー算出部
２０８０ 速度算出部
２１００ 加速度算出部
３０００ 制御装置
４０００ 検出装置

Claims (18)

1. 撮像装置における１つの露光期間内に、所定の方法で変調した変調光を照射装置から照射させる制御手段と、
   前記露光期間における露光の結果として前記撮像装置によって生成される撮像画像から、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する検出手段と、を有する情報処理システム。
2. １つの前記撮像画像から検出された前記移動体の２つ以上の位置を用いて前記移動体のオプティカルフロー又は移動速度を算出する第１算出手段を有する、請求項１に記載の情報処理システム。
3. １つの前記撮像画像から検出された前記移動体の３つ以上の位置を用いて前記移動体の加速度を算出する第２算出手段を有する、請求項１又は２に記載の情報処理システム。
4. 前記変調光の強度の時間変化を表す波は、前記露光期間内に複数個の山を持つ、請求項１乃至３いずれか一項に記載の情報処理システム。
5. 前記変調光は、前記露光期間内の異なる複数の時点においてそれぞれ異なる色の光であり、
   前記検出手段は、前記撮像画像から、それぞれ異なる色で撮像されている前記移動体の各位置を検出する、請求項１乃至４いずれか一項に記載の情報処理システム。
6. 前記変調光は、前記露光期間内の異なる３つの時点において、赤色成分、緑色成分、及び青色成分の内の最も強い成分がそれぞれ異なる、請求項５に記載の情報処理システム。
7. 前記変調光は、時間領域の正の方向において、第１の色の光、前記第１の色と第２の色が混合された色の光、及び前記第２の色の光を順に含む、請求項５又は６に記載の情報処理システム。
8. 前記検出手段は、前記変調光の生成に利用される変調信号及び前記移動体の速度に基づいて、前記露光期間内において前記変調光が照射された前記移動体の動きブレを表すテンプレート画像を生成し、前記撮像画像から前記テンプレート画像との類似度合いが高い領域を検出することで、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する、請求項１乃至７いずれか一項に記載の情報処理システム。
9. 前記検出手段は、前記変調光の生成に利用される変調信号及び前記移動体の速度に基づいて、前記変調信号の正弦波成分に対応する空間検波信号を生成し、前記空間検波信号を用いた直交検波法により、前記撮像画像を表す画像信号の中から、前記変調信号の正弦波成分が最も強く含まれる領域を検出し、前記検出された領域を用いて、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する、請求項１乃至７いずれか一項に記載の情報処理システム。
10. 前記撮像装置のイメージセンサは、CCD（Charge-Coupled Device）センサである、請求項１乃至９いずれか一項に記載の情報処理システム。
11. 前記撮像画像の１つの画素の色は、少なくとも、前記撮像装置のイメージセンサが有する第１の受光素子及び第２の受光素子それぞれによって受光された光の強さに基づいて定められ、
    前記イメージセンサは、前記第１の受光素子が第１の色の光を受光し、なおかつ前記第２の受光素子は第２の色の光を受光するように構成されており、
    前記変調光の色は、前記露光期間内の第１の時点において第１の色であり、前記露光期間内の第２の時点において第２の色の光である、請求項１乃至１０いずれか一項に記載の情報処理システム。
12. 撮像装置における１つの露光期間内に、所定の方法で変調した変調光を照射装置から照射させる制御手段を有する制御装置。
13. 撮像装置における１つの露光期間における露光の結果として撮像装置によって生成される撮像画像から、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する検出手段を有する検出装置。
14. １つ以上のコンピュータによって実行される情報処理方法であって、
    撮像装置における１つの露光期間内に、所定の方法で変調した変調光を照射装置から照射させる制御ステップと、
    前記露光期間における露光の結果として前記撮像装置によって生成される撮像画像から、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する検出ステップと、を有する情報処理方法。
15. コンピュータによって実行される制御方法であって、
    撮像装置における１つの露光期間内に、所定の方法で変調した変調光を照射装置から照射させる制御ステップを有する制御方法。
16. コンピュータによって実行される検出方法であって、
    撮像装置における１つの露光期間における露光の結果として撮像装置によって生成される撮像画像から、前記露光期間内に含まれる異なる複数の時点それぞれにおける移動体の各位置を検出する検出ステップを有する検出方法。
17. コンピュータに請求項１５に記載の制御方法の各ステップを実行させるプログラム。
18. コンピュータに請求項１６に記載の検出方法の各ステップを実行させるプログラム。

Images