JP2012124740A

JP2012124740A - 撮像システム、及び対象物の位置特定方法

Info

Publication number: JP2012124740A
Application number: JP2010274403A
Authority: JP
Inventors: Toru Murase; 亨村瀬; Shigenori Takagishi; 成典高岸; Masatoshi Nakajima; 正敏中島
Original assignee: KAIKU KK; Sumitomo Electric Industries Ltd
Current assignee: KAIKU KK; Sumitomo Electric Industries Ltd
Priority date: 2010-12-09
Filing date: 2010-12-09
Publication date: 2012-06-28

Abstract

【課題】複数の撮像装置によって撮像された複数の画像を、特定の伝送規格に限定されることなく、かつ簡易に同期させる。
【解決手段】撮像システム１は、対象物４０を撮像するカメラ２０Ａ，２０Ｂと制御装置１０と画像処理装置３０とを備え、制御装置１０は、撮像命令と当該撮像命令に対応する時刻情報とをカメラ２０Ａ，２０Ｂに送信する無線通信部１２を有し、カメラ２０Ａ，２０Ｂの各々は、撮像命令及び時刻情報を受信する時刻受信部２２と、撮像命令により撮像する撮像部２３と、撮像された画像に当該撮像命令に対応する時刻情報を付加する付加部２４と、当該画像を画像処理装置３０に送信する画像データ送信部２５とを有し、画像処理装置３０は、時刻情報が付加された画像を受信する画像データ受信部３１と、同一の時刻情報が付加された複数の画像を基に、対象物４０の位置を特定する位置特定部３２と、を有する。
【選択図】図１

Description

本発明は、撮像システム、及び対象物の位置特定方法に関する。

所定エリア内に所在する対象物を２台のカメラによって異なる方向から撮像し、両カメラの位置関係と、各カメラの撮像画像内に含まれている対象物の位置関係とに基づいて、上記所定エリア内における当該対象物の位置を特定するステレオカメラが実用化されている。特に、２台のカメラを用いて行われる両眼視差を用いた画像処理は、人間の視覚に備わっている機能と同質のものであるため、人間の眼球を模した撮像システムを開発することで、高精度の撮像システムを得ることができる。

下記特許文献１には、生物の眼球運動神経システムに基づいたバイオ型視覚及び視線制御システムが開示されている。この視線制御システムでは、衝動性眼球運動、滑動性眼球運動、前庭動眼反射、及び視機性反射運動などの人間の眼球運動を模した制御が行われている。

特許第３８６２０８７号公報

上記特許文献１の視線制御システムでは、両眼視差に用いる画像の撮像のために２台のカメラを用いている。そして、この２台のカメラにより対象物を撮像した画像を取得し、当該画像を用いて画像処理を行っている。この画像処理において、対象物が静止している場合は、２台のカメラが撮像した画像の撮像時刻に多少のずれがあっても、対象物の位置を特定することができる。しかしながら、対象物が動体であった場合は、２台のカメラが撮像した画像の撮像時刻にずれがあると、それぞれのカメラが撮像している対象物は別の位置にあることになり、誤った位置の特定を行ってしまうことになる。

このように、複数のカメラにより対象物の位置を特定するステレオカメラにおいては、複数の画像の同時性が要求される。この同時性を実現するにあたって、対象物を撮像するカメラの制御にＩＥＥＥ１３９４によるアイソクロナス通信を用いる方法や、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）によるＲＴＰ（Realtime Transport Protocol）を用いる方法などがある。しかし、ＩＥＥＥ１３９４によるアイソクロナス通信を用いた方法は、同期したデータ通信を行うことができるが、機器間の制御タイミングの同期には適しておらず、カメラ制御を同期させることは簡単ではなかった。また、インタフェース規格が限定され、カメラ制御に用いるにはインタフェースの統一が必要であった。一方、ＴＣＰ／ＩＰによるＲＴＰを用いる方法は、タイムスタンプ情報によりデータの同期が可能であるが、タイムスタンプ情報を複数のカメラ間で常に校正しておく必要があった。また、撮像タイミングの制御そのものは別途行う必要があり、通信処理の負荷が大きいなどの問題点があった。

本発明は、かかる事情に鑑みて成されたものであり、複数の撮像装置によって撮像された複数の画像を、特定の伝送規格に限定されることなく、かつ簡易に同期させることが可能な撮像システム、及び対象物の位置特定方法を得ることを目的とする。

本発明の第１の態様に係る撮像システムは、対象物を異なる方向から撮像する複数の撮像装置と、前記複数の撮像装置を制御する制御装置と、前記複数の撮像装置によって撮像された画像を処理する画像処理装置と、を備え、前記制御装置は、撮像命令と、当該撮像命令に対応する時刻情報とを、前記複数の撮像装置に送信する送信手段を有し、前記複数の撮像装置の各々は、前記撮像命令及び前記時刻情報を、前記送信手段から受信する受信手段と、前記撮像命令に基づいて撮像を行う撮像手段と、前記撮像命令に基づいて前記撮像手段が撮像した画像に、当該撮像命令に対応する前記時刻情報を付加する付加手段と、前記時刻情報が付加された画像を、前記画像処理装置に送信する画像送信手段と、を有し、前記画像処理装置は、前記時刻情報が付加された画像を、前記画像送信手段から受信する画像受信手段と、同一の前記時刻情報が付加された複数の画像に基づいて、前記対象物の位置を特定する位置特定手段と、を有することを特徴とする。

第１の態様に係る撮像システムによれば、制御装置の送信手段は、複数の撮像装置に対して、撮像命令及び当該撮像命令に対応した時刻情報を送信する。複数の撮像装置の各々が有する受信手段は、撮像命令及び当該撮像命令に対応した時刻情報を受信する。そして、この撮像命令に基づいて、撮像手段は画像の撮像を行う。さらに、付加手段は、撮像命令に基づいて撮像手段が撮像した画像に、当該撮像命令に対応する時刻情報を付加する。画像送信手段は、時刻情報が付加された画像を画像処理装置に対して送信する。画像処理装置の画像受信手段は、複数の撮像装置の各々から時刻情報が付加された画像を受信する。そして、位置特定手段は、同一の時刻情報が付加された複数の画像に基づいて、対象物の位置を特定する。よって、同一の撮像命令に基づいて複数の撮像装置の各々で撮像された画像には、同一の時刻情報が付加される。したがって、同一の時刻情報が付加された複数の画像を用いれば、画像データの伝送方式によらず当該複数の画像の同時性が担保されるので、同一の時刻情報が付加された画像に映っている対象物の視差を計算するなどして、対象物の位置を簡易に特定することが可能となる。

本発明の第２の態様に係る撮像システムは、第１の態様に係る撮像システムにおいて特に、前記付加手段は、前記撮像手段が撮像した画像の画像領域のうち、撮像範囲が他の撮像装置と重複しない領域内に、前記時刻情報を書き込むことを特徴とする。

第２の態様に係る撮像システムによれば、他の撮像装置と撮像範囲が重複しない領域の画像データは、対象物の位置の特定に用いることがない。よって、撮像範囲が重複しない領域に時刻情報を書き込むことで、対象物の位置の特定に影響することなく、画像に時刻情報を付加することが可能である。また、時刻情報を記憶する領域を画像データの記憶領域とは別に設ける必要がないので、既存の画像データの伝送方式を用いることが可能である。

本発明の第３の態様に係る撮像システムは、第１または第２の態様に係る撮像システムにおいて特に、前記送信手段は、前記撮像命令及び前記時刻情報を、前記複数の撮像装置に対して同時に無線送信することを特徴とする。

第３の態様に係る撮像システムによれば、送信手段は、撮像命令及び時刻情報を、複数の撮像装置に対して同時に無線送信する。従って、複数の撮像装置は、一方（又は一部）の無線通信のみを遅延させるという特殊な事情が生じない限り、送信手段から同時に送信された撮像命令を同時に受信し、同時に受信した撮像命令に基づいて対象物を同時に撮像する。その結果、送信手段から同時に送信された撮像命令に基づいて撮像された複数の画像に、当該撮像命令に対応する同一の時刻情報を付加することができる。

本発明の第４の態様に係る対象物の位置特定方法は、対象物を異なる方向から撮像する複数の撮像装置と、前記複数の撮像装置を制御する制御装置と、前記複数の撮像装置によって撮像された画像を処理する画像処理装置と、を備える撮像システムにおいて、前記対象物の位置を特定する位置特定方法であって、前記制御装置は、撮像命令と、当該撮像命令に対応する時刻情報とを、前記複数の撮像装置に送信し、前記複数の撮像装置の各々は、前記撮像命令及び前記時刻情報を、前記制御装置から受信し、前記撮像命令に基づいて撮像を行い、前記撮像命令に基づいて撮像した画像に、当該撮像命令に対応する前記時刻情報を付加し、前記時刻情報が付加された画像を、前記画像処理装置に送信し、前記画像処理装置は、前記時刻情報が付加された画像を、前記画像送信手段から受信し、同一の前記時刻情報が付加された複数の画像に基づいて、前記対象物の位置を特定することを特徴とする。

第４の態様に係る対象物の位置特定方法によれば、制御装置は複数の撮像装置に対して、撮像命令及び当該撮像命令に対応した時刻情報を送信する。複数の撮像装置の各々は、撮像命令及び当該撮像命令に対応した時刻情報を受信する。そして、この撮像命令に基づいて複数の撮像装置の各々は画像の撮像を行う。各撮像装置は撮像命令に基づいて撮像手段が撮像した画像に、当該撮像命令に対応する時刻情報を付加する。さらに各撮像装置は、時刻情報が付加された画像を画像処理装置に対して送信する。画像処理装置は、複数の撮像装置の各々から時刻情報が付加された画像を受信する。そして、画像処理装置は、同一の時刻情報が付加された複数の画像に基づいて、対象物の位置を特定する。よって、同一の撮像命令に基づいて複数の撮像装置の各々で撮像された画像には、同一の時刻情報が付加される。したがって、同一の時刻情報が付加された複数の画像を用いれば、画像データの伝送方式によらず当該複数の画像の同時性が担保されるので、同一の時刻情報が付加された画像に映っている対象物の視差を計算するなどして、対象物の位置を簡易に特定することが可能となる。

本発明によれば、複数の撮像装置によって撮像された複数の画像を、特定の伝送規格に限定されることなく、かつ簡易に同期させることが可能となる。

本発明の実施の形態に係る撮像システムの全体構成を概略的に示した図である。本発明の実施の形態に係るカメラの構成を概略的に示した図である。位置特定処理の処理手順を示すフローチャートである。無線通信部が送信する撮像命令信号のタイムチャート及び当該撮像命令信号のデータ構造を模式的に示した一例である。両眼視を行うカメラの位置関係を模式的に示した一例である。両眼視を行うカメラが撮像した画像の一例である。本発明の変形例に係る撮像システムの全体構成を概略的に示した図である。本発明の変形例に係る画像処理装置の構成を概略的に示した図である。本発明の変形例に係るカメラの構成を概略的に示した図である。

以下、本発明の実施の形態について、図面を用いて説明する。なお、異なる図面において同一の符号を付した要素は、同一または相応する要素を示すものとする。

図１は、本発明の実施の形態に係る撮像システム１の全体構成を概略的に示した図である。撮像システム１は、いわゆるステレオカメラシステムであり、所定の撮像エリア内に所在する対象物を複数のカメラ２０Ａ，２０Ｂによって異なる方向から撮像し、その撮像によって得られた複数の画像に基づいて、上記撮像エリア内における対象物の位置を特定する。撮像システム１は、制御装置１０、複数のカメラ２０Ａ，２０Ｂ、及び画像処理装置３０を備えて構成されている。制御装置１０は、撮像命令を生成する撮像命令生成部１３と、時刻情報を生成する時刻情報生成部１１と、無線通信部１２とを有して構成されている。撮像命令生成部１３の出力は時刻情報生成部１１及び無線通信部１２の入力に接続されており、時刻情報生成部１１の出力は無線通信部１２の入力に接続されている。無線通信部１２は、撮像命令生成部１３から入力された撮像命令と、時刻情報生成部１１から入力された時刻情報とを、無線信号Ｒ１としてカメラ２０Ａ，２０Ｂに対して無線送信する。また、画像処理装置３０は、画像データ受信部３１と位置特定部３２とを有して構成されている。画像データ受信部３１の出力は、位置特定部３２の入力に接続されている。

図２は、カメラ２０Ａの構成を概略的に示した図である。カメラ２０Ａは、無線通信部２１、時刻受信部２２、撮像部２３、付加部２４、画像データ送信部２５、時刻レジスタ２６、及び領域レジスタ２７を有して構成されている。無線通信部２１の出力は時刻受信部２２の入力に接続されている。時刻受信部２２の出力は撮像部２３及び時刻レジスタ２６の入力に接続されている。撮像部２３の出力は付加部２４の入力に接続されている。時刻レジスタ２６の出力は付加部２４の入力に接続されている。領域レジスタ２７の出力は付加部２４の入力に接続されている。付加部２４の出力は画像データ送信部２５の入力に接続されている。画像データ送信部２５の出力は画像処理部３０の画像データ受信部３１の入力に有線または無線で接続されている。無線通信部２１は無線信号Ｒ１を制御装置１０から受信する。また、カメラ２０Ｂは、カメラ２０Ａと同様の構成を有している。

撮像システム１は、カメラ２０Ａとカメラ２０Ｂとが異なる方向から撮像した複数の画像を同期させ、当該同期させた複数の画像から、所定の撮像エリア内に所在する対象物の位置を特定する位置特定処理を行う。図３は、位置特定処理の処理手順を示すフローチャートである。

まず、ステップＳＰ１００において、制御装置１０は、撮像命令と当該撮像命令に対応した時刻情報とを含んだ撮像命令信号を、カメラ２０Ａ，２０Ｂに対して送信する。具体的には、撮像命令生成部１３は、カメラ２０Ａ，２０Ｂに対して撮像を行わせる命令を含む撮像命令信号を生成し、撮像命令信号を信号Ｓ１２として時刻情報生成部１１及び無線通信部１２に向けて出力する。時刻情報生成部１１は、当該撮像命令信号に基づいて、当該撮像命令信号に対応した時刻情報である時刻情報データを生成し、当該時刻情報データを含んだ信号Ｓ１１を無線通信部１２に向けて出力する。そして、無線通信部１２は、入力された時刻情報データを当該時刻情報データの生成に用いられた撮像命令信号に加え、当該撮像命令信号を無線信号Ｒ１として、カメラ２０Ａ，２０Ｂに対して送信する。

図４は、無線通信部１２が送信する撮像命令信号のタイムチャート及び当該撮像命令信号のデータ構造を模式的に示した一例である。図４では、撮像命令信号が３３ｍ秒間隔で定期的に出力される例を示している。撮像命令信号は、アドレスデータ、撮像命令データ、及び時刻情報データからなるデータ構造を有する。アドレスデータは、位置特定処理において撮像を行うカメラのアドレス情報であり、撮像命令信号を受信するカメラを指定する信号である。本実施の形態においてアドレスデータは、カメラ２０Ａ及びカメラ２０Ｂを指定している。撮像命令データは、撮像命令生成部１３によって生成された撮像命令が有効か無効かを表すデータである（撮像命令信号において、撮像命令が有効である旨の撮像命令データを「ＯＮ」、撮像命令が無効である旨の撮像命令データを「ＯＦＦ」と称するものとする）。時刻情報データは、時刻生成部１１が生成した当該撮像命令信号に対応した時刻情報が格納されている。この時刻情報は撮像命令信号ごとに一意に決まる情報であり、撮像命令が行われたタイミングが区別できる範囲のカウンタ値であってもよい。また、時刻情報はカウンタ値に限らず、タイムスタンプのような撮像命令信号が生成された実時間の時刻であってもよい。

次に、図３を参照して、ステップＳＰ１１０において、カメラ２０Ａ及びカメラ２０Ｂは、撮像命令信号に含まれる撮像命令データが「ＯＮ」であるか否かを判定する。具体的には、制御装置１０の無線通信部１２が送信した無線信号Ｒ１は、カメラ２０Ａ及びカメラ２０Ｂの無線通信部２１が受信する。このとき、無線通信部２１は、受信した撮像命令信号に含まれるアドレスデータを確認し、当該カメラ２０Ａ，２０Ｂの各々を表すアドレスと撮像命令信号のアドレスデータとが一致すれば、当該撮像命令信号を、信号Ｓ４として時刻受信部２２に向けて出力する。そして、時刻受信部２２は、入力された撮像命令信号の撮像命令データが「ＯＮ」であるか否かを判定する。撮像命令データが「ＯＮ」であり、撮像命令が有効であった場合（つまり、ステップＳＰ１１０における判定結果が「ＹＥＳ」である場合）、時刻受信部２２は、撮像を行う旨の情報を含む信号Ｓ５を撮像部２３に向けて出力し、当該撮像命令信号の時刻情報データを含む信号Ｓ６を時刻レジスタ２６に向けて出力する。時刻レジスタ２６は、入力された時刻情報データを保持する。そして、カメラ２０Ａ及びカメラ２０Ｂは、後述のステップＳＰ１２０の動作を行う。また一方、撮像命令データが「ＯＦＦ」であり、撮像命令が無効であった場合（つまり、ステップＳＰ１１０における判定結果が「ＮＯ」である場合）、撮像システム１は、位置特定処理で用いる画像データを撮像する状態にないとして、位置特定処理を終了する。

ステップＳＰ１１０における判定結果が「ＹＥＳ」であり、撮像命令データが「ＯＮ」であった場合、撮像部２３は所定の撮像エリアの撮像を行う。図５は、カメラ２０Ａ及びカメラ２０Ｂの位置関係を模式的に示した一例である。図５においては、カメラ２０Ａは両眼視の左側のカメラであり、カメラ２０Ｂは両眼視の右側のカメラであって、カメラ２０Ａ，２０Ｂによって所定領域が両眼視されている。つまり、撮像システム１が、位置特定の対象である対象物４０の位置の特定を行うことができる所定領域とは、カメラ２０Ａ及びカメラ２０Ｂ各々の撮像領域が重複している重複撮像領域のことである。制御装置１０から送信される撮像命令信号を含んだ無線信号Ｒ１は、カメラ２０Ａ及びカメラ２０Ｂに対し同時に送信される。よって、カメラ２０Ａの撮像部２３とカメラ２０Ｂの撮像部２３とは、当該撮像命令信号の撮像命令データが「ＯＮ」であれば、カメラ２０Ａ及びカメラ２０Ｂの一方の無線通信のみが遅延するといった特殊な事情が発生しない限り、同時に撮像を行うこととなる。なお、これらの撮像部２３は、カメラなどの一般的な撮像手段であってよく、対象物４０の位置を画像に基づいて特定するために用いる画像データを得られるものであればよい。撮像を行った撮像部２３は、その画像データを信号Ｓ７として付加部２４に向けて出力する。

次に、図３を参照して、ステップＳＰ１３０において、付加部２４は撮像部２３によって撮像された画像データに、当該画像データの撮像を命令した撮像命令信号に含まれていた時刻情報を付加する。具体的には、撮像部２３から画像データが入力された付加部２４は、時刻レジスタ２６から、当該画像データの撮像を命令した撮像命令信号に含まれていた時刻情報データを受け取る。そして、付加部２４は、撮像部２３が撮像した画像データの画像領域の中で、対象物４０の位置の特定に用いらない領域に、当該時刻情報データに含まれていた時刻情報を書き込む。そして、画像データに時刻情報を付加した付加部２４は、時刻情報を付加した画像データを信号Ｓ１０として画像データ送信部２５に向けて出力する。

図６は、両眼視を行うカメラ２０Ａ及びカメラ２０Ｂが撮像した画像の一例である。図６では、図５に例示したカメラ２０Ａ及び２０Ｂが同時に撮像した各々の画像を示しており、カメラ２０Ａが撮像した画像には、重複撮像領域とカメラ２０Ａのみが撮像を行った領域とが存在する。同様に、カメラ２０Ｂが撮像した画像には、重複撮像領域とカメラ２０Ｂのみが撮像を行った領域とが存在する。このとき、例えば領域Ｌ１は、重複撮像領域ではないので、領域Ｌ１は複数の画像の比較による視差などを用いる位置の特定には関係がない領域である。そこで、付加部２４は当該画像データにおいて領域Ｌ１の画像領域に相当するデータ記憶領域に、時刻情報のデータを書き込む。つまり、時刻情報を書き込むことで、領域Ｌ１の画像データに相当するデータ記憶領域に元々記憶されていた画像データは失われてしまうが、対象物４０の位置の特定に影響することがないので、画像データに時刻情報を書き込んでも、後述するステップＳＰ１６０において、対象物４０の位置の特定を行うことができる。

なお、付加部２４が行う画像に対する時刻情報の付加は、画像データの重複撮像領域ではない画像領域に相当するデータ記憶領域に、時刻情報のデータを書き込む方式だけでなく、画像データの重複撮像領域ではない画像領域に、時刻情報を表す図形化された符号を画像データとして書き込む方式であってもよい。この場合、画像領域に書き込まれる時刻情報の符号は時刻情報を示す数字などの文字であってもよいし、時刻情報に対応した記号であってもよい。また、時刻情報を示すバーコードなどの識別子であってもよい。

また、これらの画像に対する時刻情報の付加に際して、時刻情報を書き込む領域（時刻情報を書き込むデータ記憶領域、または画像領域）は、予め領域レジスタ２７に時刻情報を書き込む領域に関する情報を記憶させておき、領域レジスタ２７が付加部２４に向けて時刻情報を書き込む領域に関する情報を出力することで設定してよい。

次に、図３を参照して、ステップＳＰ１４０において、画像データ送信部２５は、時刻情報が付加された画像データを画像処理装置３０に対して送信する。具体的には、画像データ送信部２５は、入力された時刻情報が付加された画像データを、信号Ｓ２（図１においては、カメラ２０Ａから出力される信号Ｓ２Ａ、及びカメラ２０Ｂから出力される信号Ｓ２Ｂ）として、画像処理装置３０の画像データ受信部３１に対して送信する。このとき、信号Ｓ２は当該画像データを含むアナログ信号であってもよいし、当該画像データを含むデジタル信号であってもよい。さらにいうと、本発明はカメラ２０Ａ及びカメラ２０Ｂと画像処理装置３０との通信に用いられるデータ伝送方式を限定するものではなく、ＮＴＳＣ（National Television System Committee）やＵＳＢ（Universal Serial Bus）などの画像データを伝送できる伝送方式であればよい。なお、画像データ受信部３１は、これらの画像データを記憶する記憶装置を有してもよく、当該記憶装置に当該画像データを蓄積することで、後述するステップＳＰ１５０における同一の時刻情報が付加された複数の画像の選出を行ってもよい。

次に、図３を参照して、ステップＳＰ１５０において、画像データ受信部３１は、入力された画像データの中から、同一の時刻情報が付加された画像を探し出し、同一の時刻情報が付加された複数の画像データを選出する。具体的には、例えば時刻情報としてカウンタ値が「１」である時刻情報データを含み、撮像命令データが「ＯＮ」である撮像命令信号がカメラ２０Ａ，２０Ｂで受信された場合、当該撮像命令により撮像された画像データには、付加部２４によって「１」という時刻情報が書き込まれる。そして、カメラ２０Ａ及びカメラ２０Ｂそれぞれにて「１」という時刻情報が書き込まれた二つの画像データは、画像データ受信部３１に入力される。撮像命令信号が図４で示したように定期的に繰り返されているとすると、次の撮像命令信号ではカウンタ値を「２」とし、カメラ２０Ａ及びカメラ２０Ｂの各々においてカウンタ値「２」という時刻情報が書き込まれた二つの画像データが画像データ受信部３１に入力される。

このように、画像データ受信部３１には、撮像命令信号ごとに異なる時刻情報が付加された複数の画像データが入力されていく。ステップＳＰ１５０では、これらの複数の時刻情報が付加された複数の画像データの中から、後述するステップＳＰ１６０にて対象物４０の位置の特定に用いる時刻情報（例えば、時刻情報がカウンタ値「１」のときの対象物４０の位置を特定する場合は、カウンタ値「１」の時刻情報）が付加された二つの画像データを探し出す。そして、対象物４０の位置の特定に用いる同一の時刻情報が付加された二つの画像データが見つかれば、当該二つの画像データを信号Ｓ３として、位置特定部３２に対して出力する。

なお、対象物４０の位置の特定に用いる時刻情報が付加された画像データが複数見つからなかった場合は、所定の時間の経過後、再び当該時刻情報が付加された画像データを探してもよい。この所定の時間の経過を待ってから行う同一の時刻情報が付加された画像データの選出により、画像データが遅延して画像処理装置３０に入力された場合にも、対象物４０の位置の特定に用いる複数の画像を探し出すことができる。

次に、ステップＳＰ１６０において、位置特定部３２は、対象物４０の位置の特定に用いる同一の時刻情報が付加された二つの画像データに基づいて、当該二つの画像データにおける重複撮像領域の画像情報に基づいて、二つの画像間の視差を算出するなどの画像処理を行い、対象物４０の位置を特定する。この対象物４０の位置を特定する方法は、一般的なステレオカメラに用いられる対象物の位置特定技術であってよい。対象物４０の位置を特定した撮像システム１は、位置特定処理を終了する。

以上のように、ステップＳＰ１００からステップＳＰ１６０に示した位置特定処理を行うことで、撮像システム１は、カメラ２０Ａ，２０Ｂの撮像した画像に基づいて、対象物４０の位置を特定することができる。

また、撮像システム１は、この位置特定処理を、定期的又は任意のタイミングで繰り返し行うため、カメラ２０Ａ，２０Ｂが重複して撮像している領域内に所在している対象物４０の位置の特定を随時行うことが可能となる。例えば、撮像システム１が図４に示したタイムチャートにおける撮像命令信号を送信しているならば、撮像命令信号の送信は３３ｍ秒間隔で繰り返し行われており、３０ｆｐｓ（frame per second）にて対象物４０の位置を特定する監視を行うことができる。なお、制御装置１０とカメラ２０Ａ及びカメラ２０Ｂとが行う無線通信は、撮像命令信号の送信よりもさらに頻度高く行ってもよい。無線通信の頻度を高くすることで、当該無線通信の通信障害の発生を抑えることができる。

また、撮像システム１においては、撮像命令信号を制御装置１０からカメラ２０Ａ及びカメラ２０Ｂへ同時に無線通信が行われるので、この無線通信の一方のみが遅延するといった特殊な事情が生じない限り、カメラ２０Ａ及びカメラ２０Ｂは、制御装置１０から同時に送信された撮像命令信号を同時に受信する。そして、同時に受信した撮像命令に基づいて、カメラ２０Ａ，２０Ｂが同時に撮像するので、カメラ２０Ａ及びカメラ２０Ｂは、所定領域を同時に撮像した複数の画像を得ることが可能となる。この同時に撮像された複数の画像には、当該複数の画像の撮像を命令した撮像命令信号に対応した同一の時刻情報が付加される。したがって、同一の時刻情報が付加された画像は、同一の撮像命令信号を受信したことにより、カメラ２０Ａ及びカメラ２０Ｂの各々にて同時に撮像された画像であることが担保される。よって、対象物４０の位置の特定に用いる複数の画像を簡易に同期させることが可能となる。

さらに、画像への時刻情報の付加はカメラ２０Ａ，２０Ｂで行われ、時刻情報が同一の複数の画像の選出は画像処理装置３０で行われるので、複数の画像データの同期は、カメラ２０Ａ及びカメラ２０Ｂと画像処理装置３０との間の画像データの伝送方式によることがない。また、画像データへの時刻情報の付加は、対象物４０の位置の特定に用いることがない領域に書き込むので、画像データに別途時刻情報を記憶するための記憶領域を拡張させる必要がない。よって、時刻情報が付加された画像データは、通常の画像データと同様のデータとして既存のデータ伝送方式にて伝送することができる。

さらに、カメラ２０Ａ，２０Ｂにおいて、画像データ自体に時刻情報を付加するので、画像データへの時刻情報の付加処理や、カメラ２０Ａ，２０Ｂから画像処理装置３０への画像データの伝送処理において遅延があったとしても、画像データに付加された時刻情報を参照することで同時性を持つ画像データを容易に探し出すことができる。これにより、同一の時刻情報が付加された複数の画像データのいずれかが、データ伝送において遅延したとしても、当該遅延した画像データが伝送されるのを待ってから画像データを同期させることができる。したがって、カメラ２０Ａ及びカメラ２０Ｂから画像データを伝送する伝送インタフェースが異なるなど、画像データの伝送自体が同期されていなくても、画像データを同期させることが可能となる。よって、画像データの伝送方式を問わないので、撮像システム１はインタフェースの自由度が高く、安価に構成することが可能である。

〈変形例〉
図７は、本発明の変形例に係る撮像システム２の全体構成を概略的に示した図である。撮像システム２は、本発明の実施の形態にて示した撮像システム１における制御装置１０の諸機能を画像処理装置５０が有し、さらに撮像手段である複数のカメラ６０Ａ，６０Ｂから画像処理装置５０への時刻情報が付加された画像データの伝送を、無線通信を用いて行うシステムである。撮像システム２は、画像処理装置５０、及び複数のカメラ６０Ａ，６０Ｂを備えて構成されている。画像処理装置５０と、カメラ６０Ａ及びカメラ６０Ｂとは互いに無線通信を行う無線通信機能を有しており、画像処理装置５０は無線信号Ｒ１をカメラ６０Ａ及び６０Ｂに対して送信する。カメラ６０Ａは無線信号Ｒ２を画像処理装置５０に対して送信する。カメラ６０Ｂは無線信号Ｒ３を画像処理装置５０に対して送信する。

図８は、画像処理装置５０の構成を概略的に示した図である。画像処理装置５０は、撮像命令を生成する撮像命令生成部１３、時刻情報を生成する時間情報生成部１１、画像データ受信部３１、位置特定部３２、及び無線通信部５１を有して構成されている。撮像命令生成部１３の出力は、時刻情報生成部１１及び無線通信部５１の入力に接続されている。時刻情報生成部１１の出力は無線通信部５１の入力に接続されている。無線通信部５１の出力は画像データ受信部３１に接続されている。画像データ受信部３１の出力は位置特定部３２の入力に接続されている。また、無線通信部５１は、無線通信機能によってカメラ６０Ａ，６０Ｂと無線通信を行うことができる。

図９は、カメラ６０Ａの構成を概略的に示した図である。カメラ６０Ａは、時刻受信部２２、撮像部２３、付加部２４、画像データ送信部２５、時刻レジスタ２６、領域レジスタ２７、及び無線通信部６１を有して構成されている。無線通信部６１の出力は時刻受信部２２の入力に接続されている。時刻受信部２２の出力は撮像部２３及び時刻レジスタ２６の入力に接続されている。時刻レジスタ２６の出力は付加部２４の入力に接続されている。領域レジスタ２７の出力は付加部２４の入力に接続されている。付加部２４の出力は、画像データ送信部２５の入力に接続されている。画像データ送信部２５の出力は無線通信部６１の入力に接続されている。また、無線通信部６１は、無線通信機能によって画像処理装置５０と無線通信を行うことができる。また、カメラ６０Ｂは、カメラ６０Ａと同様の構成を有している。

撮像システム２は、本発明の実施の形態に係る撮像システム１と同様に図３に示した位置特定処理を行うことができる。ただし、撮像システム２が行う位置特定処理においては、ステップＳＰ１００において、画像処理装置５０の撮像命令生成部１３が撮像命令信号を生成する。時刻情報生成部１１は当該撮像命令信号に対応した時刻情報データを生成する。無線通信部５１は、撮像命令信号に当該撮像命令信号に対応した時刻情報データを加え、無線信号Ｒ１を用いてカメラ６０Ａ，６０Ｂに対して送信する。ステップＳＰ１１０からステップＳＰ１３０において、カメラ６０Ａ，６０Ｂの各々が撮像命令に基づいてそれぞれ画像を撮像し、当該画像の画像データに当該撮像命令信号に含まれている時刻情報を付加する。ステップＳＰ１４０において、カメラ６０Ａ，６０Ｂの各々の無線通信部６１は、時刻情報が付加された画像データを画像処理装置５０に向けて無線通信によって送信する。ステップＳＰ１５０からステップＳＰ１６０において、撮像システム２は、同一の時刻情報が付加された複数の画像データを同期させ、当該画像データの画像に撮像されている対象物の位置を特定する。

本発明の変形例に係る撮像システム２によれば、画像処理装置５０とカメラ６０Ａ及びカメラ６０Ｂとの通信に無線通信を用いるので、カメラ６０Ａ及びカメラ６０Ｂの設置場所の自由度が高く、装置間の配線が難しい場所などへの設置が容易となる。また、画像処理装置５０がカメラ６０Ａ及びカメラ６０Ｂへの撮像命令信号の送信を行うので、別途撮像命令の送信を行う制御装置を設ける必要がない。よって、撮像システムの構成する装置数を少なくでき、利用者は画像処理装置を操作するだけで、所定の撮像エリアに所在する対象物の位置の特定し、本発明の実施の形態に係る撮像システム１と同様の効果を得ることが可能となる。

なお、本発明の実施の形態で、複数の撮像手段が二台のカメラである例を示したが、本発明において、撮像手段は二台のカメラに限らず、対象物の位置の特定を行うための異なる方向から撮像された複数の画像を得ることができる三台以上のカメラであってよい。なお、複数の撮像手段が三台以上のカメラであった場合、同一の時刻情報が付加された複数の画像データは三つ以上であってよく、当該三つ以上の同一の時間情報が付加された画像データを用いて位置特定部３２が対象物の位置を特定してもよい。また、複数の撮像手段の一部または全部を制御装置と有線で接続するようにしてもよい。

また、今回開示された実施の形態は、すべての点で例示であり制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１，２撮像システム
１０制御装置
１１時刻情報生成部
１２無線通信部
１３撮像命令生成部
２０Ａ，２０Ｂカメラ
２２時刻受信部
２３撮像部
２４付加部
２５画像データ送信部
３０画像処理装置
３１画像データ受信部
３２位置特定部

Claims

対象物を異なる方向から撮像する複数の撮像装置と、
前記複数の撮像装置を制御する制御装置と、
前記複数の撮像装置によって撮像された画像を処理する画像処理装置と、
を備え、
前記制御装置は、撮像命令と、当該撮像命令に対応する時刻情報とを、前記複数の撮像装置に送信する送信手段を有し、
前記複数の撮像装置の各々は、
前記撮像命令及び前記時刻情報を、前記送信手段から受信する受信手段と、
前記撮像命令に基づいて撮像を行う撮像手段と、
前記撮像命令に基づいて前記撮像手段が撮像した画像に、当該撮像命令に対応する前記時刻情報を付加する付加手段と、
前記時刻情報が付加された画像を、前記画像処理装置に送信する画像送信手段と、
を有し、
前記画像処理装置は、
前記時刻情報が付加された画像を、前記画像送信手段から受信する画像受信手段と、
同一の前記時刻情報が付加された複数の画像に基づいて、前記対象物の位置を特定する位置特定手段と、
を有する、撮像システム。
前記付加手段は、前記撮像手段が撮像した画像の画像領域のうち、撮像範囲が他の撮像装置と重複しない領域内に、前記時刻情報を書き込む、請求項１に記載の撮像システム。
前記送信手段は、前記撮像命令及び前記時刻情報を、前記複数の撮像装置に対して同時に無線送信する、請求項１又は２に記載の撮像システム。
対象物を異なる方向から撮像する複数の撮像装置と、
前記複数の撮像装置を制御する制御装置と、
前記複数の撮像装置によって撮像された画像を処理する画像処理装置と、
を備える撮像システムにおいて、前記対象物の位置を特定する位置特定方法であって、
前記制御装置は、撮像命令と、当該撮像命令に対応する時刻情報とを、前記複数の撮像装置に送信し、
前記複数の撮像装置の各々は、
前記撮像命令及び前記時刻情報を、前記制御装置から受信し、
前記撮像命令に基づいて撮像を行い、
前記撮像命令に基づいて撮像した画像に、当該撮像命令に対応する前記時刻情報を付加し、
前記時刻情報が付加された画像を、前記画像処理装置に送信し、
前記画像処理装置は、
前記時刻情報が付加された画像を、前記画像送信手段から受信し、
同一の前記時刻情報が付加された複数の画像に基づいて、前記対象物の位置を特定する、対象物の位置特定方法。