JP2014112798A

JP2014112798A - カメラシステム

Info

Publication number: JP2014112798A
Application number: JP2012266574A
Authority: JP
Inventors: 功 ▲高▼橋; Isao Takahashi
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2012-12-05
Filing date: 2012-12-05
Publication date: 2014-06-19
Anticipated expiration: 2032-12-05
Also published as: JP6022330B2

Abstract

【課題】カメラシステムにおいて、カメラ校正や３次元計測の基準点を設置する作業の効率化を図る。
【解決手段】一又は複数のカメラ２が撮影した画像を処理する制御装置４を備える。制御装置４は、監視空間内におけるカメラ２の位置・姿勢を含むカメラパラメータと基準点の設置が必要な監視空間内の要求位置とを少なくとも記憶する記憶部４１と、カメラ２が撮影した画像から基準点を検出する基準点検出部４２０と、カメラ２のカメラパラメータ及び要求位置を用いて、当該カメラ２から当該要求位置への視線方向の位置を、作業者が存在すると当該カメラ２から当該要求位置を撮影できなくなる死角形成作業者位置として算出する推奨立ち位置算出部４２３と、死角形成作業者位置を出力する表示通信部４３とを備える。
【選択図】図３

Description

本発明は、複数のカメラ間での各種カメラパラメータの校正や撮影された物体の形状認識などに用いる基準点をカメラが撮影した画像から自動認識するカメラシステムに関し、特に現実空間に設置された基準点を作業者が容易に設置できるようにしたカメラシステムに関する。

監視カメラを用いて人の追跡を行うカメラシステムが研究されている。そのようなカメラシステムを構築する際、カメラの位置や姿勢等のカメラパラメータを求めて、カメラシステムが認識する仮想空間と現実空間である監視空間との対応をとるための調整が必要となる。この調整作業をキャリブレーション（校正）という。

例えば、キャリブレーションを行うには、カメラ視野内の監視空間に位置計測の基準とする基準点を複数設置し、当該基準点をカメラにて撮影する。そして、撮影した画像から各基準点を検出し、基準点の画像上の検出位置と監視空間における基準点位置との幾何学的関係からカメラパラメータを計測する。

カメラの位置・姿勢などのカメラパラメータは、基準点の３次元座標を与えれば１台のカメラで計測できるが、複数のカメラの共通視野を利用すれば基準点の３次元座標を与えずに計測できる。すなわち、共通視野に複数の基準点を設置して当該視野を共有する複数のカメラで撮影した各画像から同一基準点を検出し、これらの基準点の検出位置が同一位置であるとの幾何学的関係を利用して各カメラのカメラパラメータを計測できる。

また、基準点は、このようなキャリブレーション以外に、監視空間に設置されている什器等の３次元位置・形状の計測にも使用される。例えば、什器等の表面に複数の基準点を設置して、カメラで撮影した画像から各基準点を検出し、各基準点とカメラの位置・姿勢との幾何学的関係から什器等の表面に設置した各基準点の３次元位置を求めることによって、什器等の位置や形状を計測することがある。

従来、かかる基準点を設置するのに、発光装置からスポット光を監視空間に照射し、その照射点を基準点としてカメラのキャリブレーションを実現する画像処理装置が提案されている（特許文献１）。

特開２００４−４６７７２号公報

ところで、昨今のカメラ価格の下落を受けて、多数の監視カメラを設置して広範囲な監視空間を監視するカメラシステムが提案されている。かかる場合、従来技術のように監視空間の外から発光装置を用いてスポット光を照射して、基準点を設置するのが困難になってくる。このため、携帯型のレーザーポインタ等を作業者が手に持ち、カメラの視野内を移動しながらスポット光を照射して基準点を設置することが考えられる。

しかしながら、その場合、作業者と基準点とがカメラの視野内に同時存在して基準点を設置することとなり、カメラ及び作業者の位置によっては、設置したはずの基準点が作業者により生じる死角に隠れてしまい、当該基準点を検出し損ねることがある。基準点を検出し損ねると基準点の再設置作業が生じる。

すなわち、基準点に死角を形成しない立ち位置を作業者が正しく認識して作業を効率的に進めることが困難であるという課題があった。

本発明に係るカメラシステムは、所定の空間内を撮影する一又は複数のカメラと、前記カメラが撮影した画像を処理する制御装置と、前記カメラで撮影可能であり作業者によって設置される基準点とを備えて構成されるカメラシステムであって、前記制御装置は、前記空間内における前記カメラの位置・姿勢を含むカメラパラメータと前記基準点の設置が必要な前記空間内の要求位置とを少なくとも記憶する記憶部と、前記カメラが撮影した画像から前記基準点を検出する基準点検出部と、前記カメラの前記カメラパラメータ及び前記要求位置を用いて、当該カメラから当該要求位置への視線方向の位置を、前記作業者が存在すると当該カメラから当該要求位置を撮影できなくなる死角形成作業者位置として算出する作業者位置算出部と、前記死角形成作業者位置を出力する出力部と、を備える。

上記本発明に係るカメラシステムにおいては、前記出力部は前記要求位置を出力する構成とすることもできる。

他の本発明に係るカメラシステムにおいては、前記カメラは前記空間内にて共通視野を有するように複数配置され、前記制御装置は、前記基準点を用いて前記カメラパラメータを校正する校正部を更に有し、前記校正部は、前記複数のカメラが同時に撮影した画像それぞれにて前記基準点検出部が前記基準点として基準点像を検出した場合に、当該複数の基準点像が前記空間における同一位置であるとの拘束条件を適用して前記カメラパラメータを校正する。

この本発明に係るカメラシステムにおいては、前記制御装置は、前記基準点検出部が前記共通視野内の前記要求位置に存在する前記基準点を検出した場合にのみ、当該基準点が撮影された当該要求位置を前記記憶部から削除する要求位置設定部を更に有する構成とすることができる。

また上記本発明に係るカメラシステムにおいて、前記制御装置は、前記カメラが撮影した画像を当該カメラの光軸と撮影平面との交点から放射状に所定角度ごとに区分した区分領域を単位として前記要求位置を設定する要求位置設定部を更に有する構成とすることができる。

本発明によれば、作業者は基準点を設置する位置に死角を形成しない立ち位置が分かるので、やり直しや試行錯誤を減らして効率的に基準点を検出させることができ、校正作業や計測作業が容易・迅速となる。

本発明の実施形態に係るカメラシステムの概略の構成を示した模式図である。監視空間の模式的な平面図である。制御装置の概略の構成を示したブロック図である。カメラパラメータのデータ構成をテーブル形式で示す模式図である。カメラ２Ｂとカメラ２Ｃからなるカメラ対に設定する要求位置の例を示す模式図である。本発明の実施形態に係るカメラシステムの校正処理における動作の概略を示すフロー図である。本発明の実施形態に係るカメラシステムが校正処理にて行う推奨立ち位置の提示処理の概略を示すフロー図である。基準点情報のデータ構成をテーブル形式で示す模式図である。要求情報のデータ構成をテーブル形式で示す模式図である。連鎖判定テーブルのデータ構成をテーブル形式で示す模式図である。カメラ２Ｂ，２Ｃの画像領域にて直接的に求まる死角形成位置の算出例を示す画像領域の模式図である。図１１に対応する作業者立ち位置の算出例を示す画像領域の模式図である。図１２に対応する推奨立ち位置の絞り込みの例を示す画像領域の模式図である。表示部における推奨立ち位置を提示する表示画面の一例である。表示部における推奨立ち位置を提示する表示画面の他の例である。図１５（ａ）の表示画面に対応して画像処理部が校正処理にて行う推奨立ち位置の提示処理の概略を示すフロー図である。本発明の実施形態に係るカメラシステムの計測処理における動作の概略を示すフロー図である。計測処理における設置要求情報の設定例を示す画像領域の模式図である。照射器以外の装置により基準点を設置する例を示す模式図である。

以下、本発明の実施の形態（以下実施形態という）であるカメラシステムについて、図面に基づいて説明する。

［カメラシステム１の構成］
図１は実施形態に係るカメラシステム１の概略の構成を示した模式図である。カメラシステム１は複数のカメラ２（２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅ，２Ｆ，２Ｇ，２Ｈ）、照射器３、制御装置４、表示部５からなる。図１には照射器３及び表示部５を携帯した作業者１０が監視空間内の床面（基準面１１）を照射して床面上に光像を形成している様子が示され、また、床面には物体１２が設置されている。

本実施形態においては光像の重心が基準点１３である。作業者１０は監視空間内を移動して各所に基準点１３を設置する。カメラ２は基準点１３を撮影して、制御装置４は撮影された画像から基準点１３を検出して、カメラ２の校正や物体１２の３次元計測を行う。また制御装置４は、基準点１３の設置が要求される場所（要求位置）に作業者１０による死角が生じない作業者立ち位置を算出して表示部５に出力する。作業者１０は表示された立ち位置から照射を行うことにより失敗を減じて効率良く作業を行うことが可能である。

カメラ２は監視カメラであり、各カメラ２は制御装置４に接続される。各カメラ２は少なくとも他の１台のカメラとの間に共通視野を設けて連鎖配置され、複数のカメラ２の視野の和が監視空間となる。カメラ２は作業者１０と共に移動する基準点１３を所定時間おきに撮影し、撮影した画像を順次、制御装置４に出力する。

図１に示す例ではカメラシステム１には８台のカメラ２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅ，２Ｆ，２Ｇ，２Ｈが配置され、制御装置４はそれらカメラにそれぞれＡ，Ｂ，Ｃ，…，ＨというカメラＩＤを付与して管理する。複数のカメラ２はそれぞれ光軸を鉛直下方へ向けた姿勢で天井に格子状に配置される。図２は監視空間２０の模式的な平面図であり、基準面１１内での物体１２の位置、及び８台のカメラ２（２Ａ〜２Ｈ）の配置を「☆」で示している。カメラ２の間隔は、当該カメラの画角を考慮して、隣り合うカメラ同士が共通視野を有するよう設定されている。この例では、カメラ２Ａが少なくともカメラ２Ｂと共通視野を有し、カメラ２Ｂが少なくともカメラ２Ａ，２Ｃと共通視野を有し、カメラ２Ｃが少なくともカメラ２Ｂ，２Ｄ，２Ｇ，２Ｈと共通視野を有し、カメラ２Ｄが少なくともカメラ２Ｃ，２Ｇ，２Ｈと共通視野を有し、カメラ２Ｅが少なくともカメラ２Ｆと共通視野を有し、カメラ２Ｆが少なくともカメラ２Ｅ，２Ｇと共通視野を有し、カメラ２Ｇが少なくともカメラ２Ｃ，２Ｄ，２Ｆ，２Ｈと共通視野を有し、カメラ２Ｈが少なくともカメラ２Ｃ，２Ｄ，２Ｇと共通視野を有する。同図では、カメラ２Ｂの視野を１００ｂで示し、カメラ２Ｃの視野を１００ｃで示している。その他のカメラ２の視野は図示を省略している。また、領域２００はカメラ２Ｂの視野１００ｂとカメラ２Ｃの視野１００ｃとの共通視野を示している。なお、カメラ２の台数は２台以上であれば任意であり、またカメラ２の位置・姿勢は少なくとも共通視野が連鎖する範囲で任意である。

照射器３はスポット光を出力する光源であり、例えば、レーザーポインタやコリメートＬＥＤライトなどを用いることができる。照射器３は作業者１０により携帯され、作業者１０の操作により基準面１１あるいは什器等の物体１２に光を照射する。この照射により、基準面１１あるいは物体１２の表面に基準点１３が設置される。基準点１３は作業者１０の操作・移動に伴い監視空間内を移動する。ちなみに、作業者１０は、カメラ２の位置・姿勢の校正作業においては共通視野における基準面１１を照射し、物体１２の３次元計測作業では共通視野内に存在する物体１２を照射する。照射器３は免許不要で簡単に入手・利用可能なものが好適である。

制御装置４は各カメラ２とイーサネット（登録商標）等のＬＡＮあるいは同軸ケーブル等の配線で接続される。また、表示部５とはブルートゥース等の無線回線で接続される。制御装置４はカメラ２が撮影した画像を取得して当該画像から基準点１３を検出する。制御装置４は要求位置における基準点１３の検出を妨げない作業者立ち位置を算出し、要求位置と作業者立ち位置とを含めた情報を表示部５に出力する。また検出した基準点１３を利用してカメラ２の校正または物体１２の計測を行う。

表示部５は無線通信インターフェースを備え制御装置４と無線回線で接続される。表示部５は液晶タッチパネルディスプレイ等の画像表示装置と演算装置とからなる表示手段を備え、制御装置４から入力された情報を視認可能に表示する。

図３は制御装置４の概略の構成を示したブロック図である。制御装置４は、画像取得部４０、記憶部４１、画像処理部４２及び表示通信部（出力部）４３からなる。

画像取得部４０はカメラ通信部４００と同期制御部４０１とからなり、各カメラ２からの画像を同期させて画像処理部４２に出力する。

カメラ通信部４００はカメラ２と通信して各カメラ２が撮影した画像を順次受信する通信インターフェースであり、受信した画像に当該画像を撮影したカメラ２のカメラＩＤを付与して同期制御部４０１に出力する。ここで、カメラ２がアナログカメラであれば予め設定した接続端子との対応関係からカメラＩＤを特定でき、ＩＰカメラであれば予め設定した送信元アドレスとの対応関係からカメラＩＤを特定できる。

同期制御部４０１はカメラ通信部４００が受信した各カメラ２からの画像の撮影時刻を同期させる。具体的には各カメラ２が基準周期よりも十分に短い撮影周期にて画像を撮影及び送信し、同期制御部４０１は、同時とみなせる程度に設定された許容時間差未満で受信した画像を同期がとれている同時撮影画像とする。同期制御部４０１は、基準周期ごとに同時撮影画像を抽出し、同時撮影画像どうしに共通のフレーム番号を付与して画像処理部４２に出力する。同期制御部４０１は基準周期ごとに同時撮影画像を抽出するために、少なくとも基準周期の時間だけ各カメラ２からの画像を蓄積するバッファ（不図示）と、同時を判定するために時刻情報を生成する計時手段（不図示）とを備える。基準周期は例えば３ｆｐｓ（frame per second）、撮影周期は例えば１５ｆｐｓ、許容時間差は例えば６６ｍｓ（mili second）とすることができる。なお、同期制御部４０１から各カメラ２に基準周期ごとに同期パルスを出力して撮影タイミングを直接コントロールしてもよい。

記憶部４１はＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置である。記憶部４１は各種パラメータ、画像処理部４２のプログラム等を記憶し、画像処理部４２との間でこれらの情報を入出力する。各種パラメータには、カメラパラメータ４１０、要求情報４１１、照射限界値４１２、基準点情報４１３、物体計測情報４１４及び連鎖判定テーブル４１５が含まれる。

カメラパラメータ４１０は各カメラ２の内部パラメータ及び外部パラメータであり、カメラ２のカメラＩＤと対応付けられている。図４はカメラパラメータ４１０のデータ構成をテーブル形式で示す模式図である。

内部パラメータは焦点距離、レンズの光学中心位置を含む。図４において例えば、カメラ２Ａの焦点距離はｆ_Ａ、レンズの光学中心位置はｃ_Ａと表記している。焦点距離及びレンズの光学中心位置は予め正確な値が設定され、カメラ２の校正作業にて変化しない。

外部パラメータは監視空間におけるカメラ２の位置・姿勢の情報を少なくとも含んでおり、具体的には複数のカメラ２に共通する共通座標系（ワールド座標系）で表したカメラ２の設置高、回転行列、並進ベクトル、撮影平面の法線ベクトル、カメラ間距離を含む。

ここで、ワールド座標系は監視空間を模した右手直交座標系ＸＹＺであり、本実施形態では、Ｚ軸を鉛直上向きに設定し、基準面である床面を高さＺ＝０とし、基準面におけるカメラＡの鉛直下の点を座標原点とする。また、カメラＡの画像の水平方向、垂直方向を撮影平面のｘ軸、ｙ軸とし、当該ｘ軸、ｙ軸を基準面に投影した軸をそれぞれＸ軸、Ｙ軸とする。

例えば、カメラ２Ｂの回転行列Ｒ_Ｂはカメラ２Ｂの光軸を中心とした回転を定義する。撮影平面の法線ベクトルｎ_Ｂはカメラ２Ｂの光軸の向きを定義する。また、並進ベクトルはＸＹ面内での２つのカメラ２の相対的な位置関係を定義する２次元ベクトルである。本実施形態では並進ベクトルはカメラ２Ａの位置を起点として定義され、例えば、カメラ２Ｂの並進ベクトルｔ_Ｂはカメラ２Ａ，２ＢそれぞれのＸＹ面内での位置を起点、終点とする。カメラ間距離は基準とするカメラ２からの或るカメラ２の距離であり、両カメラ２のＸＹ面内での距離である。本実施形態ではカメラ間距離はカメラ２Ａを基準として定義される。例えば、図４においてカメラ間距離ｄ_ＡＢはカメラ２Ａ，２Ｂ間の距離を示している。なお、カメラ間距離はカメラ２の３次元座標間の距離としてもよい。

これら外部パラメータのうち、設置高は予め正確な値が設定され、カメラ２の校正作業にて変化しない。回転行列及び撮影平面の法線ベクトルは、設置計画における値である鉛直下向きであることを示す値が初期値として予め設定され、カメラ２の校正作業の対象とされる。並進ベクトル及びカメラ間距離については初期値は設定せず、カメラ２の校正作業にて設定される。

要求情報４１１は、校正や３次元計測のために作業者１０に対して基準点１３の設置を要求する必要がある監視空間における位置である要求位置と、当該要求位置を同時撮影することが可能なカメラ対とを対応させた情報を含む。要求情報４１１には後述する要求設定部４２２により、要求位置を表す座標データがカメラ対のカメラＩＤと対応付けて設定される。要求位置は点または線とすることもできるが領域とするのがよい。要求位置を領域とすることで、カメラシステム１から作業者１０への要求は当該領域内の任意位置に基準点１３を設置する要求となる。これにより作業者１０は照射する的が大きくなるため負担が軽減される。そこで本実施形態では要求位置を領域とし、以降、各要求位置の領域をエリアとも呼ぶ。後の処理の説明で用いる図９は要求情報４１１のデータ構成を模式的に示しており、同図において要求位置を示す「Ａ５」等の記号は後述するように領域を示すものである。また、要求情報４１１は要求位置への基準点１３の設置要件を規定する要求条件を含む。

照射限界値４１２は照射器３の特性を考慮して事前に設定された照射限界距離値である。光源から遠すぎる場所は光像の径が広がることによって単位面積あたりの輝度が低下してしまい、基準点１３を検出できない可能性が高い。照射限界距離値は、要求位置が基準点１３を検出できないほど遠いか否かを判定するためのしきい値である。

基準点情報４１３は後述する基準点検出部４２０により生成され、概略校正部４２１、精密校正部４２４及び物体計測部４２５が利用する。基準点情報４１３は基準周期で同期して撮影された複数のカメラ２の撮影画像から検出された基準点１３の情報であり、撮影画像にて検出された基準点１３の像（基準点像）の検出位置と、当該基準点像を検出した画像に付与されていたカメラＩＤ及びフレーム番号とが対応付けられている。後の処理の説明で用いる図８は基準点情報４１３のデータ構成を模式的に示しており、同図において検出位置を示す（５７，９０）等は撮影画像における基準点像のｘ座標とｙ座標との組を表している。

物体計測情報４１４は監視空間に存在する物体１２の３次元形状を計測して得られた情報であり、物体計測部４２５が基準点情報４１３を基に生成する。物体計測情報４１４はカメラシステム１が監視空間内の人物を検出したり追跡したりするときに背景情報として利用される。

連鎖判定テーブル４１５は、後述する精密校正処理の進捗状況の管理に用いられる情報であり、後の処理の説明で用いる図１０に示すように、精密校正の対象となるカメラ対と精密校正の完了／未了とが対応付けられたデータ構成を有する。

画像処理部４２はＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部４１からプログラムを読み出して実行することにより基準点検出部４２０、概略校正部４２１、要求設定部４２２、推奨立ち位置算出部４２３、精密校正部４２４、物体計測部４２５等として機能する。

基準点検出部４２０はカメラ２が撮影した画像から基準点１３を検出する。具体的には、各カメラ２が基準周期で撮影した画像にて基準点像の検出処理が行われ、各基準点像の検出位置を、当該基準点像を検出した画像に付与されていたカメラＩＤ及びフレーム番号と対応付けて記憶部４１の基準点情報４１３に記憶させる。検出処理は、背景差分やフレーム間差分にて差分領域を抽出し、抽出した差分領域にラベリング処理を施し、照射器３の光像の大きさに基づき予め設定された大きさ範囲の領域を光像として選別し、選別した光像の重心を基準点１３として検出する。上記大きさ範囲について制限を設けることで作業者に起因する差分領域が除外される。

ここで、複数のカメラ２の共通視野に設置された基準点１３は基本的には当該複数のカメラ２それぞれにより同時に撮影され、また、作業者１０が一時点に設置する基準点１３は１つである。よって、基準点情報４１３にて同一のフレーム番号に対応付けられた基準点１３を検索すれば共通視野を有したカメラ対を検出できる。基準点検出部４２０は基準点情報４１３から、フレーム番号が同一である基準点ペアを抽出し、抽出した基準点１３のカメラＩＤを共通視野を有するカメラ対として要求情報４１１に記憶させる。

本実施形態においてカメラ２の校正作業はおおまかな校正（概略校正）とより精度の高い校正（精密校正）との２段階で行われる。概略校正処理は概略校正部４２１によって行われ、精密校正処理は精密校正部４２４によって行われる。概略校正部４２１及び精密校正部４２４は、基準点検出部４２０により生成された基準点情報４１３に基づいてそれぞれの校正処理を行う。ここで、精密校正部４２４は概略校正部４２１よりも多い要求位置での基準点１３を用いることで、概略校正より精度の高い校正を行う。

概略校正部４２１及び精密校正部４２４は、基準点情報４１３から、同時撮影画像にて共通に検出された基準点像を抽出して、それら基準点像が監視空間における同一位置に対応するとの拘束条件を適用してカメラ２の位置・姿勢を算出し、当該位置・姿勢で各カメラ２のカメラパラメータ４１０を更新する。具体的には、校正対象とするカメラ対にて検出された基準点像の位置をカメラ２の内部パラメータで歪み補正し、その基準点像の検出位置とカメラ２の設置高とを利用してホモグラフィ行列を導出する。そして、カメラ対ごとのホモグラフィ行列から当該カメラ対をなす各カメラの回転行列、並進ベクトル、撮影平面の法線ベクトル、カメラ間距離を算出し、これらを共通座標系に変換して各カメラ２の位置・姿勢を求める。ホモグラフィ行列を使う位置・姿勢の求め方は「平面シーンの最適三角測量」情報処理学会研究報告.CVIM、2010-CVIM-171(4),1-8,2010-08-11)などにより公知である。また、ホモグラフィ行列を使う方法の他にもエピポーラ幾何を基礎とする各種校正方法を適用可能である。

物体計測部４２５は基準点検出部４２０により同時撮影画像から共通に検出された基準点像が監視空間における同一位置に対応するとの拘束条件を適用して、共通視野に存在する物体１２の３次元位置を計測する。物体計測部４２５による３次元計測機能は、精密校正部４２４が精密校正処理を終えた後に利用される。すなわちカメラの精密位置・姿勢が記憶部４１のカメラパラメータ４１０に記憶されている状態で３次元計測処理（物体計測処理）は実行される。

具体的には、物体計測部４２５は、カメラパラメータ４１０により定まるカメラ対の位置・姿勢、及び基準点情報４１３に記憶されている当該カメラ対が撮影した基準点１３の検出位置に三角測量の原理を適用して各基準点１３の３次元位置を導出する。また物体計測部４２５は、基準点１３のうち対応する要求位置が共通する複数の基準点１３を同一平面上の点とみなして要求位置ごとに当該平面を導出する。さらに物体計測部４２５は、導出した平面同士の接線を導出し、当該接線を各平面の辺として設定する。なお、監視空間は基準面（床面）、カメラ設置高と同じ高さを有する仮想天井、有限範囲のＸＹ座標で規定した仮想壁からなる立体とし、接線は基準面、仮想天井、仮想壁との間でも導出する。

物体計測部４２５は、辺が導出されて輪郭が定義された各平面のデータを物体１２の表面を表す３次元形状データとして記憶部４１の物体計測情報４１４に記憶させる。

上述のように概略校正処理、精密校正処理及び物体計測処理は基準点検出部４２０により検出された基準点１３を用いる。要求設定部（要求位置設定部）４２２は基準点１３の設置が要求される複数の要求位置をカメラ２ごとに共通視野内に設定する。具体的には要求設定部４２２は上述した要求情報４１１を生成し記憶部４１に記憶させる。また、要求設定部４２２は要求情報４１１を記憶させた後に基準点情報４１３と要求情報４１１とを逐次参照して、基準点検出部４２０が共通視野内の各要求位置に存在する基準点１３を検出したか否かを確認し、基準点１３を検出した場合にのみ当該基準点１３が撮影された要求位置を記憶部４１から削除する。なお、各処理における要求位置の設定基準は異なり、以下、それぞれについて説明する。

（１）概略校正処理における要求位置
共通視野を有するカメラ対の校正処理（概略校正処理及び精密校正処理）において当該共通視野の基準面から複数の基準点１３の検出が必要である。本実施形態では上述したように、各カメラ対にホモグラフィ行列を用いた校正を適用する。この場合、カメラ対ごとに同一直線上にない４個以上の基準点１３が同時撮影画像から検出されること、すなわち対をなす２つのカメラ２で合計８個以上の基準点１３の検出が要求される。この観点から、要求設定部４２２は各カメラ２の画像を区分した区分領域を単位として複数の要求位置を設定する。好適には要求設定部４２２は、各カメラ２が撮影した画像を当該カメラの光軸と撮影平面との交点から放射状に所定角度ごとに区分する。作業者１０が存在することによって生じる死角領域は基本的には、カメラ２の光軸と撮影平面との交点から作業者１０の位置に向かう方向に延ばした線に沿って位置するので、当該区分の仕方によれば死角領域が形成される要求位置が少なくなる。つまり、死角の影響を受けにくくなる効果がある。例えば、放射状に４５度刻みで８エリアに区分けすることができる。

また、校正の精度を確保する上でこれらの基準点１３は分散していることが望ましい。この観点からは、上記放射状の複数エリアとは別に、カメラ２の画像領域のうち当該カメラ２の光軸と撮影平面との交点が内部に位置した部分を１エリアとして追加設定する区分の仕方が好適である。これにより、放射状の区分の中心部において複数の放射状エリアの密集を回避でき、中心部の狭い領域にて集中して基準点１３が検出される事態を排除できる。つまり、検出される基準点１３の分散の度合が低くなることを防止でき、校正の精度を確保できる。そこで、本実施形態では、要求設定部４２２は、各カメラ２の鉛直下近傍に相当する円形の１エリアと、その外側に残るエリアを４５度刻みで放射状に区分した８エリアとからなる９エリアを要求位置として設定する。

図５はこのように設定された要求位置を示す模式図であり、同図はカメラ２Ｂとカメラ２Ｃからなるカメラ対に設定する要求位置の例を示している。図５（ａ），（ｂ）はそれぞれ図２に平面図で示す監視空間２０に配置されたカメラ２Ｂ，２Ｃで撮影される画像領域２１ｂ，２１ｃを示している。ちなみに、監視空間２０のうち画像領域２１ｂ，２１ｃに映る範囲は図２に示す監視空間２０の平面図ではそれぞれカメラ２Ｂ，２Ｃの視野１００ｂ，１００ｃで表される。図５（ａ）に示すカメラ２Ｂの画像領域２１ｂには要求位置Ｂ１〜Ｂ９が示されており、図５（ｂ）に示すカメラ２Ｃの画像領域２１ｃには要求位置Ｃ１〜Ｃ９が示されている。具体的には、カメラ２Ｂの鉛直下近傍に相当する円形の１エリアとして基準面１１にて半径ＲとなるエリアＢ１を画像領域２１ｂに設定し、カメラ２Ｂ及び２Ｃそれぞれの鉛直下を結ぶ線を０度として４５度刻みでエリアＢ１の周囲の画像領域を放射状に８区分して順にエリアＢ２〜エリアＢ９を設定する。同様にカメラ２Ｃに関して円形の１エリアであるエリアＣ１とその周囲を放射状に区分したエリアＣ２〜Ｃ９を設定する。

なお、中心部の円形エリアは放射状エリアを分散させる目的で設定するものであり、その大きさは当該目的を達成できるように定められる。また当該目的から、中心部のエリアは円形に限らず、例えば四角形などの多角形とすることもできる。

要求設定部４２２は各カメラ２について、記憶部４１からカメラパラメータ４１０の初期値を読み出してこれを基に上述のカメラ２の画像領域の区分を行い、概略校正処理における要求位置として９エリアを設定する。そして、カメラ対のカメラ２ごとに上記９エリアのうちいずれか４エリアで基準点１３（基準点像）が検出され、カメラ対では合計８エリアにて基準点１３（基準点像）が検出されることを要求条件として設定する。なお、１エリアに２個以上の検出は許容する。

画像領域における要求位置は放射状の区分に限らず、ブロック状（格子状）の区分によっても要求位置を画像領域内にて分散させることができる。

（２）精密校正処理における要求位置
上記（１）にて校正処理として一般的に述べた説明は概略校正処理及び精密校正処理に共通であり、本実施形態での要求設定部４２２は精密校正処理においても上記９エリアを要求位置として設定する。要求設定部４２２は各カメラ２について、記憶部４１から概略校正されたカメラパラメータ４１０を読み出してこれを基に上述のカメラ２の画像領域の区分を行い、精密校正処理における要求位置として９エリアを設定する。そして、カメラ対のカメラ２ごとに上記９エリアの全てで基準点１３（基準点像）が検出され、カメラ対では合計１８エリアにて基準点１３（基準点像）が検出されることを要求条件として設定する。なお、１エリアに２個以上の検出は許容する。

すなわち、精密校正処理における要求位置が概略校正処理における要求位置と相違する点は、精密校正処理における要求位置が要求する基準点１３の数が概略校正処理におけるより多い点、及びエリアの設定に用いるカメラパラメータ４１０が概略校正では初期値であるのに対し、精密校正では概略校正された値である点である。

（３）計測処理における要求位置
計測処理における要求位置は、物体１２の３次元計測のために必要な基準点１３の検出が要求される位置であり、カメラ２のそれぞれが撮影した画像を基に生成される。

本実施形態では、物体表面が平面の集まりであると仮定し、要求設定部４２２は物体表面を構成する平面と推定される領域を要求位置に設定する。また平面を特定するために、要求設定部４２２は当該領域ごとに同一直線上にない３個以上の基準点１３の検出を要求条件として設定する。

具体的には、要求設定部４２２は各カメラ２の画像を互いに色が類似する隣接画素のまとまりに分割して分割領域それぞれを要求位置に設定する。例えば、画素の色と画素の位置とをパラメータとしてクラスタリングを行うことにより画像を分割することができる。

別の実施形態では、要求設定部４２２は各カメラ２の画像にＳｏｂｅｌフィルタなどによるフィルタリングを施してエッジ画像を生成し、エッジ画像をそれぞれがエッジに囲まれた閉領域に分割して、分割領域それぞれを要求位置に設定することができる。

推奨立ち位置算出部４２３は、注目するカメラ２の要求位置及び当該カメラ２のカメラパラメータ４１０を用いて、当該カメラ２から当該要求位置への視線方向の位置を、監視空間内にて作業者１０が存在すると当該要求位置に死角を形成する死角形成位置（死角形成作業者位置）として算出する作業者位置算出部である。推奨立ち位置算出部４２３は、要求位置の情報と共に、当該要求位置に対して算出した死角形成位置の情報を表示通信部４３に出力する。

上記視線方向は、カメラ位置と要求位置とを結ぶ直線から求めることができ、基準面上でカメラの鉛直下位置と要求位置とを結ぶ直線群がなす領域を死角形成位置として求めることができる。本実施形態では死角形成位置を画像上で近似的に算出する。すなわち推奨立ち位置算出部４２３は画像中心と要求位置とを結ぶ直線群がなす領域を死角形成位置として算出する。

また、精密校正処理では推奨立ち位置算出部４２３はエリアを単位として死角形成位置を算出する。具体的には推奨立ち位置算出部４２３は画像中心と要求位置とを結ぶ直線に交差するエリアを死角形成位置として算出する。これにより、カメラの概略位置・姿勢を用いて計算を行うことによる誤差の影響を吸収することができる。

本実施形態では、精密校正処理または計測処理を行うカメラ対ごとに死角形成位置を算出する。この場合、基準点１３はカメラ対から同時撮影される必要がある。そのため、推奨立ち位置算出部４２３はカメラ対をなすカメラの両方について死角形成位置を算出して、算出した複数の死角形成位置の和領域を死角形成位置として算出する。

推奨立ち位置算出部４２３は死角形成位置の情報として、死角の形成を回避可能な作業者１０の立ち位置（作業者立ち位置）を出力する。そのために推奨立ち位置算出部４２３は、要求位置からの距離が照射限界距離値未満であって死角形成位置を除く位置を作業者立ち位置として算出する。さらに作業者立ち位置のうち要求位置に最も近い位置を最終的な作業者立ち位置として出力することもできる。また複数の要求位置が設定されている場合、各要求位置について算出された作業者立ち位置の積領域をこれらの要求位置の組に対する共通の作業者立ち位置として出力してもよい。こうすることで１箇所から複数の要求位置に基準点１３を設置できる作業者立ち位置を提示でき、作業者の効率がさらに向上する。なおこのとき積領域が無い要求位置は組にせず別々に作業者立ち位置を出力すればよい。

表示通信部４３は制御装置４と表示部５との通信を行う通信インターフェースである。表示通信部４３は、推奨立ち位置算出部４２３から入力された要求位置の情報及び当該要求位置に対する死角形成位置の情報を表示部５へ出力する出力部などとして機能する。

［カメラシステム１の校正処理における動作］
図６はカメラシステム１の校正処理における動作の概略を示すフロー図である。また、図７はカメラシステム１が校正処理にて行う推奨立ち位置の提示処理の概略を示すフロー図である。図６及び図７を参照してカメラシステム１の校正処理における動作を説明する。

カメラ２が設置され制御装置４と表示部５とに電源が投入されると校正動作が始まる。起動直後のカメラパラメータ４１０は初期値であり概略校正以前の状態である。各カメラ２は自身の視野を順次撮影し、制御装置４に撮影画像を送信する。

制御装置４の画像取得部４０は同時撮影画像を順次、制御装置４の画像処理部４２に入力する。この状態にて作業者は監視空間内を移動しながら照射器３により床面を照射する。

画像取得部４０から画像処理部４２に同時撮影画像が入力されるたびにステップＳ１からステップＳ１４までの処理が繰り返される。以降、繰り返しの時間単位をフレームと呼ぶ。

画像処理部４２は同時撮影画像を取得すると（Ｓ１）、基準点検出部４２０として動作し、各同時撮影画像に差分処理を施して当該同時撮影画像から基準点１３（基準点像）を検出する（Ｓ２）。基準点検出部４２０は、検出した基準点１３の画像上での座標に当該画像のカメラＩＤ及び当該画像のフレーム番号を対応付けて記憶部４１の基準点情報４１３に記憶させる。

次に画像処理部４２は、概略校正部４２１として動作し、新規カメラ対の検出を行う（Ｓ３）。すなわち概略校正部４２１は基準点情報４１３を検索して、フレーム番号が同一である基準点１３に対応付けられたカメラＩＤの対をカメラ対として抽出し、カメラパラメータ４１０を参照して、抽出したカメラ対が精密校正対象に設定されていない新規カメラ対であるか否かを確認する。ここで検出されるカメラ対は視野の少なくとも一部を共有しているカメラである。なおフレーム番号が同一である基準点像の対が４つ以上であることを抽出の条件に加えても良い。

１以上の新規カメラ対を検出した場合（Ｓ３にて「ＹＥＳ」の場合）、画像処理部４２は要求設定部４２２として動作し、当該各カメラ対に対する概略校正用の要求情報４１１を生成して記憶部４１に記憶させる（Ｓ４）。具体的には、要求設定部４２２は新規カメラ対を構成する各カメラ２のカメラパラメータ４１０を読み出して当該カメラごとに９エリアを設定すると共に、当該カメラ対において基準点１３が検出される要求位置の数を各カメラでいずれか４エリア、カメラ対で合計８エリアとする要求条件を設定する。

続いて要求設定部４２２は、新規カメラ対それぞれが概略校正用の要求条件を満たすか否かを確認する（Ｓ５）。具体的には、要求設定部４２２は新規カメラ対の基準点情報４１３と要求情報４１１とを参照して、当該カメラ対のカメラＩＤと対応付けられている基準点像の座標が属するエリア（要求位置）を削除し、残っている要求位置の数から既検出のエリアがカメラごとに４エリア以上、合計８エリア以上であるかを確認する。

新規カメラ対に要求条件を満たすカメラ対が含まれていた場合（Ｓ５にて「ＹＥＳ」の場合）、画像処理部４２は概略校正部４２１として動作し当該カメラ対の基準点情報４１３を用いて概略校正を行い（Ｓ６）、校正結果である概略位置・姿勢の値をカメラパラメータ４１０に書き込んで当該カメラ対を精密校正対象に設定する（Ｓ７）。

新規カメラ対を精密校正対象に設定した場合、画像処理部４２は要求設定部４２２として動作し、当該カメラ対に対する精密校正用の要求情報４１１を生成して記憶部４１に記憶させる（Ｓ８）。すなわち要求設定部４２２は新規カメラ対を構成する各カメラ２のカメラパラメータ４１０を読み出して当該カメラごとに９エリアを設定すると共に、当該カメラ対において基準点１３が検出される要求位置の数を各カメラで９エリア、カメラ対で合計１８エリアとする要求条件を設定する。

ステップＳ８で設定されるエリアは概略校正されたカメラパラメータ４１０を用いて算出されるため、ステップＳ４で設定されるエリアよりも実際のカメラ２の位置・姿勢に適合したエリアとなっている。

新規カメラ対が検出されなかった場合（Ｓ３にて「ＮＯ」の場合）、画像処理部４２は現フレームに対するステップＳ４〜Ｓ８の処理をスキップし、ステップＳ９へ進む。また新規カメラ対は検出されたが概略校正用の要求条件を満たさなかった場合（Ｓ５にて「ＮＯ」の場合）、画像処理部４２は現フレームに対するステップＳ６〜Ｓ８の処理をスキップしステップＳ９に進む。

ここまでの処理により、作業者が共通視野を４エリア以上照射したカメラ対が順次、画像処理部４２によって精密校正対象にリストアップされ、精密校正対象の各カメラ対に対する要求情報４１１が設定される（Ｓ８）。

次に画像処理部４２は要求設定部４２２として動作し、精密校正対象のカメラ対のうち精密校正が未了のカメラ対があるか確認し（Ｓ９）、未了のカメラ対がある場合には、ステップＳ２での基準点１３の検出結果に基づいて要求位置を更新した上で（Ｓ１０）、当該カメラ対が精密校正用の要求条件を満たしているか否かを確認する（Ｓ１１）。具体的には要求設定部４２２は、カメラパラメータ４１０を参照して精密校正が未了のカメラ対の有無を確認し（Ｓ９）、精密校正未了カメラ対の基準点情報４１３と要求情報４１１とを参照して、当該カメラ対のカメラＩＤと対応付けられている基準点１３の座標が属するエリア（要求位置）を削除した上で（Ｓ１０）、残っている要求位置が０個になったか、すなわち基準点１３が１８エリアで検出されているかを確認する（Ｓ１１）。

精密校正が未了のカメラ対に要求条件を満たすカメラ対が含まれていた場合（Ｓ１１にて「ＹＥＳ」の場合）、画像処理部４２は精密校正部４２４として動作し当該カメラ対の基準点情報４１３を用いて精密校正を行い（Ｓ１３）、校正結果である精密位置・姿勢の値をカメラパラメータ４１０に書きこむと共に、当該カメラが精密校正済みであることを示す情報を連鎖判定テーブル４１５に書き込んで、全カメラの精密校正が完了したか否かを確認する（Ｓ１４）。

ステップＳ１４にて精密校正部４２４は、カメラパラメータ４１０を検索して精密校正済みであるカメラの数をカウントすると共に、連鎖判定テーブル４１５にて精密校正済みであるカメラ対の接続関係を確認し、カウントが全カメラの台数と一致し且つ孤立しているカメラ対が無ければ全カメラの精密校正が完了したと判定する。全カメラの精密校正が完了した場合（Ｓ１４にて「ＹＥＳ」の場合）校正処理を終了する（Ｓ１５）。ちなみに冗長な精密校正対象が設定されていれば精密校正未了カメラ対が残っていても校正完了となることがある。

一方、カウントが全カメラの台数より少ない場合または孤立しているカメラ対がある場合は、未完了であるとして処理をステップＳ１に戻して次フレームの次フレームの同時撮影画像に対する処理を行う（Ｓ１４にて「ＮＯ」→Ｓ１）。

図８〜図１０を参照して、要求条件が満たされた場合（Ｓ１１にて「ＹＥＳ」の場合）の処理例を説明する。既に述べたように図８，図９，図１０はそれぞれ基準点情報４１３、要求情報４１１及び連鎖判定テーブル４１５のデータ構成を模式的に表しており、連続する２フレーム間でのそれらの変化を示している。図８（ａ），図９（ａ），図１０（ａ）はそれぞれ第４１フレームでの状態を示しており、図８（ｂ），図９（ｂ），図１０（ｂ）はそれぞれ第４２フレームでの状態を示している。

第４１フレームでの基準点情報４１３には、基準点検出部４２０が第１〜４１フレームでの撮影にて検出した基準点１３の情報が記憶されている（図８（ａ））。第３７フレームから第４１フレームまではカメラＢとＣとの共通視野で基準点１３が検出されている。

また、第４１フレームまでの間に概略校正部４２１がカメラ対「Ａ，Ｂ」、「Ａ，Ｃ」、「Ｂ，Ｃ」及び「Ｃ，Ｄ」を概略校正し、その結果、連鎖判定テーブル４１５にはこれらカメラ対が精密校正対象に設定されたことが記録されている（図１０（ａ））。さらに連鎖判定テーブル４１５には、カメラ対「Ａ，Ｂ」については精密校正部４２４による精密校正が完了しており、他のカメラ対は精密校正が未了であることが記録されている（図１０（ａ））。

第４１フレームの時点で、要求設定部４２２がカメラ対「Ｂ，Ｃ」に対して当初要求位置として要求情報４１１に設定したエリアＢ１〜Ｂ９及びエリアＣ１〜Ｃ９の１８エリアのうち、エリアＢ３及びＣ４の２エリアが要求位置として残っている（図９（ａ））。つまり、以降のフレームでエリアＢ３及びＣ４にて基準点１３が検出されるとカメラ対「Ｂ，Ｃ」の精密校正が可能となる。なお、精密校正を完了したカメラ対「Ａ，Ｂ」に関する要求位置は既に要求情報４１１から削除されている。

次いで第４２フレームでは基準点検出部４２０がカメラＢ及びＣの画像それぞれから新たに基準点像を検出し、基準点情報４１３にその検出結果が追記される（図８（ｂ））。要求設定部４２２は、カメラＢ側で新たに検出された基準点像がエリアＢ３内であること、及びカメラＣ側で新たに検出された基準点像がエリアＣ４内であることを確認したので、カメラ対「Ｂ，Ｃ」の要求位置であったエリアＢ３及びエリアＣ４を要求情報４１１から削除した（ステップＳ１０、図９（ｂ））。この要求位置更新の結果、カメラ対「Ｂ，Ｃ」の精密校正に必要な要求位置全てにて基準点が検出されたことが判定され（ステップＳ１１にて「ＹＥＳ」判定）、精密校正部４２４はカメラ対「Ｂ，Ｃ」の基準点情報４１３を用いて精密校正を行い、精密校正が完了したことを連鎖判定テーブル４１５に記録した（ステップＳ１３、図１０（ｂ））。

このカメラ対「Ｂ，Ｃ」の精密校正が完了した時点で、精密校正が完了しているカメラ対は「Ａ，Ｂ」及び「Ｂ，Ｃ」の２組である（図１０（ｂ））。つまり、カメラＩＤ「Ａ」，「Ｂ」，「Ｃ」の３つのカメラ２について精密校正が終わっている。ここで、カメラ「Ａ」と「Ｃ」とはカメラ「Ｂ」を介して接続しており、これら３つのカメラ２は接続関係があることが連鎖判定テーブル４１５に基づいて判定される。

この時点でカメラＩＤ「Ｄ」〜「Ｈ」の５つのカメラ２が精密校正未了として残っているので、ステップＳ１４ではまだ全校正完了とは判定されない。なお、連鎖判定テーブル４１５からカメラ「Ａ」，「Ｂ」，「Ｃ」は接続関係にあることが判定できるため、連鎖判定テーブル４１５においてカメラ対「Ａ，Ｃ」の精密校正が未了であるとの記録がされていても全校正完了が判定される。つまり、この例では全校正完了の判定に際して、カメラ対「Ａ，Ｃ」の精密校正は全校正完了の必須条件とはならない。

ステップＳ９にて精密校正が未了のカメラ対がない場合には（Ｓ９にて「ＮＯ」の場合）、精密校正部４２４はステップＳ１０〜Ｓ１３をスキップしてステップＳ１４の完了確認を行う。

また、ステップＳ１１にて要求情報４１１を満たすカメラ対が無い場合には（Ｓ１１にて「ＮＯ」の場合）、画像処理部４２は推奨立ち位置算出部４２３として動作し、要求位置への基準点設置のために適した作業者の立ち位置を算出して作業者に提示する（Ｓ１２）。

図７を参照して推奨立ち位置の提示処理（Ｓ１２）を説明する。

まず、推奨立ち位置算出部４２３は、精密校正が未了であるカメラ対の中から表示部５に推奨立ち位置を提示する提示カメラ対を１つ選定する（Ｓ２０）。具体的には推奨立ち位置算出部４２３は、１フレーム前に選定した提示カメラ対を選定することで提示のばたつきを抑制する。これにより作業者が現在共通視野を照射しているカメラ対が選定されるので作業者の無駄な移動を減じることができる。推奨立ち位置算出部４２３は、次フレームでの選定に備えて、現フレームにて選定した提示カメラ対を記憶部４１に記憶させておく。

一方、１フレーム前に選定した提示カメラ対から一定期間新たな基準点１３が検出されないときは提示カメラ対を変更する。すなわち、この場合には推奨立ち位置算出部４２３は基準点情報４１３を参照してフレーム番号が最新である基準点像に対応付けられたカメラＩＤの精密校正未了カメラ対を選定する。

次に推奨立ち位置算出部４２３は、提示カメラ対の要求情報４１１を参照して、当該カメラ対を構成するカメラのうち要求位置の残存数が多い方のカメラを、推奨立ち位置を提示する提示カメラに選定する（Ｓ２１）。また、次フレームでの選定に備えて推奨立ち位置算出部４２３は現フレームにて選定した提示カメラを記憶部４１に記憶させておく。なお、要求位置が同数の場合は１フレーム前に選定した提示カメラを選定することで提示のばたつきを抑制する。要求位置の数と前回提示カメラの条件とを課しても提示カメラ対の１つを提示カメラとして選定できないときはカメラＩＤが若い方のカメラを選定する。

続く推奨立ち位置算出部４２３の処理Ｓ２２〜Ｓ２５は図１１〜図１３に示す具体例を参照しつつ説明する。これら図に示す例では提示カメラ対が「Ｂ，Ｃ」であり、提示カメラを「Ｂ」とする。図１１はカメラ２Ｂ，２Ｃの画像領域２２ｂ，２２ｃにて直接的に求まる死角形成位置の例を示しており、図１２は図１１に対応する作業者立ち位置の算出例を示している。また、図１３は推奨立ち位置の絞り込みの例を示している。なお、図１１（ａ）及び図１２（ａ）はカメラ２Ｂの画像領域２２ｂ，２３ｂを、また図１１（ｂ）及び図１２（ｂ）はカメラ２Ｃの画像領域２２ｃ，２３ｃをそれぞれ示している。

推奨立ち位置算出部４２３は、提示カメラ側の処理対象とする要求位置を提示カメラ対の他方側に投影し（Ｓ２２）、推奨立ち位置算出部４２３は、要求位置とその投影像とを基に死角形成位置を算出する（Ｓ２３）。

具体的には、推奨立ち位置算出部４２３は提示カメラの位置（提示カメラの画像中心）と要求位置を結ぶ視線に交差するエリアを提示カメラ側の死角形成位置と判定する。図１１では、カメラ２Ｂ側のエリアＢ３（画像領域２２ｂの太線内）が処理対象とする要求位置である。カメラ２Ｂ側ではカメラ２Ｂの位置と要求位置Ｂ３とを結ぶ直線が交差する領域２２０（画像領域２２ｂの斜め格子部分）が直接的な死角形成位置として算出され、領域２２０を包含するエリアＢ１がエリア単位での死角形成位置として算出される。

次に、推奨立ち位置算出部４２３は提示カメラ対のカメラパラメータ４１０を用いた座標変換により投影を行い、他方カメラの位置（他方カメラの画像中心）と要求位置の投影像とを結ぶ視線に交差するエリアを他方カメラ側の死角形成位置と判定する。図１１に示す例では、カメラ２Ｃ側にて要求位置Ｂ３に対応する領域２２１（画像領域２２ｃの斜線部分）に対する死角形成位置が算出される。具体的には、要求位置Ｂ３をカメラ２Ｃ側に投影して投影像（領域２２１）を算出し、その投影像とカメラ２Ｃの位置とを結ぶ直線が交差する領域２２２（画像領域２２ｃの斜め格子部分）がカメラ２Ｃ側の直接的な死角形成位置として算出される。そして図１２に示すように、領域２２２を包含するエリアＣ１，Ｃ３〜Ｃ５（画像領域２３ｃの太線内）がエリア単位での死角形成位置として算出される。

続いて推奨立ち位置算出部４２３は、ステップＳ２３で算出した死角形成位置を除外した領域を推奨立ち位置として算出する（Ｓ２４）。具体的には、推奨立ち位置算出部４２３は提示カメラ対のカメラパラメータ４１０を用いた座標変換により他方カメラ側の死角形成位置を提示カメラ側に逆投影し、提示カメラ側の画像全体から提示カメラ側の死角形成位置と他方カメラ側の死角形成位置の逆投影像とを除いた領域を推奨立ち位置として算出する。図１２に示す例では、カメラ２Ｃ側での死角形成位置であるエリアＣ１，Ｃ３〜Ｃ５をカメラ２Ｂ側に投影して投影像を算出する。要求位置の基準点１３はカメラ対から同時撮影される必要があり、この条件から、カメラ２Ｂ側では、カメラ２Ｂ側でのエリア単位の死角形成位置であるエリアＢ１と、カメラ２Ｃ側でのエリア単位の死角形成位置の投影像との和領域２３０（画像領域２３ｂの斜め格子部分）が、要求位置Ｂ３に対する基準点設置に際して作業者の存在を禁止する禁止領域となり、当該禁止領域を除いた領域２３１（画像領域２３ｂの横線部分）がカメラ２Ｂ側での作業者の推奨立ち位置となる。

さらに推奨立ち位置算出部４２３は推奨立ち位置の絞り込みを行う（Ｓ２５）。例えば、推奨立ち位置算出部４２３は、提示カメラ側の要求位置の重心を求め、当該重心を中心とする円をその半径を順次大きくしながら設定し、当該円とステップＳ２４で算出した推奨立ち位置との重複領域を算出する処理を、重複領域の数が４つになるまで、又は重複領域の面積が推奨立ち位置の面積の５０％になるまで繰り返す。そして推奨立ち位置算出部４２３は、重複領域が４つとなったとき、又は重複領域の面積が推奨立ち位置の５０％となったときの当該重複領域を最終的な推奨立ち位置とする。また、図１３に示す例では、さらに禁止領域２３０から一定の距離内（点線内）であるという条件で推奨立ち位置を絞り込んでおり、４か所の領域２３２（図１３の横線部分の領域）が推奨立ち位置として得られている。

推奨立ち位置算出部４２３は、要求位置、ステップＳ２５にて絞り込んだ推奨立ち位置、及びメッセージを提示カメラの画像に重畳して合成画像を生成し（Ｓ２６）、合成画像を表示通信部４３に出力する（Ｓ２７）。

合成画像を入力された表示通信部４３は当該合成画像を表示部５に送信し、当該合成画像を受信した表示部５は当該合成画像をディスプレイに表示する。図１４は図１３の例に対応した、表示部５における推奨立ち位置を提示する表示画面の一例であり、推奨立ち位置（領域２４０）、要求位置Ｂ３（領域２４１）及びメッセージ２４２をカメラ２Ｂによる撮影画像に合成した合成画像が表示される。ちなみに、推奨立ち位置と要求位置Ｂ３とは色分けなどにより識別容易なように表示することが好適であり、例えば、図１４では推奨立ち位置は赤色、要求位置Ｂ３は緑色で表示される。

また、図１５は図１３の例に対応した、表示部５における推奨立ち位置を提示する表示画面の他の例である。図１５（ａ）は特定した要求位置（領域２４１）と共に禁止領域２４３、つまり死角形成位置を表示する例である。死角形成位置を表示することで、作業者１０にはその外側が推奨立ち位置であることが示される。図１５（ｂ）は死角形成位置を囲む帯状領域２４４を推奨立ち位置として表示、提示している。

こうして要求位置及び推奨立ち位置が作業者に提示され、作業者は推奨立ち位置に立って要求位置を照射する。こうすることで作業者は要求位置に死角を形成する失敗を回避して効率的に基準点１３を設置できるので、少ない作業負担で校正作業を完了することが可能となる。

またステップＳ２５の処理により推奨立ち位置は要求位置に近い位置に絞り込まれる。要求位置に近い位置から照射するほど要求位置に形成される光像の輝度が高くなるので、要求位置に死角を形成しない立ち位置であることに加えて基準点１３が検出されやすい立ち位置を作業者に提示することができる。これにより基準点１３が撮影ができても検出できない失敗をさらに回避することができるので、少ない作業負担で校正作業を完了することが可能となる。

またステップＳ２５の絞り込みにて推奨立ち位置を複数の重複領域、またはある程度の面積を有する重複領域としたことで物体１２のごとき床面でない領域のみを推奨立ち位置とすることを防ぐことができる。さらに、ステップＳ２６の合成にて撮影画像に重畳したことで実際に立つ位置を作業者が判断できる。

なお、カメラ２の配置によっては要求位置が多いときに推奨立ち位置が全く無くなる場合がある。このときは要求位置のみを撮影画像に合成して出力してもよい。

推奨立ち位置の提示（Ｓ１２）を行うと、画像処理部４２は処理を図６のステップＳ１へ戻して次フレームの同時撮影画像に対する処理を行う。

なお、ステップＳ２５の絞り込みにて、推奨立ち位置を死角形成位置の周りの帯状領域に絞り込んでもよい。この場合、前述のカメラ２Ｂ，２Ｃの例では、推奨立ち位置は図１５（ｂ）にて横線で示す領域となる。当該帯の幅は人の幅程度とするのがよい。

上述の実施形態では、表示部５に要求位置及び推奨立ち位置を表示している。これに対して、表示部５に要求位置及び死角形成位置を表示することで、死角形成位置の外側を推奨立ち位置として提示してもよい。これは図１５（ａ）の表示例に相当する。図１６はこの場合の推奨立ち位置の提示処理の概略を示すフロー図である。ステップＳ２０〜Ｓ２３は図７と同様である。ステップＳ２３に続いて、提示カメラの画像に要求位置及び死角形成位置を合成し（Ｓ２８）、当該合成画像を表示通信部４３経由で表示部５に出力する（Ｓ２９）。

［カメラシステム１の３次元計測処理における動作］
校正処理を終えたカメラシステム１は監視空間を３次元計測する計測処理へと移行する。

図１７はカメラシステム１の計測処理における動作の概略を示すフロー図である。図１７を参照してカメラシステム１の計測処理における動作を説明する。

３次元計測処理の実行時において、上述の校正処理と同様、各カメラ２は自身の視野を順次撮影し、制御装置４に撮影画像を送信する。制御装置４の画像取得部４０は同時撮影画像を順次、制御装置４の画像処理部４２に入力する。この状態にて作業者は監視空間内を移動しながら照射器３により監視空間に存在する什器等の物体１２を照射する。

画像処理部４２は同時撮影画像を取得すると（Ｓ５０）、要求設定部４２２として動作し、各画像を互いに色が類似する隣接画素のまとまりに分割して分割領域を生成し（Ｓ５１）、各分割領域をそれぞれ３個以上の基準点１３の検出を要求する要求位置とする要求情報４１１を生成して記憶部４１に記憶させる（Ｓ５２）。図１８は計測処理における要求情報４１１の設定例を示す画像領域の模式図である。図１８はカメラ２Ｂ，２Ｃに対する要求情報４１１の例を示しており、画像領域２４ｂに示すようにカメラ２Ｂに対しては、什器の面に要求位置ｂ３，ｂ４、壁の面に要求位置ｂ１，ｂ５、及び床面に要求位置ｂ２がそれぞれ設定される。また、画像領域２４ｃに示すようにカメラ２Ｃに対しては、什器の面に要求位置ｃ２，ｃ３，ｃ４、壁の面に要求位置ｃ５，ｃ６、及び床面に要求位置ｃ１がそれぞれ設定される。

要求情報４１１の生成後、画像処理部４２は同時撮影画像が入力されるたびにステップＳ５３〜Ｓ６２の処理を繰り返す。

まず、画像処理部４２は同時撮影画像を取得すると（Ｓ５３）、基準点検出部４２０として動作し、各同時撮影画像に差分処理を施して当該同時撮影画像から基準点１３を検出し、当該基準点１３の画像上での座標に当該画像のカメラＩＤ及び当該画像のフレーム番号を対応付けて記憶部４１の基準点情報４１３に記憶させる（Ｓ５４）。

次に画像処理部４２は要求設定部４２２として動作し、基準点情報４１３と要求情報４１１とを参照して３個以上の基準点１３が検出された要求位置があるか否かを確認する（Ｓ５５）。

該当する要求位置があれば（Ｓ５５にて「ＹＥＳ」の場合）、画像処理部４２は物体計測部４２５として動作し、当該要求位置にて検出された基準点１３に三角測量の原理を適用して３次元計測を行い（Ｓ５７）、当該要求位置である分割領域の平面を導出する（Ｓ５８）。そして、導出した平面の情報を記憶部４１の物体計測情報４１４に記憶させる（Ｓ５９）。またこのとき要求設定部４２２は、３次元計測を行った要求位置を要求情報４１１から削除する。

一方、３個以上の基準点１３が検出された要求位置がない場合（Ｓ５５にて「ＮＯ」の場合）、画像処理部４２は推奨立ち位置算出部４２３として動作し、基準点１３が３個未満である要求位置に対する推奨立ち位置を提示する（Ｓ５６）。ステップＳ５６における処理は図７または図１６を用いて説明した処理と同じである。これにより、校正処理の場合と同様、要求位置及び推奨立ち位置が作業者に提示され、要求位置から基準点１３を検出する作業の効率が向上する。なお、各要求位置に複数個の基準点１３の検出を要求する計測処理では、表示部５の画面表示は、要求位置ごとに既検出の基準点１３の個数が作業者に分かるように行うこともできる。例えば、画面に要求位置のエリアの区画と当該エリアでの検出個数の数字を表示したり、エリアごとに検出個数に応じて色の濃さを変えるなどとしたりできる。これにより、作業者には、要求位置として表示されていたエリアが要求位置ではなくなり表示部５に表示されなくなったことだけでなく、より詳細な作業進捗状況を提示でき、作業効率の向上を図れる。

ここで、計測処理においては基準点１３の設置が困難な要求位置が含まれている場合がある。例えば、物体１２の高さが高いときに、床面に立つ作業者１０が物体１２の上面である要求位置ｂ３やｃ２に照射を行うことは困難である。このようなとき、作業者が表示部５の提示画像内で設置困難な要求位置を指定して要求解除の入力を行う。ステップＳ６０にて要求設定部４２２は要求解除入力を確認し、入力があれば該当する要求位置を要求情報４１１から削除する（Ｓ６０にて「ＹＥＳ」→Ｓ６１）。一方、要求解除入力がない場合はステップＳ６１はスキップする（Ｓ６０にて「ＮＯ」の場合）。

続いて物体計測部４２５は、要求情報４１１を確認し（Ｓ６２）、要求位置の情報が無くなっていれば計測処理を終了する（Ｓ６２にて「ＹＥＳ」→Ｓ６３）。一方、要求位置が残っていれば（Ｓ６２にて「ＮＯ」）、画像処理部４２は処理をステップＳ５３に戻して次フレームの同時撮影画像に対する処理を行う。

［変形例］
（１）上述の実施形態では、基準点１３を用いてカメラのＸＹ座標及び光軸方向の概略校正値を設定する例を示したが、概略校正値としてカメラ配置に関する工事計画時の値を事前設定し、概略校正を省略してもよい。

（２）照射器３は上述したスポット光を出力するものに代えて、予め定めた十字パターンなどのパターン光を出力する光源でもよい。この場合、基準点検出部４２０は光像の重心に代えて十字パターン中の交点など、パターン中の所定形状点を基準点１３として検出してもよい。

（３）上記実施形態では、作業者１０が携帯するレーザーポインタにより照射して基準点１３を設置する例を示したが、これに限らず、要求位置に作業者が死角を形成し得る他の構成にも本発明を適用することができる。図１９は画像にて基準点１３を形成する他の装置の例を示す模式図である。例えば、基準点１３である発光装置３１などを付設したローラー３２（図１９（ａ））や台車３３（図１９（ｂ））等を作業者１０が移動させることにより基準点１３を設置するときにも本発明は好適である。

（４）上記実施形態では、推奨立ち位置算出部４２３はカメラ対の両方のカメラから死角にならないように作業者１０に推奨立ち位置を算出し出力した。別の簡易な実施形態において推奨立ち位置算出部４２３は他方カメラ側の死角形成位置算出を省略し、提示カメラ側の死角形成位置のみから推奨立ち位置を算出し出力する。この構成は、計算量が削減できることと、推奨立ち位置が無くなる可能性が減ることがメリットであり、要求位置が多い段階で有効となる。この構成では、推奨立ち位置が他方カメラに対して要求位置の一部に死角を形成し得るのでその分、基準点再設定の可能性を残すが、新たに設置される基準点１３の位置によっては、他方カメラの撮影画像から当該基準点１３が検出されて再設定は不要となる。よって、上記実施形態ほどではないものの、作業効率の向上の効果が得られる。さらに、注目カメラと共通視野を有するカメラ（他方カメラ）が複数存在する場合には、いずれかの他方カメラが注目カメラと同時に基準点１３を検出することが期待でき、再設定が必要になる可能性が低くなり、作業効率が向上する。

（５）照射器３が自身の測位、並びに光線の照射方位及びチルト角の検出を行うと共に、レーザー距離計測などにより照射点までの距離計測を行う機能を備え、それらの情報に基づいて照射器３又は制御装置４が照射点の位置を算出する構成では、単体のカメラでの基準点検出で当該カメラの校正処理を行うことができる。この構成では要求設定部４２２は、カメラ対ごとに要求を設定するのではなく、カメラ２ごとに要求位置（例えば上述の９エリア）を設定し、注目カメラに対する死角形成のみを回避する推奨立ち位置を算出し出力すれば十分である。

なお、単体カメラでの死角回避で足りるとする上記（４）、（５）の構成において作業者１０への死角形成位置の提示の仕方は上記実施形態と同様に行うことができる。例えば、表示通信部４３は、死角形成位置の情報として死角形成位置自体を出力してもよいし、同情報として死角形成位置以外の位置、つまり死角の形成を回避可能な作業者立ち位置を表示してもよい。

（６）上記実施形態で述べたようにカメラ２の校正処理には一般的には、同一直線上にない４個以上の基準点１３が同時撮影画像から検出されることを要する。しかし、カメラ２の位置・姿勢の自由度のうち一部が既知であり校正不要であるような場合には、校正処理に最低限必要とされる基準点１３の検出個数は４個未満とすることもできる。

（７）上記実施形態では死角形成作業者位置の出力は表示通信部４３から表示部５のディスプレイへの画像出力としているが、当該出力の形態はこれに限定されない。例えば、音声出力や、紙などの媒体への印刷とすることができる。

１カメラシステム、２，２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅ，２Ｆ，２Ｇ，２Ｈカメラ、３照射器、４制御装置、５表示部、１０作業者、１１基準面、１２物体、４０画像取得部、４１記憶部、４２画像処理部、４３表示通信部、４００カメラ通信部、４０１同期制御部、４１０カメラパラメータ、４１１要求情報、４１２照射限界値、４１３基準点情報、４１４物体計測情報、４２０基準点検出部、４２１概略校正部、４２２要求設定部、４２３推奨立ち位置算出部、４２４精密校正部、４２５物体計測部。

Claims

所定の空間内を撮影する一又は複数のカメラと、前記カメラが撮影した画像を処理する制御装置と、前記カメラで撮影可能であり作業者によって設置される基準点とを備えて構成されるカメラシステムであって、
前記制御装置は、
前記空間内における前記カメラの位置・姿勢を含むカメラパラメータと前記基準点の設置が必要な前記空間内の要求位置とを少なくとも記憶する記憶部と、
前記カメラが撮影した画像から前記基準点を検出する基準点検出部と、
前記カメラの前記カメラパラメータ及び前記要求位置を用いて、当該カメラから当該要求位置への視線方向の位置を、前記作業者が存在すると当該カメラから当該要求位置を撮影できなくなる死角形成作業者位置として算出する作業者位置算出部と、
前記死角形成作業者位置を出力する出力部と、
を備えたことを特徴とするカメラシステム。
前記出力部は前記要求位置を出力すること、を特徴とした請求項１に記載のカメラシステム。
前記カメラは前記空間内にて共通視野を有するように複数配置され、
前記制御装置は、前記基準点を用いて前記カメラパラメータを校正する校正部を更に有し、
前記校正部は、前記複数のカメラが同時に撮影した画像それぞれにて前記基準点検出部が前記基準点として基準点像を検出した場合に、当該複数の基準点像が前記空間における同一位置であるとの拘束条件を適用して前記カメラパラメータを校正すること、
を特徴とした請求項１又は請求項２に記載のカメラシステム。
前記制御装置は、前記基準点検出部が前記共通視野内の前記要求位置に存在する前記基準点を検出した場合にのみ、当該基準点が撮影された当該要求位置を前記記憶部から削除する要求位置設定部を更に有すること、を特徴とした請求項３に記載のカメラシステム。
前記制御装置は、前記カメラが撮影した画像を当該カメラの光軸と撮影平面との交点から放射状に所定角度ごとに区分した区分領域を単位として前記要求位置を設定する要求位置設定部を更に有すること、を特徴とした請求項１から請求項４のいずれか１つに記載のカメラシステム。