JP2014138275A - 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム - Google Patents

Abstract

【課題】撮像装置と該撮像装置を外部から制御する遠隔操作端末との間の通信に遅延がある場合でも、撮影制御に有利な撮像装置を提供する。
【解決手段】光学系を介した被写体像を光電変換して画像信号を生成する撮像手段と、撮像手段から得られた画像信号に基づいて被写体の位置を検出する被写体検出手段と、検出された被写体ごとに識別情報を割り当てる識別情報生成手段と、検出された被写体を追尾する追尾手段と、上記画像信号と、検出された被写体の位置情報と、割り当てられた被写体ごとの識別情報と、を遠隔操作端末に送信するとともに、遠隔操作端末の表示部に表示中の画像上で被写体が指定されたとき、遠隔操作端末により判別された該指定された被写体の識別情報を受信する通信手段と、受信した識別情報と追尾手段の出力とに基づいて撮影制御を行う制御手段と、を有する。
【選択図】図４

Description

本発明は、撮像装置と、該撮像装置を外部から操作する遠隔操作端末を含む、撮像装置の遠隔操作システムの制御に関するものである。

特許文献１には、カメラ２と、該カメラ２を外部から制御可能なコントローラ１とからなるカメラシステムについて開示されている。このカメラシステムでは、操作者がコントローラ１を操作することで、カメラ２から送信される撮影画像データを観察しながら、フォーカス位置・測光位置を所望の被写体の位置に設定（指定）することができる。該設定がなされたとき、コントローラ１はカメラ２に対し設定された被写体の位置に関する情報を送信することで、カメラ２は受信した位置情報を基に所望の被写体の位置においてＡＦ・ＡＥ処理等を実行することができる。

特開２００９−２７３０３３号公報

しかしながら、上記従来技術では、移動している人物など動きがある被写体に対してＡＦ・ＡＥ制御を行うように操作者が該被写体を指定しようとした場合に、指定した被写体とは異なる被写体に対してＡＦ・ＡＥ制御が行われてしまうという問題があった。以下、この問題について、図５を用いて説明する。

図５は、カメラ２で撮影されている画像と、コントローラ１で表示されている画像を並べて示したものである。左側の図５（ａ）、図５（ｂ）、図５（ｃ）はそれぞれ、時刻ｔ１、ｔ２、ｔ３におけるカメラ２の画像を示しており、時刻ｔ１→ｔ２→ｔ３の順に時間が経過している。右側の図５（ｄ）は時刻ｔ２におけるコントローラ１の画像である。

コントローラ１の表示部には、カメラ２から無線または有線の通信手段にて送信された動画像がリアルタイムで表示される。ただし画像データはデータ量が膨大であるため、カメラ２で撮像された動画像が通信を介してコントローラ１の表示部に表示されるまでの間に遅延が生じてしまう。この遅延はデータ通信に要する時間のほか、通信データ量を削減するためにカメラ２で画像データを圧縮したり、コントローラ１で圧縮されたデータを復元したりする時間等も含まれる。

このように、画像データの通信に遅延がある場合の、従来技術での動作を図５に従って説明する。図５において、図５（ａ）は時刻ｔ１の時点でカメラ２が撮像した画像であり、人物５０１と背景５０２が含まれている。図５（ａ）の画像がコントローラ１に送信され表示される間には遅延が発生するため、コントローラ１では時刻ｔ２の時点で表示される(図５（ｄ）)。操作者は図５（ｄ）の画面表示に対して、指５０４にて画面上の人物５０１の部分をタッチパネルで指定し、人物５０１に対してＡＦ・ＡＥ制御を行うようにカメラ２に指示しようとする。コントローラ１はタッチされた位置を検出し、点線で示したＡＦ・ＡＥ制御の対象領域５０３を決定する。さらにコントローラ１は、対象領域５０３の位置情報と、対象領域５０３に対してＡＦ・ＡＥ制御を行うことを指示する制御命令をカメラ２に送信する。そして時刻ｔ３の時点でカメラ２が対象領域５０３の位置情報および制御命令を受信し、対象領域５０３に対してＡＦ・ＡＥ制御を実行する。

しかしながら、人物５０１が図５（ａ）→図５（ｂ）→図５（ｃ）のように画面上の右から左方向に移動していた場合、時刻ｔ３の時点ではＡＦ・ＡＥ制御の対象領域５０３には背景５０２のみが含まれており、人物５０１は対象領域外にある。このため、人物５０１ではなく背景５０２に対してＡＦ・ＡＥ制御が実行されてしまう。

このように、従来技術ではカメラ２とコントローラ１との間の通信の遅延により、動きがある被写体に対してＡＦ・ＡＥ制御領域を正しく指定できず、操作者が意図した被写体とは異なる被写体に対してＡＦ・ＡＥ制御が行われてしまうという問題があった。

本発明は、撮像装置と遠隔操作端末との間の通信に遅延がある場合でも、撮影制御に有利な撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラムを提供する。

本発明の一側面としての撮像装置は、遠隔操作端末により外部から制御される撮像装置であって、光学系を介した被写体像を光電変換して画像信号を生成する撮像手段と、前記撮像手段から得られた画像信号に基づいて被写体の位置を検出する被写体検出手段と、前記被写体検出手段により検出された被写体ごとに識別情報を割り当てる識別情報生成手段と、前記被写体検出手段により検出された被写体を追尾する追尾手段と、前記撮像手段により生成された画像信号と、前記被写体検出手段により検出された被写体の位置情報と、前記識別情報生成手段により割り当てられた被写体ごとの識別情報と、を前記遠隔操作端末に送信するとともに、前記遠隔操作端末の表示部に表示中の画像上で被写体が指定されたとき、前記遠隔操作端末により判別された前記指定された被写体の識別情報を受信する通信手段と、受信した前記識別情報と前記追尾手段の出力とに基づいて撮影制御を行う制御手段と、を有することを特徴とする。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、撮像装置と遠隔操作端末との間の通信に遅延がある場合でも、撮影制御に有利な撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラムを提供できる。

本発明の実施例における、カメラ本体１０１およびリモート操作端末１０２の構成を示すブロック図である。 本発明の実施例における、カメラ本体１０１側での被写体検出、識別情報設定および被写体追尾の制御を説明するための図である。 本発明の実施例における、リモート操作端末１０２側での被写体識別情報の判別処理を説明するための図である。 本発明の実施例における、カメラ本体１０１とリモート操作端末１０２との間の通信によるＡＦ・ＡＥ制御領域の指定処理動作を示すフローチャート図である。 従来技術における、被写体の動きがある場合のＡＦ・ＡＥ制御領域指定の誤動作を示す図である。

図１は、本発明の実施例であるデジタルビデオカメラ（以下、カメラ本体という。）および該カメラ本体（撮像装置）を遠隔（外部）から操作する機能を有するリモート操作端末（遠隔操作端末）の構成をブロック図で示している。なお、本実施例では、カメラ本体がデジタルビデオカメラである場合について説明するが、本発明は、デジタルスチルカメラ等、他の撮像装置への適用も可能である。

図１において、１０１および１０２はそれぞれ、カメラ本体とリモート操作端末を示している。以下でまず、カメラ本体１０１の構成要素について説明する。

１０３は撮像光学系であるレンズ部であり、被写体像の焦点調節を行うフォーカスレンズを含む複数の光学レンズ、レンズを通過する光量を調節する絞り、およびそれらを駆動するモータなどから構成されている。なお、本実施例ではレンズ部がカメラ本体と一体である、いわゆるレンズ一体型の撮像装置の構成を例として挙げているが、一眼レフカメラのようにレンズ部が交換可能なレンズ交換型の撮像装置、いわゆる交換レンズシステムの構成であってもよい。

１０４は撮像部であり、光学系を介した被写体像を光電変換するＣＣＤセンサやＣＭＯＳセンサなどの撮像素子（撮像手段）と、その出力をサンプリング、ゲイン調整、デジタル化する信号処理回路等から構成されている。１０５は撮像部１０４の出力信号に対して各種の画像処理を施し、映像信号（画像信号）を生成するカメラ信号処理回路である。カメラ信号処理回路１０５ではこのほか、後述するカメラ制御部１０９によって設定されるＡＦ領域、ＡＥ領域の映像信号から、焦点調節に用いる焦点信号や露出調整に用いる輝度信号などを生成してカメラ制御部１０９に出力する。

１０６はカメラ信号処理回路１０５からの映像信号を表示する表示部、１０７はカメラ信号処理回路１０５からの映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する記録部である。

１０８はカメラ信号処理回路１０５からの画像信号に対して公知の顔検出処理を施し、撮影画面内の人物の顔領域（被写体領域）の位置及び大きさを検出する顔検出処理回路（被写体検出手段）である。公知の顔検出処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、あらかじめ用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が開示されている。また、例えば、抽出された目、鼻、口等の顔の特徴点からパターン認識を行う方法等も開示されている。

顔検出処理回路１０８は、その検出結果をカメラ制御部１０９に出力する。カメラ制御部１０９は制御プログラムに基づいてカメラ本体１０１を統括的に制御するマイクロコンピュータである。本実施例にて後述するカメラ本体１０１の各種制御もカメラ制御部１０９で実行される。なお、制御プログラムやデータを格納するための図示しないＦｌａｓｈＲＯＭやＤＲＡＭなどのメモリもカメラ制御部１０９に接続されている。これによって、カメラ制御部（制御手段）１０９は、顔検出処理回路１０８で検出した被写体に対して撮影制御（ＡＦ制御（自動焦点調節制御）、ＡＥ制御（自動露出調節制御）、ＡＷＢ制御等）を行うことができる。また、カメラ制御部（追尾手段）１０９は、検出した被写体が移動してもその位置を追尾することができ、例えば移動した被写体位置に合わせてＡＦ・ＡＥ制御領域を移動させることで、移動する被写体に対しても正しくＡＦ・ＡＥ制御を行うことができる。

１１０はレンズ制御部であり、カメラ制御部１０９から出力される制御信号に基づいて、レンズ部１０３のモータを制御し、フォーカスレンズや絞りを駆動する。１１１は操作キーやタッチパネル等で構成される操作部であり、撮影者がカメラ本体１０１を操作して撮影や記録画像の再生、各種設定等を行う際に用いられ、操作信号をカメラ制御部１０９に出力する。

１１２はリモート操作端末１０２との間で画像データ（動画像）や制御データをやり取りするための通信を制御するカメラ通信制御部である。通信手段としては例えば無線ＬＡＮや携帯電話回線等の無線通信でも良いし、有線ＬＡＮ等の有線通信でも構わない。１１３は無線通信を行う場合に使用される通信手段（第１の通信手段）で、無線信号を入出力するためのアンテナである。

次に以下で、リモート操作端末１０２の構成要素について説明する。１１４はカメラ本体１０１から受信した画像データや、各種設定データなどを表示する端末表示部であり、液晶表示装置（ＬＣＤ）等から構成されている。タッチパネル部１１５は端末表示部１１４の表示面に重ねて配置されており、撮影者がタッチパネル上をタッチするとその座標情報（操作情報）を後述する端末制御部１１６に出力する。

端末制御部１１６は不図示のメモリ等に記憶された制御プログラムに基づいてリモート操作端末１０２を統括的に制御するマイクロコンピュータである。本実施例にて後述するリモート操作端末１０２の各種制御も端末制御部１１６で実行される。なお、制御プログラムやデータを格納するための図示しないＦｌａｓｈＲＯＭやＤＲＡＭなどのメモリも端末制御部１１６に接続されている。

１１７は操作キー等で構成される端末操作部であり、撮影者がリモート操作端末１０２を操作して各種設定等を行う際に用いられ、操作信号を端末制御部１１６に出力する。なお、端末操作部１１７が、操作メニューの選択や端末表示部１１４上の画面領域を指定する十字キー、決定キーなどを備えている場合、タッチパネル部１１５を省略した構成とすることもできる。

１１８はカメラ本体１０１との間で画像データや制御データをやり取りするための通信を制御する端末通信制御部であり、１１９は無線通信を行う場合に使用される通信手段（第２の通信手段）で、無線信号を入出力するためのアンテナである。

次に以下で、カメラ本体１０１で行われる、被写体（顔）の検出、識別情報の設定および被写体追尾の制御について、図２を用いて説明する。

図２（ａ）はある時刻においてカメラ本体１０１で撮影された動画像のフレーム（フレーム（ｉ）と表記している）であり、画面上に人物の画像２０１および２０２が撮影されている。ここで人物の画像２０１および２０２はこの画面で初めて撮影されたものとする。図２（ｂ）は図２（ａ）の画像に対して顔検出処理回路１０８によって顔が検出された結果を示しており、人物の画像２０１および２０２の顔の画面上の位置（顔位置）および大きさ（顔サイズ）が検出されている。顔位置及び顔サイズは画面の横軸をＸ軸、縦軸をＹ軸とした座標系上のピクセル単位で表記している。なお図２（ａ）の画面上の点線の枠は、顔検出処理回路１０８によって検出された顔の位置及び大きさを画像に重畳して表示したものである。これらの検出結果は前述したようにカメラ制御部１０９に出力され、カメラ制御部１０９（識別情報生成手段）により検出された被写体の識別情報である被写体ＩＤが設定（生成）される。前述したように人物の画像２０１および２０２はフレーム（ｉ）で初めて検出されたので、被写体ＩＤ＝１および２が設定され、顔位置及び顔サイズのデータとあわせて不図示のメモリに記憶される。

図２（ｃ）は、フレーム（ｉ）の次のフレーム（フレーム（ｉ＋１）と表記している）であり、人物の画像２０３および２０４が撮影されている。人物の画像２０３と２０４はそれぞれ、２０１と２０２と同じ人物であるが、それぞれが移動しているために画面上の位置及び大きさはやや変化している。図２（ｄ）はこの画像についての顔検出結果である。ここでフレーム（ｉ＋１）とフレーム（ｉ）の間隔は必ずしも連続していなくともよく、顔検出処理回路１０８の処理能力によっては２から数フレーム空く場合もある。これらの検出結果もカメラ制御部１０９に出力され、カメラ制御部１０９により直近の検出結果である人物の画像２０１、２０２のデータと比較される。

人物の画像２０１、２０２の顔位置および顔サイズのデータと、人物の画像２０３、２０４の顔位置および顔サイズのデータを比較すると、人物の画像２０３のデータは２０１に近いことが分かる。また、人物の画像２０４のデータは２０２に近いことが分かる。そこで人物の画像２０３は２０１と同じ人物であると判別され、被写体ＩＤは２０１と同じＩＤ＝１が設定される。同様に人物の画像２０４は２０２と同じ人物であると判断され、被写体ＩＤは２０２と同じＩＤ＝２が設定される。以上の処理を以降のフレームに対しても繰り返し実行することで、被写体が移動していても、同一の被写体に対して同一の被写体ＩＤを設定し、その位置を追尾することができる。

なお、追尾中に例えばＩＤ＝２の被写体が画面外に出てしまって顔が検出できなくなった場合には、ＩＤ＝２は対象となる被写体がないため欠番とする。また、新たな被写体が画面上に入ってきた場合は、それ以前から画面上にある被写体と重複しないように新たな被写体ＩＤ（例えばＩＤ＝３）が設定される。ここでＩＤ＝２が欠番である状態で新たな被写体が入ってきた場合、欠番であるＩＤ＝２を割り振っても重複は生じない。しかしながら、カメラ本体とリモート操作端末の通信に遅延がある場合にカメラ本体とリモート操作端末の間で被写体ＩＤの不整合が生じる可能性があるため、少なくとも通信の遅延に相当する時間の間は欠番のまま保持することが望ましい。

以上に説明したように、画面上に複数の被写体（顔）が存在していても、カメラ制御部１０９が識別情報として付与する被写体ＩＤによってそれぞれを識別することができる。さらに連続した動画像フレームにおける顔検出結果を比較することで、被写体（顔）が画面上で移動していても、同一の被写体かどうかを判別し、それぞれの被写体の位置を追尾することが可能となる。そして追尾した被写体の位置が常にＡＦ・ＡＥ制御の対象となるように、カメラ信号処理回路１０５に対するＡＦ領域・ＡＥ領域の設定を更新するように制御すれば、移動している被写体に合わせてＡＦ・ＡＥ制御領域を移動させることができる。なお、詳細なアルゴリズムは公知であるので省略する。

また、以上の説明では被写体を追尾するために顔位置と顔サイズのデータを用いたが、どちらか一方を用いたり、他の検出データをあわせて用いても構わない。例えば、近年は画像から人物の顔を検出するだけでなく、あらかじめ登録された特定の個人の顔の特徴と、カメラで撮影された画像を比較して、特定の個人の顔を識別する顔認識機能も実用化されている。このような機能を備えたカメラの場合には、前述したようなフレーム間での顔位置および顔サイズの類似性によらず、顔認識機能を用いて被写体位置を追尾することも可能である。また例えばＩＤ＝２の被写体が画面外に出た後、再び画面内に入ってきた場合、顔認識機能により同一人物であると判別できれば、新たなＩＤを設定するのではなく、以前に設定したＩＤ＝２を設定するようにする。そのようにすることで、被写体が画面から出入りしても追尾を継続することができる。

次に以下で、リモート操作端末１０２にて撮影者によって選択された被写体の識別情報を判別する処理について、図３を用いて説明する。

図３（ａ）はある時刻におけるリモート操作端末１０２の端末表示部１１４の表示画像であり、カメラ本体１０１から受信した画像信号に対応する画像が表示されている。また図３（ｂ）は、図３（ａ）で表示されている画像と略同期して受信した、被写体ＩＤ（被写体識別情報）、顔位置（被写体の位置情報）及び顔サイズ（被写体の大きさの情報）のデータを示したものである。顔位置及び顔サイズは、画面の横軸をＸ軸、縦軸をＹ軸とした座標系上のピクセル単位で表現されている。図３（ａ）の画像には人物の画像３０１および３０２が撮影されており、それぞれ被写体ＩＤ＝１および２に対応している。枠表示３０３および３０４は、図３（ｂ）に示した顔位置および顔サイズのデータから得られる顔領域を示しており、表示画像に重畳表示されている。

以下でまず、リモート操作端末１０２がタッチパネル部１１５を備えていて、撮影者がタッチパネル操作によりＡＦ・ＡＥ制御対象の被写体を指定する場合の処理について説明する。図３（ｃ）に示すように、撮影者の指３０５が端末表示部１１４に表示中の画像上で被写体３０１の顔部分にタッチしたとする。この時タッチパネル部１１５からは、図３（ｄ）に示すタッチ位置データが端末制御部１１６に出力される。端末制御部（判別手段）１１６では、図３（ｂ）に示した顔位置および顔サイズのデータと図３（ｄ）に示したタッチ位置データを比較し、撮影者が指定した被写体を判別する。この場合はタッチ位置データは被写体ＩＤ＝１の顔領域に近いことから、撮影者は被写体ＩＤ＝１の被写体を指定したと判別される。被写体ＩＤの判別がされたことを撮影者に示すため、図３（ｃ）に示すように判別された被写体の顔領域に２重の枠表示３０６が表示される。このようにタッチパネルを備えたリモート操作端末では、カメラ本体から受信した顔位置および顔サイズのデータと、タッチパネルから出力されるタッチ位置のデータを照合することで、撮影者が指定した被写体の識別情報（被写体ＩＤ）を判別することができる。なお、タッチ位置データとの照合は顔位置データだけでも可能であるので、カメラ本体から顔サイズ情報を受信しない構成としても構わない。

以上のように、本発明では、カメラ本体にて検出・追尾している被写体の位置情報および識別情報を、動画像データと略同期してリモート操作端末に送信するようにしている。そしてリモート操作端末側では、撮影者がタッチパネルで指定した被写体の位置情報と、カメラ本体から受信した被写体の位置情報とを照合し、撮影者が指定した被写体の識別情報を判別している。

また、リモート操作端末からカメラ本体には、ＡＦ・ＡＥ制御の対象として指定された被写体の識別情報を送信する。そしてカメラ本体では、リモート操作端末から受信した識別情報を用いて、画面上の被写体のうちどの被写体をＡＦ・ＡＥ制御の対象とするかを判別する。カメラ本体では、通信の遅延の間にも被写体の検出・追尾を継続しているので、撮影者に指定された被写体が移動していても、ＡＦ・ＡＥ制御領域を被写体に合わせた位置に設定することができる。

次に、リモート操作端末１０２がタッチパネル部１１５を備えておらず、撮影者が端末操作部１１７のみでＡＦ・ＡＥ制御対象の被写体を指定する場合の処理について説明する。図３（ａ）および図３（ｂ）については前述したとおりである。リモート操作端末１０２の端末操作部１１７には、被写体を選択するための選択キー（被写体選択手段）および被写体を決定するための決定キー（被写体決定手段）の少なくとも２種類のキー（スイッチ）が備えられているものとする。撮影者が選択キーを押すと、操作情報が端末制御部１１６に出力される。端末制御部１１６は端末表示部１１４を制御し、図３（ｅ）に示すように、被写体ＩＤ＝１の顔領域を示す枠表示を２重枠３０７で表示する。さらに撮影者がもう一度選択キーを押すと、図３（ｆ）に示すように被写体ＩＤ＝２の顔領域を２重枠３０８で表示するように制御される。このように表示を制御することで、撮影者が選択キーを押すごとに、画面上の２重枠で表示される被写体が切り替わるので、撮影者は複数の被写体の中からＡＦ・ＡＥ制御対象となる被写体を選択することができる。そして撮影者が指定したい被写体が２重枠表示になっている状態で決定キーを押すと、その操作情報が端末制御部１１６に出力される。これにより端末制御部１１６は、その時点で２重枠表示している被写体が制御対象の被写体として決定されたことが検知できるので、撮影者が指定した被写体の識別情報（被写体ＩＤ）を判別することができる。なお、この場合も枠の表示サイズを固定とすれば、前述の表示制御は顔位置データだけでも可能であるので、カメラ本体から顔サイズ情報を受信しない構成としても構わない。

ところで、前述したタッチパネル操作によるＡＦ・ＡＥ制御対象の指定において、顔が撮影されていない画面上でタッチされた場合には、被写体（顔）ではなく画面上の位置に対してＡＦ・ＡＥ制御対象が指定されるように構成することもできる。また、撮影者が被写体の顔領域以外の位置をタッチした場合には、被写体（顔）ではなく画面上の位置に対してＡＦ・ＡＥ制御対象が指定されるように構成することもできる。すなわち端末制御部１１６にて、撮影者がタッチした位置に被写体（顔）が存在しないと判別された場合には、従来技術と同様にタッチされた位置情報に基づいてＡＦ・ＡＥ制御領域を設定するようにカメラ本体に指定してもよい。この場合の処理の詳細については後述する。

次に以下で、本発明の特徴であるところの、カメラ本体とリモート操作端末との間の通信によって撮影者がＡＦ・ＡＥ制御領域を指定する処理について、図４のフローチャートを用いて説明する。なお、一般的なカメラのリモート操作システムにおいては、撮影の開始・終了やカメラ動作条件の設定、撮影した画像の再生など種々の操作を行うことが可能である。しかし、以下ではこれらの操作に関する処理の説明は省略し、ＡＦ・ＡＥ制御領域を指定する処理に限定して説明する。また、カメラ本体及びリモート操作端末はリモート操作を実行するモードで動作しており、通信も確立しているものとして、通信を確立するための初期制御など公知の制御についての説明も省略する。

以下でまず、カメラ本体１０１で実行される処理について説明する。これらの処理はカメラ制御部１０９によって、例えば撮影画像のフレームが更新される毎に周期的に実行される。Ｓｔｅｐ４０１では、カメラ信号処理回路１０５から出力された画像信号に対して前述した公知の顔検出処理が実行される。次にＳｔｅｐ４０２では、画像信号から顔が検出されたかどうかを判別する。顔が検出されていないと判別された場合は追尾の処理は行われないのでＳｔｅｐ４０５に進む。顔が検出されたと判別された場合はＳｔｅｐ４０３に進み、前回の処理時に顔が検出されていたかどうかを判別する。前回処理時に顔が検出されていなかった場合は追尾の処理は行われないので、Ｓｔｅｐ４０８に進み、新たに検出された顔に対して被写体ＩＤを設定する。一方、前回処理時に顔が検出されていたと判別された場合は、Ｓｔｅｐ４０４に進み、図２にて説明した被写体追尾の処理が実行される。

次にＳｔｅｐ４０５では、前回処理時に検出されていた顔のうち、画面外に出るなどして画面上から消失した顔があるかどうかを判別する。消失した顔がないと判別された場合はＳｔｅｐ４０７に進む。一方、消失した顔があると判別された場合はＳｔｅｐ４０６に進み、前述したように消失した顔の被写体ＩＤを欠番として削除して、Ｓｔｅｐ４０７に進む。Ｓｔｅｐ４０７では、前回処理時には画面上になかった、新しい顔が検出されたかどうかを判別する。新しい顔がないと判別された場合はＳｔｅｐ４０９に進む。一方、新しい顔があると判別された場合はＳｔｅｐ４０８に進み、新たに検出された顔に対して、既に検出済みの被写体ＩＤと重複しないＩＤを設定する。なお前述したように、欠番となっている被写体ＩＤがある場合、少なくとも通信の遅延に相当する時間の間は欠番のままとし、新たに検出された顔には欠番を含めて重複しないＩＤを設定する。

次にＳｔｅｐ４０９では、前述したようにリモート操作端末１０２に対して、カメラ本体１０１で撮影された撮影画像データと、画像から検出された被写体ＩＤおよび顔位置・顔サイズのデータを略同期して送信する。

続いてＳｔｅｐ４１０では、リモート操作端末１０２から送信された各種制御データを受信し、そのデータの内容を解析する。次にＳｔｅｐ４１１では、受信したデータにＡＦ・ＡＥ制御の対象領域（ＡＦ・ＡＥ領域）を指定する制御情報が含まれているかを判別する。ＡＦ・ＡＥ領域の制御情報が含まれていないと判別された場合は、ＡＦ・ＡＥ領域はそれ以前の設定状態から変化させなくてよいので、Ｓｔｅｐ４１７に進んでＡＦ制御およびＡＥ制御を実行し、Ｓｔｅｐ４０１に戻って次回の処理に移る。一方、ＡＦ・ＡＥ領域の制御情報が含まれていると判別された場合はＳｔｅｐ４１２に進む。

Ｓｔｅｐ４１２では、ＡＦ・ＡＥ制御の対象領域として、被写体ＩＤが指定されたか、画面上の位置情報が指定されたかを判別する。後述するように、撮影者が顔領域以外の位置をタッチした場合には、リモート操作端末１０２は被写体ＩＤに代えてタッチされた位置の情報をカメラ本体１０１に送信するようにしているため、ここではどちらの情報が送信されたかを判別している。そして画面上の位置情報が指定されたと判別された場合は、Ｓｔｅｐ４１６に進み、指定された画面上の位置がＡＦ・ＡＥ制御の対象となるように、カメラ信号処理回路１０５にＡＦ領域・ＡＥ領域を設定する。これにより、前述したように、撮影者が顔領域以外の位置をタッチした場合には従来技術と同様に、タッチされた位置情報に基づいてＡＦ・ＡＥ制御領域を設定するようにカメラを制御することができる。なお、ここでは例示的に通信で受信した画面上の位置にＡＦ・ＡＥ制御領域を固定的に設定するとした。しかしながら、受信した画面上の位置の画像の特徴を検出し、それ以降の画像に対してパターンマッチングなどの公知技術によってその位置にあった被写体像を追尾してＡＦ・ＡＥ制御領域を追従させるようにしてもよい。

一方、Ｓｔｅｐ４１２において、ＡＦ・ＡＥ制御の対象領域として被写体ＩＤが指定されたと判別された場合は、Ｓｔｅｐ４１３に進む。Ｓｔｅｐ４１３では、指定された被写体ＩＤに対応する被写体領域が現在の画面上に存在するかどうかを判別する。前述したようにカメラ本体１０１とリモート操作端末１０２との通信には遅延があるために、指定された被写体ＩＤに対応する被写体が、通信の遅延の間に画面外に出て消失してしまっている場合もある。その場合にはＡＦ・ＡＥ領域を設定する対象が存在しないため、Ｓｔｅｐ４１３にて対象被写体が存在していない（消失している）と判別され、Ｓｔｅｐ４１５に進み、ＡＦ・ＡＥ領域を画面中央部に設定する。なお、画面内に指定された以外の被写体（顔）がある場合には、画面中央の代わりに画面内にある他の顔領域にＡＦ・ＡＥ領域を設定するようにしてもよい。また、図４のフローチャートには図示していないが、対象被写体が存在していない場合にはそのことを示す情報をリモート操作端末１０２に送信してもよい。その場合に、リモート操作端末では撮影者に対して、指定された被写体にＡＦ・ＡＥ領域が設定できなかった旨の警告等を表示するようにしてもよい。

Ｓｔｅｐ４１３にて、指定された被写体ＩＤに対応する被写体領域が現在の画面上に存在すると判別された場合は、Ｓｔｅｐ４１４に進み、指定された被写体ＩＤに対応する被写体領域にＡＦ・ＡＥ領域を設定する。ここで被写体ＩＤに対応する被写体領域は、被写体が移動していても前述したＳｔｅｐ４０４の被写体追尾処理でその位置が追尾されているので、通信に遅延があっても正しくＡＦ・ＡＥ制御領域を設定することができる。

Ｓｔｅｐ４１４、Ｓｔｅｐ４１５、Ｓｔｅｐ４１６のいずれの処理が実行された場合も、次にＳｔｅｐ４１７に進んでＡＦ制御およびＡＥ制御を実行し、Ｓｔｅｐ４０１に戻って次回の処理に移る。

次に以下で、リモート操作端末１０２で実行される処理について説明する。これらの処理は端末制御部１１６によって、例えばカメラ本体１０１からの受信データが更新される毎に周期的に実行される。Ｓｔｅｐ４５１ではカメラ本体１０１から送信された撮影画像データや各種制御データを受信し、そのデータの内容を解析する。画像データに顔が含まれている場合には、ここで受信したデータの中に前述した被写体ＩＤおよび顔位置・顔サイズのデータも含まれている。

次にＳｔｅｐ４５２では、カメラ本体１０１から受信した画像データに対応する画像を端末表示部１１４に表示する。続いてＳｔｅｐ４５３にて、受信データに被写体ＩＤおよび顔位置・顔サイズのデータが含まれているかを判別する。含まれていないと判別された場合はＳｔｅｐ４５５に進み、含まれていると判別された場合はＳｔｅｐ４５４に進む。Ｓｔｅｐ４５４では受信した顔位置・顔サイズのデータを用いて、図３で説明したように顔領域を表す枠表示を画像データに重畳して表示し、Ｓｔｅｐ４５５に進む。

Ｓｔｅｐ４５５では、撮影者によってＡＦ・ＡＥ制御の対象領域が指定されたかどうかを判別する。具体的には図３で説明したように、タッチパネルをタッチされたか、もしくは決定キーによって対象領域が決定されたかどうかを検出することで判別を行う。ＡＦ・ＡＥ制御の対象領域が指定されていないと判別された場合はＳｔｅｐ４６０に進んで、カメラ本体１０１に各種制御データを送信する。ただしこの場合はＡＦ・ＡＥ制御の対象領域が指定されていないので、ＡＦ・ＡＥ制御の対象領域を指定する制御情報は送信データには含めない。その後はＳｔｅｐ４５１に戻り、次回の処理に移る。

一方、Ｓｔｅｐ４５５にてＡＦ・ＡＥ制御の対象領域が指定されたと判別された場合には、Ｓｔｅｐ４５６に進み、図３にて説明した被写体の識別情報（被写体ＩＤ）を判別する処理を実行する。

次にＳｔｅｐ４５７では、撮影者が顔領域以外の位置をタッチしたかどうかを判別する。顔領域以外の位置がタッチされたと判別された場合は、Ｓｔｅｐ４５９に進み、タッチにて指定された画面上の位置情報（操作情報）を検出し、カメラ本体１０１に送信するための送信データに位置情報をセットする。これにより前述のＳｔｅｐ４１２、Ｓｔｅｐ４１６にて説明したように、撮影者が顔領域以外の位置をタッチした場合には従来技術と同様にタッチされた位置情報に基づいてＡＦ・ＡＥ制御領域を設定するようにカメラ本体１０１を制御することができる。Ｓｔｅｐ４５９で送信データに位置情報をセットした後はＳｔｅｐ４６０に進み、位置情報およびＡＦ・ＡＥ制御の対象領域を指定する制御情報を含むデータをカメラ本体１０１に送信する。その後はＳｔｅｐ４５１に戻り、次回の処理に移る。

Ｓｔｅｐ４５７で、撮影者が顔領域を指定したと判別された場合はＳｔｅｐ４５８に進み、撮影者に指定された被写体ＩＤを送信データにセットする。そしてＳｔｅｐ４６０にて被写体ＩＤおよびＡＦ・ＡＥ制御の対象領域を指定する制御情報を含むデータをカメラ本体１０１に送信する。これにより前述のＳｔｅｐ４１４で説明したように、カメラ本体１０１では指定された被写体ＩＤに対応する被写体領域にＡＦ・ＡＥ制御領域が設定されるので、通信に遅延があっても正しくＡＦ・ＡＥ制御領域が設定される。その後はＳｔｅｐ４５１に戻り、次回の処理に移る。

以上説明したように、本発明によれば、撮影者が顔領域を指定した場合、リモート操作端末からカメラ本体には、従来技術のようにＡＦ・ＡＥ制御の対象領域の位置情報を送信するのではなく、ＡＦ・ＡＥ制御の対象として指定された被写体の識別情報を送信する。そしてカメラ本体では、リモート操作端末から受信した識別情報と、通信の遅延の間に継続していた被写体の検出・追尾情報とから、ＡＦ・ＡＥ制御の対象として指定された被写体の位置にＡＦ・ＡＥ制御領域を設定する。このような構成とすることで、カメラ本体とリモート端末との間の通信に遅延がある場合でも、動きがある被写体に対して正しくＡＦ・ＡＥ制御領域を指定することができる。

なお、以上の説明では、被写体の検出手段として人物の顔を検出するものとしているが、映像に含まれる被写体領域の位置が検出できるものであれば、たとえば人体など人物の顔以外の部位を検出する手段などを用いても構わない。また、たとえば特定の色やパターンの領域を検出することで人物以外の被写体を検出する手段などを用いても構わない。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、撮像装置および遠隔操作端末に供給する。そしてその撮像装置および遠隔操作端末のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置と、携帯電話、スマートフォン、携帯ゲーム機などの遠隔操作端末とからなるカメラシステムに好適に利用できる。

１０１‥‥カメラ本体
１０２‥‥リモート操作端末
１０４‥‥撮像部
１０８‥‥顔検出処理回路
１０９‥‥カメラ制御部
１１３‥‥アンテナ
１１４‥‥端末表示部
１１５‥‥タッチパネル部
１１６‥‥端末制御部
１１７‥‥端末操作部
１１９‥‥アンテナ

Claims (10)

1. 遠隔操作端末により外部から制御される撮像装置であって、
   光学系を介した被写体像を光電変換して画像信号を生成する撮像手段と、
   前記撮像手段から得られた画像信号に基づいて被写体の位置を検出する被写体検出手段と、
   前記被写体検出手段により検出された被写体ごとに識別情報を割り当てる識別情報生成手段と、
   前記被写体検出手段により検出された被写体を追尾する追尾手段と、
   前記撮像手段により生成された画像信号と、前記被写体検出手段により検出された被写体の位置情報と、前記識別情報生成手段により割り当てられた被写体ごとの識別情報と、を前記遠隔操作端末に送信するとともに、前記遠隔操作端末の表示部に表示中の画像上で被写体が指定されたとき、前記遠隔操作端末により判別された前記指定された被写体の識別情報を受信する通信手段と、
   受信した前記識別情報と前記追尾手段の出力とに基づいて撮影制御を行う制御手段と、
   を有することを特徴とする撮像装置。
2. 前記制御手段は、受信した前記識別情報と前記追尾手段の出力とに基づいて、自動焦点調節制御及び自動露出調節制御のうち少なくとも一方を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記被写体検出手段は、被写体の位置に加えて被写体の大きさを検出し、
   前記通信手段は、前記遠隔操作端末に前記被写体の位置情報に加えて前記被写体の大きさ情報を送信することを特徴とする請求項１または２に記載の撮像装置。
4. 撮像装置を外部から制御する遠隔操作端末であって、
   前記撮像装置から、前記撮像装置の撮像手段により生成された画像信号と、前記撮像装置の被写体検出手段により検出された被写体の位置情報と、前記撮像装置の識別情報生成手段により割り当てられた被写体ごとの識別情報と、を受信する通信手段と、
   受信した前記画像信号に対応する画像を表示する表示部と、
   前記表示部に表示中の画像上で被写体が指定されたとき、受信した前記被写体の位置情報と前記被写体ごとの識別情報とに基づいて、前記指定された被写体の識別情報を判別する判別手段と、を有し、
   前記通信手段は、前記撮像装置において前記被写体の撮影制御を行う際に使用される、前記判別手段により判別された被写体の前記識別情報を送信することを特徴とする遠隔操作端末。
5. 前記通信手段は、前記被写体の位置情報に加えて前記被写体の大きさ情報を受信し、
   前記表示部は、前記被写体の位置情報および前記被写体の大きさ情報に基づいて、被写体領域を前記画像上に重畳表示することを特徴とする請求項４に記載の遠隔操作端末。
6. 撮像装置と、前記撮像装置を外部から制御する遠隔操作端末と、からなるカメラシステムであって、
   前記撮像装置は、
   光学系を介した被写体像を光電変換して画像信号を生成する撮像手段と、
   前記撮像手段から得られた画像信号に基づいて被写体の位置を検出する被写体検出手段と、
   前記被写体検出手段により検出された被写体ごとに識別情報を割り当てる識別情報生成手段と、
   前記被写体検出手段により検出された被写体を追尾する追尾手段と、
   前記撮像手段により生成された前記画像信号と、前記被写体検出手段により検出された被写体の位置情報と、前記識別情報生成手段により割り当てられた被写体ごとの識別情報と、を前記遠隔操作端末に送信する第１の通信手段と、を有し、
   前記遠隔操作端末は、
   前記撮像装置から、前記画像信号と、前記被写体の位置情報と、前記被写体ごとの識別情報と、を受信する第２の通信手段と、
   受信した前記画像信号に対応する画像を表示する表示部と、
   前記表示部に表示中の画像上で被写体が指定されたとき、受信した前記被写体の位置情報と前記被写体ごとの識別情報とに基づいて、前記指定された被写体の識別情報を判別する判別手段と、を有し、
   前記第２の通信手段は、前記判別手段により判別された前記識別情報を送信し、
   前記第１の通信手段は、前記第２の通信手段により送信される前記識別情報を受信し、
   前記撮像装置は、受信した前記識別情報と前記追尾手段の出力とに基づいて撮影制御を行う制御手段を有することを特徴とするカメラシステム。
7. 光学系を介した被写体像を光電変換して画像信号を生成する撮像手段を有し、遠隔操作端末により外部から制御される撮像装置の制御方法であって、
   前記撮像手段から得られた画像信号に基づいて被写体の位置を検出する被写体検出ステップと、
   前記被写体検出ステップにより検出された被写体ごとに識別情報を割り当てる識別情報生成ステップと、
   前記被写体検出ステップにより検出された被写体を追尾する追尾ステップと、
   前記撮像手段により生成された画像信号と、前記被写体検出ステップにより検出された被写体の位置情報と、前記識別情報生成ステップにより割り当てられた被写体ごとの識別情報と、を前記遠隔操作端末に送信する送信ステップと、
   前記遠隔操作端末の表示部に表示中の画像上で被写体が指定されたとき、前記遠隔操作端末により判別された前記指定された被写体の識別情報を受信する受信ステップと、
   受信した前記識別情報と前記追尾ステップの出力とに基づいて撮影制御を行う制御ステップと、
   を有することを特徴とする撮像装置の制御方法。
8. 光学系を介した被写体像を光電変換して画像信号を生成する撮像手段を有し、遠隔操作端末により外部から制御される撮像装置に、
   前記撮像手段から得られた画像信号に基づいて被写体の位置を検出する被写体検出ステップと、
   前記被写体検出ステップにより検出された被写体ごとに識別情報を割り当てる識別情報生成ステップと、
   前記被写体検出ステップにより検出された被写体を追尾する追尾ステップと、
   前記撮像手段により生成された画像信号と、前記被写体検出ステップにより検出された被写体の位置情報と、前記識別情報生成ステップにより割り当てられた被写体ごとの識別情報と、を前記遠隔操作端末に送信する送信ステップと、
   前記遠隔操作端末の表示部に表示中の画像上で被写体が指定されたとき、前記遠隔操作端末により判別された前記指定された被写体の識別情報を受信する受信ステップと、
   受信した前記識別情報と前記追尾ステップの出力とに基づいて撮影制御を行う制御ステップと、
   を実行させることを特徴とする撮像装置の制御プログラム。
9. 撮像装置を外部から制御する遠隔操作端末の制御方法であって、
   前記撮像装置から、前記撮像装置の撮像手段により生成された画像信号と、前記撮像装置の被写体検出手段により検出された被写体の位置情報と、前記撮像装置の識別情報生成手段により割り当てられた被写体ごとの識別情報と、を受信する受信ステップと、
   受信した前記画像信号に対応する画像を表示部に表示する表示ステップと、
   前記表示部に表示中の画像上で被写体が指定されたとき、受信した前記被写体の位置情報と前記被写体ごとの識別情報とに基づいて、前記指定された被写体の識別情報を判別する判別ステップと、
   前記撮像装置において前記被写体の撮影制御を行う際に使用される、前記判別ステップにより判別された前記識別情報を送信する送信ステップと、
   を有することを特徴とする遠隔操作端末の制御方法。
10. 撮像装置を外部から制御する遠隔操作端末に、
    前記撮像装置から、前記撮像装置の撮像手段により生成された画像信号と、前記撮像装置の被写体検出手段により検出された被写体の位置情報と、前記撮像装置の識別情報生成手段により割り当てられた被写体ごとの識別情報と、を受信する受信ステップと、
    受信した前記画像信号に対応する画像を表示部に表示する表示ステップと、
    前記表示部に表示中の画像上で被写体が指定されたとき、受信した前記被写体の位置情報と前記被写体ごとの識別情報とに基づいて、前記指定された被写体の識別情報を判別する判別ステップと、
    前記撮像装置において前記被写体の撮影制御を行う際に使用される、前記判別ステップにより判別された前記識別情報を送信する送信ステップと、
    を実行させることを特徴とする遠隔操作端末の制御プログラム。