JP2019201266A - 自動追尾録画システムおよび録画制御装置 - Google Patents

Abstract

【課題】高精度に対象を追尾して撮像することができる自動追尾録画システムを提供する。【解決手段】この自動追尾録画システム１は、物体を三次元で検出するとともに追尾対象を特定して追尾し、追尾対象の位置情報を生成して出力する第１のカメラ１０と、追尾対象の位置情報に基づき撮像制御情報を生成して出力する録画制御装置と、撮像制御情報に基づいて撮像部の駆動機構を制御して撮像画像を生成し、撮像画像を録画制御装置に出力する第２のカメラ２０とを備える。【選択図】図１

Description

本発明は自動追尾録画システムおよび録画制御装置に関する。

近年、授業を撮像してリアルタイムで動画を配信する動画配信システムや、授業を撮像して録画しておき、受講者からの視聴要求に応じて録画された動画を配信する動画配信システムが普及しつつある。そのような動画配信システムには、パン、チルト、ズームを自動的に調節し、教師、生徒等の撮像対象を自動追尾して撮像するＰＴＺカメラが用いられている。パンとは、カメラの向きを左右方向に変更する機能である。チルトとは、カメラの向きを上下方向に変更する機能である。ズームとは、画角を望遠または広角に変更する機能である。

特許文献１には、ＰＴＺカメラを用いた移動体撮像装置が開示されている。特許文献１に開示された移動体撮像装置は、侵入者を検知すると、検知した侵入者を撮像画面の中心近くで捉えるようにＰＴＺカメラのパン、チルト、ズームを調節するものである。

特開２０１１−７７６１７号公報

特許文献１に開示された移動体撮像装置は、侵入者を追尾して撮像するものであるが、差分画像と侵入者の動き（移動方向および速度）とに基づき侵入者の位置を予測し、予測値に基づいてパン、チルトの調節をするものである。このように予測値に基づくものであるため、追尾対象の追尾に失敗した場合には、追尾対象を捉えて撮像することができないという課題があった。

本発明は、前記事情に鑑みてなされたものであり、高精度に対象を追尾して撮像することができる自動追尾録画システムおよび録画制御装置を提供することを目的とする。

前記課題を解決するために、本発明の自動追尾録画システムは、
物体を三次元で検出するとともに追尾対象を特定して追尾し、前記追尾対象の位置情報を生成して出力する第１のカメラと、
前記追尾対象の前記位置情報に基づき撮像制御情報を生成して出力する録画制御装置と、
前記撮像制御情報に基づいて撮像部の駆動機構を制御して撮像画像を生成し、前記撮像画像を前記録画制御装置に出力する第２のカメラと
を備えることを特徴とする。

また、本発明の録画制御装置は、
第１のカメラおよび第２のカメラと通信可能に接続された録画制御装置であって、
物体を三次元で検出するとともに追尾対象を特定して追尾し、前記追尾対象の位置情報を生成して出力する前記第１のカメラから前記位置情報を取得する位置情報取得部と、
前記位置情報に基づき、前記第２のカメラにおける撮像部の駆動機構を制御するための撮像制御情報を生成し、前記第２のカメラに出力する撮像制御情報生成部と、
前記撮像制御情報に基づいて前記第２のカメラの前記撮像部が生成した撮像画像を取得する撮像画像取得部と
を備えることを特徴とする。

このような構成によれば、物体を三次元で検出可能な第１のカメラが、高精度な追尾対象の位置情報を生成するとともに、録画制御装置が当該位置情報に基づいて、第２のカメラの駆動機構を制御するための撮像制御情報を生成して第２のカメラに出力する。このため、第２のカメラは、当該撮像制御情報に基づいて駆動機構を制御し、高精度に対象を追尾して撮像することができる。これにより、高精度に追尾対象を捉えた撮像画像を得ることができる。

また、本発明の前記構成において、前記第１のカメラは、前記追尾対象の行動情報を生成して出力し、
前記録画制御装置は、前記追尾対象の前記位置情報および前記行動情報に基づいて前記撮像制御情報を生成することが好ましい。

このような構成によれば、追尾対象の行動に合わせた撮像制御情報が生成される。このため、第２のカメラは、追尾対象の行動に合わせて駆動機構を制御し、追尾対象を撮像することができる。これにより、追尾対象の行動に合わせて調節して撮像された撮像画像を得ることができる。

また、本発明の前記構成において、
前記第１のカメラは、撮像空間内における物体までの三次元距離を測定可能なカメラであり、
前記第２のカメラは、少なくとも、パン、チルト、およびズームを調節するための前記駆動機構を備えたカメラであることが好ましい。

このような構成によれば、高精度に追尾対象を捉えた撮像画像を得ることができる。

本発明によれば、高精度に対象を追尾して撮像することができる自動追尾録画システムおよび録画制御装置を提供することができる。

本発明の第１の実施の形態に係る自動追尾録画システムの構成例を示す全体図である。 同、第１のカメラの構成例を示す図であり、（ａ）はブロック図、（ｂ）はハードウェア構成例を示す図である。 同、第２のカメラの構成例を示す図であり、（ａ）はブロック図、（ｂ）はハードウェア構成例を示す図である。 同、録画制御装置の構成例を示す図であり、（ａ）はブロック図、（ｂ）はハードウェア構成例を示す図、（ｃ）は制御部のブロック図である。 同、設置例を示す図であり、（ａ）は上面から見た図、（ｂ）は側面から見た図である。 同、動作例を示すフローチャートである。 同、自動追尾録画処理の例を示すフローチャートである。 同、座標変換の例を示す図である。 同、自動追尾録画処理の別の例を示すフローチャートである。 本発明の第２の実施の形態に係る自動追尾録画システムで生成される行動情報の例を示す図である。 同、自動追尾録画処理の例を示すフローチャートである。 同、行動状態および撮像制御情報の具体例を示す図である。 同、撮像制御情報の生成について説明するためのフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。

（第１実施形態）
図１は、第１実施形態に係る自動追尾録画システム１の構成例を示す全体図である。以下、自動追尾録画システム１が人物を自動追尾する場合を例に説明するが、追尾対象は人物に限定されるものではなく、移動体等であってもよい。
自動追尾録画システム１は、第１のカメラ１０、第２のカメラ２０、および録画制御装置３０を備えている。第１のカメラ１０および第２のカメラ２０は、ネットワーク５０を介して録画制御装置３０と通信可能に接続されている。ネットワーク５０は、インターネット、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、若しくはこれらの結合により実現されている。第１のカメラ１０は後述する通信部１３を備えている。第２のカメラ２０は後述する通信部２４を備えている。録画制御装置３０は後述する通信部３４を備えている。以下、自動追尾録画システム１における情報の送受信は、通信部１３、通信部２４、および通信部３４を介して行われるものとする。

図２（ａ）は、第１のカメラ１０の構成例を示すブロック図である。
第１のカメラ１０は、情報取得部１１、情報制御部１２および通信部１３を備えている。情報取得部１１は、光源部１１ａ、受光部１１ｂ、駆動回路１１ｃ、および信号処理回路１１ｄを備えている。
第１のカメラ１０は、撮像空間内の物体（物体の表面）までの三次元距離を測定することが可能なカメラであり、例えば、ステレオカメラ、３Ｄセンサカメラである。
ステレオカメラは、画像の視差データを生成し、カメラから対象物体までの距離を測定し、対象物体を三次元で検出することができるカメラである。ステレオカメラは、対象物体（三次元物体）の位置、大きさ、凹凸情報等を検出することができる。また、ステレオカメラは、２次元画像を生成することもできる。
３Ｄセンサカメラとは、例えば、三次元距離画像センサが搭載されたカメラである。３Ｄセンサカメラは、ＴＯＦ（Time
Of Flight）方式により、撮像空間内の対象物体までの三次元距離情報（奥行き、高さ、形状、位置関係等）を測定し、対象物体を三次元で検出することができるカメラである。
また、第１のカメラ１０は、検出した同一の物体（人物等）を追跡する追尾機能を備えている。

以下、第１のカメラ１０として３Ｄセンサカメラを使用し、三次元距離情報を測定する場合（位相差法）について説明する。光源部１１ａは、例えば、少なくとも１つの光源素子を備えている。光源素子は、例えば、赤外線ＬＥＤである。駆動回路１１ｃは、録画制御装置３０から取得した要求に基づいて、投光信号を光源部１１ａに出力する。光源部１１ａは、駆動回路１１ｃから投光信号を取得すると、例えば、赤外線パルス光である測距波を放射する。
受光部１１ｂは、例えば、二次元アレイ状に配列された複数の受光素子である。受光素子は、例えば、ＣＭＯＳ、ＣＣＤである。受光部１１ｂの各受光素子には、光源部１１ａから出射された光であって、物体に当たって反射した当該光（すなわち反射光）が入射するようになっている。受光部１１ｂの各受光素子は、光電変換を行い、自素子への入射光の強度等を示す受光信号を、信号処理回路１１ｄに出力する。

信号処理回路１１ｄは、駆動回路１１ｃから投光信号を取得するとともに、受光部１１ｂから受光信号を取得する。信号処理回路１１ｄは、複数の受光素子毎に、投光信号と受光信号との間の位相差φを求めて、求めた位相差φに基づき、光源部１１ａから各反射箇所（人物）までの空間距離を求める。信号処理回路１１ｄは、受光素子毎に求めた空間距離の集まりを距離画像情報として所定のフレームレートで情報制御部１２に出力する。距離画像情報は、上記空間距離を画素値として有している。
情報制御部１２は、信号処理回路１１ｄから取得した距離画像情報を解析し、追尾対象（人物）を検出する。第１のカメラ１０のメモリには、物体種別ごとの特徴を示す情報（特徴情報）が記憶されている。特徴情報は、録画制御装置３０から取得するものであってもよい。情報制御部１２は、検出した人物に対して順にＩＤを付与するとともに、ＩＤが付与された人を追尾する。情報制御部１２は、所定の条件に該当するＩＤを追尾対象ＩＤと特定し、追尾対象ＩＤが付与されている人物の位置情報を生成する。情報制御部１２は、生成した位置情報を、録画制御装置３０に送信する。

図２（ｂ）は、第１のカメラ１０のハードウェア構成例示す図である。
ＣＰＵ２０１は、バスを介して第１のカメラ１０における動作を統括的に制御する。ＲＯＭ２０２は、ＣＰＵ２０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。すなわち、ＣＰＵ２０１は、処理の実行に際してＲＯＭ２０２から必要なプログラム等をＲＡＭ２０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。入力部２０４は、操作の入力を受け付けるボタン等である。通信部２０５は、図２（ａ）の通信部１３に対応する。光源部２０６は、図２（ａ）の光源部１１ａに対応する。受光部２０７は、図２（ａ）の受光部１１ｂに対応する。駆動回路２０８は、図２（ａ）の駆動回路１１ｃに対応する。信号処理回路２０９は、図２（ａ）の信号処理回路１１ｄに対応する。
図２（ａ）で示した第１のカメラ１０の各要素の一部または全部の機能は、ＣＰＵ２０１がプログラムを実行することにより実現される。ただし、図２（ａ）で示した第１のカメラ１０の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。その場合、専用のハードウェアはＣＰＵ２０１の制御に基づいて動作する。

図３（ａ）は、第２のカメラ２０の構成例を示すブロック図である。
第２のカメラ２０は、撮像部２１、撮像制御部２２、符号化部２３および通信部２４等を備えている。第２のカメラ２０は、例えば、ＰＴＺ（Pan Tilt Zoom）カメラである。ＰＴＺカメラとは、少なくとも、パン、チルト、およびズームを調節することができるカメラである。以下、ＰＴＺカメラを用いる場合について説明するが、同様の視野制御が可能なものであれば、任意のカメラを用いることができる。

撮像部２１は、レンズ、撮像素子、および駆動機構等を備えている。撮像素子には、ＣＭＯＳ（Complementary
Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等がある。駆動機構には、パン駆動機構、チルト駆動機構、およびズーム駆動機構等がある。パン駆動機構は、撮像部２１の向き（撮像領域）を水平方向（左右方向）に変化させる機構である。チルト駆動機構は、撮像部２１の向き（撮像領域）を垂直方向（上下方向）に変化させる機構である。ズーム駆動機構は、撮像部２１の撮像領域をズーム方向に変更可能であり、撮像部２１の画角を望遠又は広角に変化させる機構である。ズームには、光学ズーム、デジタルズーム等がある。撮像部２１は、撮像画像を生成し、生成した撮像画像を符号化部２３に出力する。

撮像制御部２２は、録画制御装置３０から取得した情報に基づいて撮像部２１の撮像を制御する。符号化部２３は、撮像部２１から取得した撮像画像を圧縮符号化して画像データを生成し、生成した画像データを録画制御装置３０に出力する。

図３（ｂ）は、第２のカメラ２０のハードウェア構成例を示す図である。
ＣＰＵ３０１は、バスを介して第２のカメラ２０における動作を統括的に制御する。ＲＯＭ３０２は、ＣＰＵ３０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。すなわち、ＣＰＵ３０１は、処理の実行に際してＲＯＭ３０２から必要なプログラム等をＲＡＭ３０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。撮像部３０４は、図３（ａ）の撮像部２１に対応する。入力部３０５は、操作の入力を受け付けるボタン等である。通信部３０６は、図３（ａ）の通信部２４に対応する。
図３（ａ）で示した第２のカメラ２０の各要素の一部または全部の機能は、ＣＰＵ３０１がプログラムを実行することにより実現される。ただし、図３（ａ）で示した第２のカメラ２０の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。その場合、専用のハードウェアは、ＣＰＵ３０１の制御に基づいて動作する。

図４（ａ）は、録画制御装置３０の構成例を示すブロック図である。
録画制御装置３０は、制御部３１、記憶部３２、入力部３３、および通信部３４等を備えている。制御部３１は、自動追尾録画処理の制御等を行う。入力部３３は、ユーザによる操作入力を受け付ける部位である。入力部３３は、例えば、タッチパネル、ハードウェアキーである。入力部３３は、操作の入力を受け付けると、要求（信号）を制御部３１に出力する。当該要求には、例えば、録画要求がある。図１では、入力部３３が録画制御装置３０と一体である場合を示したが、入力部３３は録画制御装置３０と別体のものであってもよい。
記憶部３２は、情報の記憶が可能な部位である。記憶部３２は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等である。記憶部３２には、録画制御装置３０が取得した撮像画像等が記憶されるようになっている。図１では、記憶部３２が録画制御装置３０に内蔵されている場合を示したが、記憶部３２は録画制御装置３０に外付けされるものであってもよい。

図４（ｂ）は、録画制御装置３０のハードウェア構成例を示す図である。
ＣＰＵ４０１は、バスを介して録画制御装置３０における動作を統括的に制御する。ＲＯＭ４０２は、ＣＰＵ４０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。ＲＡＭ４０３は、ＣＰＵ４０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。すなわち、ＣＰＵ４０１は、処理の実行に際してＲＯＭ４０２から必要なプログラム等をＲＡＭ４０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。ＲＯＭ４０２またはＲＡＭ４０３は、図４（ａ）の記憶部３２に対応する。入力部４０４は、図４（ａ）の入力部３３に対応する。通信部４０５は、図４（ａ）の通信部３４に対応する。
図４（ａ）で示した録画制御装置３０の各要素の一部または全部の機能は、ＣＰＵ４０１がプログラムを実行することにより実現される。ただし、図４（ａ）で示した録画制御装置３０の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。その場合、専用のハードウェアは、ＣＰＵ４０１の制御に基づいて動作する。
図４（ｃ）は、制御部３１の構成例を示すブロック図である。制御部３１は、位置情報取得部３１ａ、位置情報補正部３１ｂ、撮像制御情報生成部３１ｃ、および撮像画像取得部３１ｄ等を備えている。

図５（ａ）および図５（ｂ）は、第１実施形態に係る自動追尾録画システム１を教室Ａに設置した場合の一例を示す図である。図５（ａ）は教室Ａを上面から見た図である。図５（ｂ）は教室Ａを側面から見た図である。
図５（ａ）および図５（ｂ）に示すように、教室Ａの周囲を囲む４つの側壁のうちの１つの側壁Ｂの近傍に、上面から見て略矩形状の教壇２が配置されている。教壇２は、床面に対して一段高くなるように形成された台状の部位である。教壇２は、長手方向における一方の側面が側壁Ｂに当接するように配置されている。
教壇２の上面には教卓３が、側壁Ｂから所定の距離だけ離れた位置に配置されている。なお、教壇２を用いずに教卓３を直接床面に配置してもよい。教卓３は、授業を行う際に教師等が使用する。また、教室Ａ内には、教卓３と向かい合うようにして、複数の座席４が並べて配置されている。座席４には、生徒等が着席する。
以下、自動追尾録画システム１が教室Ａに設置され、教師と生徒が教室Ａを利用する場合について説明するが、教室Ａはホール、体育館、演芸場等の施設であってもよい。その場合、講演者や観客等が当該施設を利用することとなる。
また、以下では、教室Ａの教壇２側、すなわち座席４に着席した生徒から見た前方側を「前」とし、同後方側を「後」、同右側を「右」、同左側を「左」とする。また、教室Ａの天井側を「上」、床面側を「下」とする。

図５（ａ）および図５（ｂ）では、第１のカメラ１０および第２のカメラ２０を２箇所ずつ教室Ａに設置する例を示す。ただし、第１のカメラ１０および第２のカメラ２０の設置台数はこれに限定されるものではなく、施設の広さ等に応じて適宜決定すればよい。
一方の第１のカメラ１０（第１のカメラ１０Ａ）および一方の第２のカメラ２０（第２のカメラ２０Ａ）は、教室Ａの前後方向略中央部の天井に、カメラのレンズが教室の前方側を向くようにして配置されている。第１のカメラ１０Ａおよび第２のカメラ２０Ａは、主に教室の前方側のエリア（教師側）を撮像するようになっている。他方の第１のカメラ１０（第１のカメラ１０Ｂ）および他方の第２のカメラ２０（第２のカメラ２０Ｂ）は、教室Ａの前方側の天井に、カメラのレンズが教室Ａの後方側を向くようにして設置されている。第１のカメラ１０Ｂおよび第２のカメラ２０Ｂは、主に教室の後方側のエリア（生徒側）を撮像するようになっている。また、録画制御装置３０は、教室Ａの前方における教壇２の付近に設置されている。

また、図４（ａ）で示したように、録画制御装置３０が出力した撮像画像が表示される表示部４０をさらに備えてもよい。表示部４０は、例えば、液晶ディスプレイである。表示部４０を教室Ａとは別室に設置した場合、当該別室で教室Ａ内の様子を監視することができる。また、記憶部３２に記憶されている撮像画像が、表示部４０に表示されるようにしてもよい。

次に、図６に示すフローチャートを用いて、自動追尾録画システム１の動作例について説明する。
録画制御装置３０は、入力部３３を介して録画要求を取得すると、システムを起動する（ステップＳＴ１）。
次に、録画制御装置３０は、第１のカメラ１０による検出を開始する（ステップＳＴ２）。具体的には、第１のカメラ１０の駆動回路１１ｃは、録画制御装置３０から検出要求を取得すると、投光信号を光源部１１ａおよび信号処理回路１１ｄに出力する。受光部１１ｂは、各受光素子に対する入射光の強度等を示す受光信号を、信号処理回路１１ｄに出力する。信号処理回路１１ｄは、駆動回路１１ｃから取得した投光信号と、信号処理回路１１ｄから取得した受光信号とに基づき、空間距離を算出して距離画像情報を生成し、生成した距離画像情報を情報制御部１２に出力する。
次に、録画制御装置３０は、自動追尾録画処理を開始する（ステップＳＴ３）。自動追尾録画処理の詳細については後述する。
次に、録画制御装置３０は、自動録画処理が終了すると、システムをシャットダウンする（ステップＳＴ４）。

次に、図７に示すフローチャートを用いて、自動追尾録画処理の詳細について説明する。図７では、自動追尾録画の対象を教室Ａで授業を行う教師とする。
録画制御装置３０の制御部３１は、録画要求を取得しているか否か判定する（ステップＳＴ２１）。制御部３１は、入力部３３を介して録画要求を取得した後は、録画停止要求を取得するまでの間、録画要求を取得していると判定する。
制御部３１は、録画要求を取得していると判定した場合（ステップＳＴ２１：ＹＥＳ）、ステップＳＴ２２の処理に進む。
一方、制御部３１は、録画要求を取得していない、すなわち録画停止要求を取得したと判定した場合（ステップＳＴ２１：ＮＯ）、自動追尾録画処理を終了し、図６に戻る。

情報制御部１２は、信号処理回路１１ｄから取得した距離画像情報を解析して追尾対象（人物）を検出し、検出した人物に対して順にＩＤを付与するとともに、ＩＤが付与された人物を追尾する（ステップＳＴ２２）。次に、情報制御部１２は、後述するエリアＣ内に最初に入ったＩＤがエリアＣ内に存在するか否か判定する（ステップＳＴ２３）。
ステップＳＴ２３において、情報制御部１２は、エリアＣ内に最初に入ったＩＤがエリアＣ内に存在すると判定した場合（ステップＳＴ２３：ＹＥＳ）、当該ＩＤを追尾対象ＩＤ（教師ＩＤ）と特定し、追尾対象ＩＤが付与されている人物の位置情報を生成して、生成した位置情報を録画制御装置３０に送信する（ステップＳＴ２４）。位置情報は、例えば、座標情報で表現される。エリアＣの情報は、第１のカメラ１０のメモリに記憶されているものであっても、録画制御装置３０から取得するものであってもよい。
一方、ステップＳＴ２３において、情報制御部１２は、エリアＣ内に最初に入ったＩＤがエリアＣ内に存在しないと判定した場合（ステップＳＴ２３：ＮＯ）、ステップＳＴ２１の処理に戻る。このとき情報制御部１２は、次にエリアＣ内に入ったＩＤを追尾対象ＩＤ（教師ＩＤ）とする。

ここで、図５（ａ）および図５（ｂ）を用いて、エリアＣの一例について説明する。
エリアＣは、教室Ａの前方側に設けられている。エリアＣの前後方向幅および左右方向幅は、教室Ａを上面から見た場合において、教壇２が占める幅より、やや広い幅となるように設定されている。また、エリアＣの上下方向幅は、教室Ａを側面から見た場合において、教壇２の上に立つ人物（教師）の上半身が含まれる幅となるように設定されている。エリアＣの情報は、ユーザが任意に設定することができる。

次に、録画制御装置３０の制御部３１は、第１のカメラ１０から取得した位置情報を補正するとともに補正した位置情報（補正後位置情報）に基づいて、第２のカメラ２０に設定する撮像制御情報を生成し、補正後位置情報および撮像制御情報を第２のカメラ２０に送信する（ステップＳＴ２５）。
制御部３１の位置情報取得部３１ａが、位置情報を取得し、位置情報補正部３１ｂが、第１のカメラ１０から取得した追尾対象の位置情報が、第２のカメラ２０の設置位置から見た場合における追尾対象の位置情報となるように位置情報を補正する。記憶部３２には、第１のカメラ１０の設置位置の位置座標情報と、第２のカメラ２０の設置位置の位置座標情報とが記憶されている。当該記憶は、手動であっても自動であってもよい。位置情報補正部３１ｂは、記憶部３２に記憶されている位置座標情報を用いて任意の座標変換等を行い、位置情報を補正する。図８は、座標変換の一例を示す図であり、３ＤＸＹ座標をＰＴＺ極座標（ｒ，θ）に変換した例を示している。
また、制御部３１の撮像制御情報生成部３１ｃが生成する撮像制御情報には、視野制御情報が含まれている。視野制御情報には、第２のカメラ２０における撮像部２１のパン、チルト、ズームを決定するための情報が含まれている。撮像制御情報生成部３１ｃは、追尾対象が画角に入るように撮像制御情報を生成する。

次に、第２のカメラ２０の撮像制御部２２は、録画制御装置３０から取得した補正後位置情報および撮像制御情報に基づき、撮像部２１の駆動機構を制御しながら撮像を開始し、生成した撮像画像を録画制御装置３０に送信する（ステップＳＴ２６）。
次に、録画制御装置３０の制御部３１（撮像画像取得部３１ｄ）は、第２のカメラ２０から取得した撮像画像を記憶部３２に記憶する（ステップＳＴ２７）。なお、上記では、第２のカメラ２０から取得した撮像画像が記憶部３２に記憶される例を示したが、当該撮像画像は任意の端末に生配信されるものであってもよい。録画とは、撮像画像の記憶のみではなく、撮像画像の生配信をも含む概念である。

また、上記では、エリアＣ内にいる教師を撮像する例について説明した。ただし、これに限定されるものではなく、例えば、教師がエリアＣから出て教室Ａの後方に移動した場合、第１のカメラ１０Ａが特定した追尾対象ＩＤ（教師ＩＤ）の情報が、第１のカメラ１０Ｂに送信され、第１のカメラ１０Ｂが、教師ＩＤが付与された人物の位置情報を生成し、第２のカメラ２０Ｂが当該教師を追尾して撮像するようにしてもよい。また、第１のカメラ１０Ａおよび第２のカメラ２０Ａを教室Ａ後方の天井に設置して、教師がエリアＣから出た場合、第１のカメラ１０Ａが、教師ＩＤが付与された人物の位置情報を生成し、第２のカメラ２０Ａが当該教師を追尾して撮像するようにしてもよい。

次に、図９に示すフローチャートを用いて、自動追尾録画処理の別の例について説明する。図９では、自動追尾録画の対象を教室Ａで授業を行う教師とする。
録画制御装置３０の制御部３１は、録画要求を取得しているか否か判定する（ステップＳＴ４１）。録画制御装置３０の制御部３１は、録画要求を取得していると判定した場合（ステップＳＴ４１：ＹＥＳ）、ステップＳＴ４２の処理に進む。
一方、制御部３１は、録画要求を取得していない、すなわち録画停止要求を取得したと判定した場合（ステップＳＴ４１：ＮＯ）、自動追尾録画処理を終了し、図６に戻る。

情報制御部１２は、信号処理回路１１ｄから取得した距離画像情報を解析して追尾対象（人物）を検出し、検出した人物に対して順にＩＤを付与するとともに、ＩＤが付与された人物を追尾する（ステップＳＴ４２）。
次に、情報制御部１２は、ＩＤが付与された人物の顔認識を行い、予め記憶されている追尾対象（教師）の顔情報と一致する顔情報を持つＩＤが存在するか否か判定する（ステップＳＴ４３）。
情報制御部１２は、距離画像情報を解析してＩＤが付与された人物の顔情報を抽出し、当該顔情報と、予め記憶されている教師の顔情報とを比較することで顔認識を行う。教師の顔情報は、第１のカメラ１０のメモリに記憶されているものであっても、録画制御装置３０から取得するものであってもよい。
ステップＳＴ４３において、情報制御部１２は、予め記憶されている顔情報と一致する顔情報を持つＩＤが存在すると判定した場合（ステップＳＴ４３：ＹＥＳ）、当該ＩＤを追尾対象ＩＤ（教師ＩＤ）と特定し、追尾対象ＩＤが付与されている人物の位置情報を生成して、生成した位置情報を録画制御装置３０に送信する（ステップＳＴ４４）。
一方、ステップＳＴ４３において、情報制御部１２は、予め記憶されている顔情報と一致する顔情報を持つＩＤが存在しないと判定した場合（ステップＳＴ４３：ＮＯ）、
ステップＳＴ４１の処理に戻る。

ステップＳＴ４５からステップＳＴ４７は、図７で示したステップＳＴ２５〜ステップＳＴ２７と同一であるため、説明を省略する。また、図７および図９では、自動追尾録画の対象を教師とする場合について説明したが、これに限定されるものではなく、特定の生徒を自動追尾録画の対象としてもよい。

以上のように、第１実施形態に係る自動追尾録画システム１によれば、物体を三次元で検出可能な第１のカメラ１０が、高精度な追尾対象の位置情報を生成するとともに、録画制御装置３０が当該位置情報に基づき、第２のカメラ２０の駆動機構を制御するための撮像制御情報を生成し第２のカメラ２０に出力する。このため、第２のカメラ２０は、当該撮像制御情報に基づいて駆動機構を制御し、高精度に対象を追尾して撮像することができる。これにより、高精度に追尾対象を捉えた撮像画像を得ることができる。

（第２実施形態）
第２実施形態では、第１のカメラ１０の情報制御部１２がさらに追尾対象の行動情報を生成する場合について説明する。以下、第１実施形態に係る自動追尾録画システム１の構成要素と同一または相当する部分には、第１実施形態で用いた符号と同一の符号を付し、重複する説明を省略または簡略化する。

まず、図１０を用いて、情報制御部１２が生成する追尾対象の行動情報の例について説明する。図１０は、追尾対象が生徒である場合を示している。行動情報には、着席情報、挙手情報、起立情報等がある。着席情報とは、生徒が着席している状態を示す情報である。挙手情報とは、着席している生徒が挙手をしている状態を示す情報である。起立情報とは、生徒が起立している状態を示す情報である。

次に、図１１に示すフローチャートを用いて、第２実施形態に係る自動追尾録画処理の一例を説明する。以下、自動追尾録画の対象を生徒とする場合について説明する。
録画制御装置３０の制御部３１は、録画要求を取得しているか否か判定する（ステップＳＴ６１）。制御部３１は、録画要求を取得していると判定した場合（ステップＳＴ６１：ＹＥＳ）、ステップＳＴ６２の処理に進む。
一方、制御部３１は、録画要求を取得していない、すなわち録画停止要求を取得したと判定した場合（ステップＳＴ６１：ＮＯ）、自動追尾録画処理を終了し、図６に戻る。

情報制御部１２は、信号処理回路１１ｄから取得した距離画像情報を解析して追尾対象（生徒）を特定し、追尾対象の位置座標および行動情報を生成して、生成した位置座標および行動情報を録画制御装置３０に送信する（ステップＳＴ６２）。

次に、録画制御装置３０の制御部３１は、第１のカメラ１０から取得した位置情報を補正するとともに補正後位置情報と、行動情報とに基づき、第２のカメラ２０に設定する撮像制御情報を生成し、補正後位置情報および撮像制御情報を第２のカメラ２０に送信する（ステップＳＴ６３）。

ここで、図１２を用いてステップＳＴ６３で制御部３１が行う撮像制御情報の生成について詳細に説明する。第２実施形態の制御部３１は、行動状態判定部（不図示）をさらに備え、行動状態判定部は、第１のカメラ１０から取得した行動情報に基づいて行動状態を判定し、行動状態を撮像制御情報生成部３１ｃに出力する。
図１２は、行動状態および撮像制御情報の具体例を示す図である。行動状態には、例えば、行動状態ａから行動状態ｄがある。
（１）行動状態ａ
制御部３１は、行動情報に挙手情報および起立情報が含まれていない場合、すなわちすべて着席情報である場合に、行動状態ａであると判定する。行動状態ａは、生徒全員が着席しており、挙手をしている生徒および起立している生徒がいない状態である。
（２）行動状態ｂ
制御部３１は、行動情報に少なくとも１つの挙手情報が含まれ、かつ起立情報が含まれていない場合に、行動状態ｂであると判定する。行動状態ｂは、生徒の中に挙手をしている生徒が少なくとも１人いて、起立している生徒がいない状態である。
（３）行動情報ｃ
制御部３１は、行動情報に少なくとも１つの起立情報が含まれ、かつ挙手情報が含まれていない場合に、行動状態ｃであると判定する。行動状態ｃは、生徒の中に起立している生徒が少なくとも１人いて、挙手している生徒がいない状態である。
（４）行動状態ｄ
制御部３１は、行動情報に少なくとも１つの挙手情報が含まれ、かつ少なくとも１つの起立情報が含まれている場合に、行動状態ｄであると判定する。行動状態ｄは、生徒の中に挙手をしている生徒が少なくとも１人いて、かつ起立している生徒が少なくとも１人いる状態である。

図１３は、制御部３１による撮像制御情報の生成について説明するためのフローチャートである。
まず、制御部３１は、挙手情報を取得しているか否か判定する（ステップＳＴ１０１）。ステップＳＴ１０１において、制御部３１は、挙手情報を取得していると判定した場合（ステップＳＴ１０１：ＹＥＳ）、制御部３１は、起立情報を取得しているか否か判定する（ステップＳＴ１０２）。
ステップＳＴ１０２において、制御部３１は、起立情報を取得していると判定した場合（ステップＳＴ１０２：ＹＥＳ）、行動状態ｄであると判定する（ステップＳＴ１０３）。次に、制御部３１は、取得した位置情報に基づいて、挙手をしている生徒および起立している生徒の双方が画角に入るように、パン、チルトの向き、およびズームの倍率を決定した撮像制御情報ｄ（図１２に示す）を生成する（ステップＳＴ１０４）。
一方、ステップＳＴ１０２において、制御部３１は、起立情報を取得していないと判定した場合（ステップＳＴ１０２：ＮＯ）、行動状態ｂであると判定する（ステップＳＴ１０５）。次に、制御部３１は、取得した位置情報に基づいて、挙手をしている生徒が画角に入るように、パン、チルトの向き、およびズームの倍率を決定した撮像制御情報ｂ（図１２に示す）を生成する（ステップＳＴ１０６）。この場合、挙手をしている生徒が１人である場合、当該生徒が画角に入るように撮像制御され、挙手をしている生徒が複数いる場合、当該複数の生徒が画角に入るように撮像制御されることとなる。ただし、挙手をしている生徒が複数いる場合であっても、特定の１人の生徒のみが画角に入るように撮像制御情報を生成してもよい。

ステップＳＴ１０１において、制御部３１は、挙手情報を取得していないと判定した場合（ステップＳＴ１０１：ＮＯ）、制御部３１は、起立情報を取得しているか判定する（ステップＳＴ１０７）。
ステップＳＴ１０７において、制御部３１は、起立情報を取得していると判定した場合（ステップＳＴ１０７：ＹＥＳ）、行動状態ｃであると判定する（ステップＳＴ１０８）。次に、制御部３１は、取得した位置情報に基づいて、起立している生徒が画角に入るように、パン、チルトの向き、およびズームの倍率を決定した撮像制御情報ｃ（図１２に示す）を生成する（ステップＳＴ１０９）。この場合、起立している生徒が１人である場合、当該生徒が画角に入るように撮像制御され、起立している生徒が複数いる場合、当該複数の生徒が画角に入るように撮像制御されることとなる。ただし、起立している生徒が複数いる場合であっても、特定の１人の生徒のみが画角に入るように撮像制御情報を生成してもよい。
一方、ステップＳＴ１０７において、制御部３１は、起立情報を取得していないと判定した場合（ステップＳＴ１０７：ＮＯ）、行動状態ａであると判定する（ステップＳＴ１１０）。次に、制御部３１は、取得した位置情報に基づいて、生徒全員が画角に入るように、パン、チルトの向き、およびズーム倍率を決定した撮像制御情報ａ（図１２に示す）を生成する（ステップＳＴ１１１）。

図１１に戻り説明を続ける。
第２のカメラ２０の撮像制御部２２は、録画制御装置３０から取得した補正後位置情報および撮像制御情報に基づき、撮像部２１の駆動機構を制御しながら撮像を開始し、生成した撮像画像を録画制御装置３０に送信する（ステップＳＴ６４）。
次に、録画制御装置３０の制御部３１（撮像画像取得部３１ｄ）は、第２のカメラ２０から取得した撮像画像を記憶部３２に記憶する（ステップＳＴ６５）。

上記では、制御部３１が生徒の行動情報を生成し、当該行動情報が録画制御装置３０に出力される場合について説明した。
制御部３１が生徒の顔認識を行い、在席生徒情報を生成するようにしてもよい。この場合、当該在席生徒情報が録画制御装置３０に出力される。録画制御装置３０の制御部３１は、当該在席生徒情報と予め記憶している名簿情報とを比較して、生徒の出欠情報の生成、管理を行う。これにより、自動で出欠管理をすることができる。

また、制御部３１が教室Ａ内にいる人物の顔認識を行い、予め記憶している人物以外の顔情報が検出された場合、部外者情報を生成するようにしてもよい。この場合、当該部外者情報が録画制御装置３０に出力される。録画制御装置３０の制御部３１は、当該部外者情報を取得した場合、不図示の音声出力部を介して警告音を発する等の制御を行う。これにより、授業の不正受講等を防ぐことができる。

第１のカメラ１０の情報制御部１２が生徒の顔から、視線の向き、顔の向き、表情等を検出した顔情報を生成するようにしてもよい。この場合、当該顔情報が録画制御装置３０に出力される。録画制御装置３０の制御部３１は、当該顔情報に基づき、生徒の授業態度を評価するための評価情報を生成、管理する。これにより、生徒の授業態度を自動で評価することができる。また、制御部３１は、当該顔情報に基づき、生徒の反応を統計的に集計し、教師の授業内容を評価するための評価情報を生成、管理する。これにより、教師の授業内容を自動で評価することができる。

第１のカメラ１０の情報制御部１２が、生徒が挙手をしたことを示す挙手情報、生徒が発言したことを示す発言情報を生成するようにしてもよい。この場合、挙手情報および発言情報が録画制御装置３０に出力される。この場合、録画制御装置３０の制御部３１は、生徒の挙手回数、発言回数を統計的に集計し、生徒の授業態度を評価するための評価情報を生成、管理する。これにより、生徒の授業態度を自動で評価することができる。

以上のように、第２実施形態に係る自動追尾録画システム１によれば、追尾対象の行動に合わせた撮像制御情報が生成される。このため、第２のカメラ２０は、追尾対象の行動に合わせて駆動機構を制御し、追尾対象を撮像することができる。これにより、追尾対象の行動に合わせて調節して撮像された撮像画像を得ることができる。

なお、追尾機能を有するＰＴＺカメラが既に設置されている施設等において、当該ＰＴＺカメラを第２のカメラ２０とし、第１のカメラ１０および録画制御装置３０をさらに設置することで、第１実施形態および第２実施形態で示した自動追尾録画システム１を構築することもできる。その場合、第２のカメラ２０に対し、例えば、録画制御装置３０からの情報に従って追尾撮像する仕様にする等の処置を施せばよい。

１ 自動追尾録画システム
１０ 第１のカメラ
２０ 第２のカメラ
３０ 録画制御装置
３１ａ 位置情報取得部
３１ｂ 位置情報補正部
３１ｃ 撮像制御情報生成部
３１ｄ 撮像画像取得部

Claims (4)

1. 物体を三次元で検出するとともに追尾対象を特定して追尾し、前記追尾対象の位置情報を生成して出力する第１のカメラと、
   前記追尾対象の前記位置情報に基づき撮像制御情報を生成して出力する録画制御装置と、
   前記撮像制御情報に基づいて撮像部の駆動機構を制御して撮像画像を生成し、前記撮像画像を前記録画制御装置に出力する第２のカメラと
   を備えることを特徴とする自動追尾録画システム。
2. 前記第１のカメラは、前記追尾対象の行動情報を生成して出力し、
   前記録画制御装置は、前記追尾対象の前記位置情報および前記行動情報に基づいて前記撮像制御情報を生成することを特徴とする請求項１に記載の自動追尾録画システム。
3. 前記第１のカメラは、撮像空間内における物体までの三次元距離を測定可能なカメラであり、
   前記第２のカメラは、少なくとも、パン、チルト、およびズームを調節するための前記駆動機構を備えたカメラである
   ことを特徴とする請求項１または請求項２に記載の自動追尾録画システム。
4. 第１のカメラおよび第２のカメラと通信可能に接続された録画制御装置であって、
   物体を三次元で検出するとともに追尾対象を特定して追尾し、前記追尾対象の位置情報を生成して出力する前記第１のカメラから前記位置情報を取得する位置情報取得部と、
   前記位置情報に基づき、前記第２のカメラにおける撮像部の駆動機構を制御するための撮像制御情報を生成し、前記第２のカメラに出力する撮像制御情報生成部と、
   前記撮像制御情報に基づいて前記第２のカメラの前記撮像部が生成した撮像画像を取得する撮像画像取得部と
   を備えることを特徴とする録画制御装置。

Images