JP2023097667A - ビデオ撮影装置およびビデオ映像記録方法 - Google Patents

Abstract

【課題】３６０度カメラで長時間のビデオ録画をするのに必要な記憶データ量を削減するとともに消費電力も低くおさえたビデオ撮影装置およびビデオ映像記録方法を提供すること。【解決手段】 ビデオ撮影装置は、複数のビデオカメラからなる３６０度カメラと、当該ビデオカメラから出力するフレーム画像について物体検出とカテゴリー判定をする物体検出器と、当該物体検出器で検出した物体のカテゴリーが所定のカテゴリーに属するか否か判定し、属する場合は当該フレーム画像を出力したビデオカメラの識別情報をメモリに記録するビデオカメラ決定部と、当該メモリに記録された識別情報により特定されるビデオカメラから出力するフレーム画像のみを取得し、同時刻に撮影された当該フレーム画像同士を結合して記録画像を生成する画像生成部と、当該記録画像を記録する映像記憶部とを備える。【選択図】図１

Description

本発明は、ビデオ撮影中に行う画像データの処理技術に関する。

従来より、ゴルフラウンド中のプレーを３６０度カメラにより撮影し、プレー後にダイジェスト動画像をプレーヤーに提供するシステムとしては、特許文献１に記載されているようなものがあった。

ここで撮影したビデオデータは４Ｋまたは８Ｋビデオカメラによる超高解像度データであるため、プレーヤーを特定して、３６０度画角の映像データから対象被写体を含む領域を切り出しても高画質の映像を視ることができた。

特開２０２０－８８８５５号公報 特開２０１１－５５２０４号公報

しかしながら、１８ホール分の３６０度画角の４Ｋまたは８Ｋ解像度の動画データをＭｏｔｉｏｎ ＪＰＥＧで高速にエンコードし記録しても、そのデータ量は非常に大きく、このため大容量の記憶装置が必要であった。また、エンコード処理には電力も多く消費してしまうため、撮像装置のバッテリーも大容量のものを用意する必要があるという課題があった。

このような長時間の映像の記録再生において、映像シーンの分析を客観的に行い、重要度の高い映像を取りこぼしなく、かつデータ量を削減して圧縮する技術としては、特許文献２があった。

この発明はシーンの重要度に応じて圧縮率を漸次変化せることでデータ蓄積量は減少できたが、電力消費を抑えることはできなかった。

本発明は、上記従来の課題を解決するためになされ、その目的とするところは、３６０度カメラで長時間撮影するのに必要な記憶装置の記憶容量を小さくするとともに消費電力も低くおさえたビデオ撮影装置およびビデオ映像記録方法を提供することにある。

上記従来の課題を解決する本発明に係るビデオ撮影装置は、複数のビデオカメラからなる３６０度カメラと、当該ビデオカメラから出力するフレーム画像について物体検出とカテゴリー判定をする物体検出器と、当該物体検出器で検出した物体のカテゴリーが所定のカテゴリーに属するか否かを判定し、属する場合は当該フレーム画像を出力したビデオカメラの識別情報をメモリに記録するビデオカメラ決定部と、当該メモリに記録された識別情報により特定されるビデオカメラから出力するフレーム画像のみを取得し、同時刻に撮影された当該フレーム画像同士を結合して記録画像を生成する画像生成部と、当該記録画像を記録する映像記憶部とを備える。

これにより、録画対象とするカテゴリー（たとえば人物）の物体が映っていないフレーム画像はトリミングなどの画像処理なしにビデオカメラ単位で記録されないので記憶データ量が少なくなるとともに、画像処理による電力消費も抑えることができる。

また、本発明に係るビデオ撮影装置は、所定時間ごとにトリガー信号を出力するタイマーをさらに有し、物体検出器とビデオカメラ決定部とはトリガー信号の受信時にのみ処理を行い、メモリに記録された識別情報を更新する。

これにより、所定時間が数秒であればフレーム画像受信のたび、たとえば毎秒３０フレームのフレームレートであれば１秒間に３０回、物体検出・カテゴリー判定処理やフレーム画像の合成処理などをしなくてよいのでこれらの処理に要する電力を大幅に削減できる。

また、本発明に係るビデオ撮影装置のビデオカメラ決定部は、さらに、あらかじめ指定されたビデオカメラの組み合わせに基づいて、記録された識別情報により特定されたビデオカメラと組み合わせられたビデオカメラの識別情報もメモリに記録する。

これにより、対象物体を検出していないビデオカメラであって、対象物体の検出確率の高いビデオカメラの出力する画像も記録されるので、所定時間内に一つのビデオカメラの画角を越えて移動する録画対象物体に対しても、対象物体の移動の様子を途切れることなく録画できる可能性が高まる。

また、本発明に係るビデオ映像記録方法は、複数のビデオカメラにより構成される３６０度カメラから出力するフレーム画像を記憶装置へ記録する方法であって、当該複数のビデオカメラが出力するそれぞれのフレーム画像について物体検出とカテゴリー判定をする物体検出ステップと、当該物体検出ステップで検出した物体のカテゴリーが所定のカテゴリーに属するか否かを判定するカテゴリー判定ステップと、当該カテゴリー判定ステップでの判定結果が所定のカテゴリーに属する場合は、当該フレーム画像を出力したビデオカメラから出力するフレーム画像のみを選択し、同時刻に撮影された当該フレーム画像同士を結合して記録画像を生成し、それ以外のビデオカメラからのフレーム画像は選択しない画像生成ステップと、当該画像生成ステップにより生成された記録画像を記憶装置へ記録する記録ステップとを有するものである。

これにより、録画対象とするカテゴリー（たとえば人物）の物体が映っていないフレーム画像はトリミングなどの画像処理なしにビデオカメラ単位で記録されないので記憶データ量が少なくなるとともに、画像処理による電力消費も抑えることができる。

本発明により、動画像の長時間録画であっても、ビデオ撮影装置は大容量の記憶装置を必要とせず、また、バッテリーも大容量のものを用意する必要がなくなる。

本発明の実施の形態１におけるビデオ撮影装置の構成を示すブロック図 本発明の実施の形態１における３６０度カメラを形成する６台のビデオカメラの配置と撮影範囲を示す図 （ａ）本発明の実施の形態１における制御装置の画像取得動作を示すフロー図、（ｂ）カメラ識別情報決定動作を示すフロー図 （ａ）本発明の実施の形態１における映像記憶装置のフレーム画像入力動作を示すフロー図、（ｂ）動画像データ蓄積動作を示すフロー図 本発明の実施の形態２におけるビデオ撮影装置の構成を示すブロック図 本発明の実施の形態２における制御装置のカメラ識別情報決定動作を示すフロー図

以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）

図１は、本発明の実施の形態１におけるビデオ撮影装置の構成を示すブロック図である。

このビデオ撮影装置は、ゴルフカートのルーフ上方の３６０度視界が開けた位置に設置される３６０度カメラ１０と、当該３６０度カメラから出力されるフレーム画像をチェックして、３６０度カメラを構成する、いずれのビデオカメラからのフレーム画像を記録するかを決定する制御装置１１と、決定されたビデオカメラからの画像のみを選択して記憶する映像記憶装置１２とからなる。なお、このビデオ撮影装置が撮影した映像データと集音マイクからの音声データをラウンド終了後に解析などして、プレーのハイライトシーンを集めたダイジェストが作成される。

このビデオ撮影装置の３６０度カメラは、図２に示すように６台のビデオカメラＡ、Ｂ，Ｃ，Ｄ，Ｅ，Ｆを光軸（図中の一点鎖線）が放射状になるように配置することで構成され、それぞれのビデオカメラ１０１は画角が７５度のレンズと、解像度が４Ｋ（３，８４０画素×２，１６０画素）または８Ｋ（７，６８０画素×４，３２０画素）の撮像素子と、撮像素子の出力信号のＡＤ変換からレンズの歪み補正までの信号処理を行う信号処理回路とを備えている。この歪み補正は公知のアルゴリズムを組み込んだＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によりリアルタイムに処理される。

なお、ビデオカメラ同士の画角は図２に示すように隣接するビデオカメラの画角と１５度オーバーラップしている。これにより、複数のビデオカメラにより３６０度カメラを構成する場合において、図２の斜線で示す死角となる領域を小さくしている。

そして、それぞれのビデオカメラ１０１は、連続的に画像を生成し、画像取得部１０２と画像入力部１０８へ出力する。
次に、制御装置１１のハードウェア構成について説明する。

図１において、制御装置１１は、６つの画像取得部１０２とタイマー部１０３と物体検出器１０４とクラス記憶部１０５とビデオカメラ決定部１０６と画像取得部１０毎に対応した図示していないフレームメモリとからなる。このフレームメモリを映像記憶装置１２のものと区別するため第１フレームメモリという。

画像取得部１０２は、各ビデオカメラ１０１に１対１に対応して設けられており、タイマー部１０３からのトリガー信号を受信すると、ビデオカメラ１０１から送出される１フレームの画像データをビデオカメラの識別番号を付して自己に対応する第１フレームメモリに書き込むものである。

タイマー部１０３は本発明に係るタイマーであって、所定時間毎にトリガー信号を出力するものであり、その時間間隔は、本実施の形態では６秒である。これはゴルフプレーにおいては、人物が６秒以内にボールの位置に移動してショットやパットを完了する可能性が低いからである。

物体検出器１０４は、すべての第１フレームメモリ中のフレーム画像に対して物体検出とクラス判定処理（物体のカテゴリーを判定する処理のことをいう）を行い、物体の座標値、その物体のクラス情報（物体のカテゴリーを示す情報のことをいう。）、その尤度、検査対象となったフレーム画像のフレーム番号、およびそのフレーム画像を出力したビデオカメラの識別情報をクラス記憶部１０５に書き込むものである。

この物体検出・クラス判定処理については、公知の技術であるＹＯＬＯ（タイトル ＹＯＬＯｖ３: Ａｎ Ｉｎｃｒｅｍｅｎｔａｌ Ｉｍｐｒｏｖｅｍｅｎｔ、開発者Ｊｏｓｅｐｈ Ｒｅｄｍｏｎ, Ａｌｉ Ｆａｒｈａｄｉ/Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｗａｓｈｉｎｇｔｏｎ）やＳＳＤ（タイトル Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ ／開発者 Ｗｅｉ Ｌｉｕ， Ｄｒａｇｏｍｉｒ Ａｎｇｕｅｌｏｖ，Ｄｕｍｉｔｒｕ Ｅｒｈａｎ，Ｃｈｒｉｓｔｉａｎ Ｓｚｅｇｅｄｙ，Ｓｃｏｔｔ Ｒｅｅｄ，Ｃｈｅｎｇ―Ｙａｎｇ Ｆｕ，Ａｌｅｘａｎｄｅｒ Ｃ．Ｂｅｒｇ）といったディープラーニングによる物体検出・クラス判定技術を用いた学習済みモデルにより行うことができる。

なお、人物検出処理については、ディープラーニングによらず画像セットデータベースから人物に関するＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴やＨａａｒ－ｌｉｋｅ特徴を事前に獲得して生成した機械学習モデルを用いて行うことも可能である。

クラス記憶部１０５はＲＡＭであり、物体検出器１０４からの出力データを記憶するものである。

ビデオカメラ決定部１０６は、クラス記憶部１０５に記憶された物体のクラス情報が人物であるとき、その尤度と物体の領域が所定値より大きいか否か判定し、大きいときにビデオカメラの識別情報を抽出するものである。

以上の制御装置１１は、コンピュータ装置であって、ＣＰＵ、ＲＡＭ、不揮発性記憶部、フレームメモリおよび入出力インターフェースを備えており、それらはバスで接続されている。そして、不揮発性記憶部に記憶してある制御用プログラムをＲＡＭに展開して実行することにより上記の機能ブロックを実現している。

次に、制御装置１１の行う画像取得動作とカメラ識別情報決定動作について説明する。

図３（ａ）は画像取得動作を示すフロー図であって、まず、すべての画像取得部１０２はタイマー部１０３からのトリガー信号を受信するまで待機し（ステップＳ１０１）、受信するとそれぞれのビデオカメラ１０１から出力されるフレーム画像をそれぞれの第１フレームメモリに書き込む（ステップＳ３０２）。そして、１フレームの画像の書込みが完了すると、物体検出器１０４へ書き込み完了を通知する（ステップＳ１０３）。その後、すべての画像取得部１０２は再びトリガー信号受信まで待機する（ステップＳ１０１）。

図３（ｂ）はカメラ識別情報決定動作を示すフロー図であって、まず、物体検出器１０４は画像取得部１０２から書込み完了の通知を受けると（ステップＳ２０１）、当該フレーム画像について物体検出とクラスの判定処理を行い、当該フレーム画像に付されたビデオカメラの識別番号と、対象物を囲った領域の座標値と、クラス判定の結果、すなわち人物の有無、人物判定の尤度とをクラス記憶部１０５に書き込む（ステップＳ２０２）。

物体検出器１０４はこの処理をすべての画像取得部１０２からの通知に対して順番に行い、処理が完了すると当該通知記録を削除した後、物体検出・クラス判定処理が完了したことをビデオカメラ決定部１０６に通知する（ステップＳ２０４）。

ビデオカメラ決定部１０６はこの通知を受けるとクラス記憶部１０５を参照して、人物と判定した領域のサイズが所定サイズ以上であって、人物判定の尤度が所定値以上のものがあるか否かを判定し（ステップＳ２０５）、条件を満たすものがある場合には、そのクラス情報に対応したビデオカメラの識別番号を後述する映像記憶装置１２のカメラ識別情報記憶部１０７に記録する（ステップＳ２０６）。そして、ビデオカメラ決定部１０６はクラス記憶部１０５に記録されたすべての情報を判定処理し終えるとクラス記憶部１０５の情報をすべて削除して終了する（ステップＳ２０７）、その後、再び、物体検出器１０４による画像取得部１０２からの通知待ちの状態に戻る（ステップＳ２０１）。

以上がビデオ撮影装置の制御装置１１の動作であり、所定時間（本実施の形態では６秒）毎に各ビデオカメラが出力するフレーム画像をチェックして、人物が含まれるフレーム画像を出力するビデオカメラの識別番号を決定する処理を行う。

次に、映像記憶装置１２のハードウェア構成について説明する。

図１において、映像記憶装置１２は、カメラ識別情報記憶部１０７と画像入力部１０８と同期信号発生器１０９と記憶画像生成部１１０と映像記憶部１１１と画像取得部１０毎に対応した図示していないフレームメモリとからなる。このフレームメモリを制御装置１１のものと区別するため第２フレームメモリという。

カメラ識別情報記憶部１０７は、制御装置１１からの書込み・読出しが可能な共有メモリ（ＲＡＭ）である。

画像入力部１０８は、６つのビデオカメラ１０１に１対１に対応づけて設けられており、同期信号を受信して、ビデオカメラからの画像データを第２フレームメモリに書き込むものである。このとき、画像入力部１０８は、カメラ識別情報記憶部１０７に記録されているカメラ識別情報を参照し、この書き込みを行ったり、行わなかったりする。

同期信号発生器１０９は、６つの画像入力部１０８のフレーム画像入力の同期をとるためのものであり、毎秒３０フレームとなる間隔で同期信号を出力するものである。

記憶画像生成部１１０は、第２フレームメモリからフレーム画像と、そのフレーム画像に付されたカメラ識別情報を取得し、そのカメラ識別情報に基づいて、画像が繋がるようにフレーム画像同士を結合するものである。このとき、図２に示すように隣接するビデオカメラからのフレーム画像はオーバーラップしているが、このオーバーラップする部分を重ね合わせて１つのフレーム画像を生成する。このようにオーバーラップ領域を有するフレーム画像を繋ぎ合わせる技術としては、特開平１０－１７８５６４号公報に記載の技術などがあり、これら公知のアルゴリズムを組み込んだＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を用いて、画像の合成処理をリアルタイムで実現している。

なお、合成するフレーム画像が隣接したビデオカメラ１０１からのものでない場合は、オーバーラップ部分の合成をすることなしに単純にフレーム画像同士を結合する処理を行う。

映像記憶部１１１は、大容量のハードディスクや半導体メモリカードなどを記録媒体とする不揮発性記憶装置であり、記憶画像生成部１１０が生成したフレーム画像が毎秒３０フレームの速度で連続して記憶されるものである。

以上の映像記憶装置１２は、コンピュータ装置であって、ＣＰＵ、ＲＡＭ、不揮発性記憶部、大容量不揮発性記憶装置、高速な画像処理を行うＡＳＩＣ、フレームメモリおよび入出力インターフェースを備えており、それらはバスで接続されている。そして、不揮発性記憶部に記憶してある制御用プログラムをメモリに展開して実行することにより上記機能ブロックを実現している。

なお、本実施の形態における画像入力部１０８と記憶画像生成部１１０が、本発明に係る画像生成部に相当する。

次に、映像記憶装置１２の行うフレーム画像入力動作と動画像データ蓄積動作について説明する。

図４（ａ）はフレーム画像入力動作を示すフロー図であって、まず、画像入力部１０８は同期信号発生器１０９からの同期信号を受信すると（ステップＳ３０１）、カメラ識別情報記憶部１０７からカメラ識別情報を読み出し、当該識別情報が自己の接続するビデオカメラ１０１の識別番号と一致するか否かを判定し（ステップＳ３０２）、一致する場合は、ビデオカメラ１０１から送出される１フレームの画像データを当該ビデオカメラの識別番号を付して第２フレームメモリに書き込み（ステップＳ３０３）、記憶画像生成部１１０に書き込み完了を通知する（ステップＳ３０４）。一方、識別番号と一致しない場合は、第２フレームメモリへの書込みを行わず、記憶画像生成部１１０に処理終了のみ通知する（ステップＳ３０４）。この動作をすべての画像入力部１０８が同時に行い、終了すると、再び、同期信号の受信があるまで待機する（ステップＳ３０１）。

図４（ｂ）は動画像データ蓄積動作を示すフロー図であって、まず、記録画像生成部１１０は、画像入力部１０８からの通知を待つ（ステップＳ４０１）。そして、すべての画像入力部１０８からの通知を受信すると、第２フレームメモリに書き込まれているフレーム画像のオーバーラップ部分に視差補正などの処理を加えた後、合成処理を行い（ステップＳ４０２）、全体で一つのフレーム画像を映像記憶部１１１に転送し蓄積する（ステップＳ４０３）。

以上がビデオ撮影装置の映像記憶装置１２の動作であり、制御装置１１が記録したカメラ識別番号に対応したフレーム画像のみを毎秒３０フレームの速度で合成して、映像記憶部１１１に蓄積する。

上記したように、本実施の形態におけるビデオ撮影装置は、複数のビデオカメラにより構成される３６０度カメラから出力するフレーム画像を記憶装置へ記録するものであって、そのビデオ映像記録方法は、制御装置１１が複数のビデオカメラが出力するそれぞれのフレーム画像を取得し（図３ａステップＳ１０１からステップＳ１０３）、それらのフレーム画像について物体検出とカテゴリー判定をし（図３ｂステップＳ２０１からステップＳ２０４）、次に、検出した物体のカテゴリーが所定のカテゴリーに属するか否か判定し、当該カテゴリー判定ステップでの判定結果が所定のカテゴリー、本実施の形態では人物に属する場合は、制御装置１１が当該フレーム画像を出力したビデオカメラの識別情報を映像記憶装置１２に伝える（図３ｂステップＳ２０５からステップＳ２０７）。そして、映像記憶装置１２がその識別情報で示されたビデオカメラから出力するフレーム画像のみを選択し（図４ａステップＳ３０１からステップＳ３０４）、同時刻に撮影された当該フレーム画像同士を結合して記録画像を生成し、それ以外の前記ビデオカメラからのフレーム画像を選択しないで、生成された記録画像を記憶装置へ記録する（図４ｂステップＳ４０１からステップＳ４０３）というものである。

このように、本実施の形態においては、ビデオ撮影装置は複数台のビデオカメラで構成する３６０度カメラの中から、対象物（人物）を検出したフレーム画像を出力したビデオカメラからの映像のみを蓄積するので、３６０度カメラからのすべての動画像データを蓄積するのに較べ、動画像データ量を大幅に減少することができる。

また、ＣＰＵ等の消費電力を多く必要とする物体検出・クラス判定処理は、数秒に１回、本実施形態では６秒に１回に抑えられるので、ビデオ撮影装置をバッテリー駆動させた場合であっても大容量のバッテリーを必要としないという効果が得られる。

さらに、制御装置１１にロータリースイッチを設け、その回転角度をタイマー部１０３が読み取り、タイマー周期を設定可能にすることで、ビデオ録画の対象と用途ごとに録画時間なども考慮してバッテリー消費量を調整可能にすることもできる。

また、本実施の形態では、ビデオカメラ決定部１０６が、物体検出器１０４が検出した物体のすべてについて、録画対象の人物であるか否かの判定を行った。これにより、たとえば、図２において、人物Ｐが検出された場合は、ビデオカメラＡの識別番号をカメラ識別情報記憶部１０７に記録する。また、人物Ｑが検出された場合は、ビデオカメラＡとビデオカメラＢ両方の識別番号を記録することになる。これにより、ビデオカメラの画角の端付近（画角β）に存在している人物についても、ダイジェスト作成の際に、当該人物を中心にした画像を切り出すことができる。さらに、プレーヤーＱが物体検出を行う周期（本実施の形態では６秒）以内にビデオカメラＢの画角α内に移動しても、プレーヤーＱを逃すことなく記録し続けることができる。ここで、本実施の形態では画角αは６０度、画角βは７．５度である。

なお、人物Ｒについては、ビデオカメラＡの画角α内にあるが、ビデオカメラＢの画角β内にもある。この様なときにもビデオカメラＡの他にビデオカメラＢで撮影した画像を記録し続けることは無駄が多い。そのため、ビデオカメラ決定部１０６がカメラ識別情報の記録判定を行う際に、人物のアドレス情報をビデオカメラの識別番号に基づいて極座標に変換し、同一アドレスの人物を画角α内に検出したビデオカメラと画角β内に検出したビデオカメラがある場合は、画角β内にある方の人物情報を削除する。その後、カメラ識別情報の記録判定を行う。これにより、人物ＲをビデオカメラＡのみが撮影したことになり、ビデオカメラＢからのフレーム画像を記録することを避けることができる。

また、本実施の形態におけるビデオ撮影装置は、物体検出・クラス判定処理をするためのフレームメモリ、すなわち制御装置１１が備える第１フレームメモリと、映像記憶部１１１に蓄積する動画像データとなるフレーム画像を記憶するフレームメモリ、すなわち映像記憶装置１２の備える第２フレームメモリとをそれぞれ別に設ける構成であるので、物体検出・クラス判定処理時間に関わらず、３６０度カメラを形成する全ビデオカメラが同時に撮影したフレーム画像を用いて当該処理を行うことができる。

これにより、３６０度カメラの解像度が非常に高い場合において、高速に移動する物体を処理する場合にも、毎秒３０フレームの速度に物体検出・クラス判定処理が追い付かずに同一物体を複数のビデオカメラで検出するといった不具合を回避することができる。
（実施の形態２）

図５は、本発明の実施の形態２におけるビデオ撮影装置の構成を示す図であり、実施の形態１と異なる点は、制御装置１１がカメラ組合せ情報記憶部２０１を備える点である。

このカメラ組合せ情報記憶部２０１は、ビデオカメラ決定部１０６がカメラ識別情報記憶部１０７に記録するビデオカメラの識別番号を決定したときに、当該識別番号と共に記録する識別番号の組み合わせを記憶したものである。

たとえば、図２において、３６０度カメラのビデオカメラＡ乃至ビデオカメラＣがゴルフカートの進行方向に対し右側を被写体とし、ビデオカメラＤ乃至ビデオカメラＦが進行方向左側を被写体とするようにゴルフカートにセットされているとき、カメラ組合せ情報記憶部２０１に、Ａ，Ｂ，Ｃを一組とし、Ｄ，Ｅ，Ｆを他の一組とするカメラ組合せ情報を記憶しておく。

これは、ゴルフコースにおいては、カート道がコースの端にひかれているのがほとんどであり、カートの進行方向の右側のみ、あるいは左側のみにプレーヤーが存在するからである。このようにカメラ組合せ情報記憶部２０１に設定される組み合わせは、その内の一つのビデオカメラが対象物体を検出したときには、それと共に対象物体が存在する確率の高いビデオカメラが組合わされる。

また、本実施の形態のビデオ撮影装置の動作と実施の形態１の動作とで異なる点は、カメラ識別情報決定動作である。

図６は、そのカメラ識別情報決定動作を示すフロー図である。

図６において、処理ステップＳ５０１から処理ステップＳ５０４までは実施の形態１の処理ステップＳ２０１から処理ステップＳ２０４までと同一である。

その後、ビデオカメラ決定部１０６は物体検出器１０４からの物体検出・クラス判定処理完了の通知を受けると、クラス記憶部１０５を参照して人物と判定した領域のサイズが所定サイズ以上であって、人物判定の尤度が所定値以上のものがあるか否かを判定し（ステップＳ５０５）、条件を満たすものがある場合には、そのフレーム画像に対応したビデオカメラの識別番号を映像記憶装置１２のカメラ識別情報記憶部１０７に記録する（ステップＳ５０６）。さらに、ビデオカメラ決定部１０６は、カメラ組合せ情報記憶部２０１からカメラ組合せ情報を読み出し（ステップＳ５０７）、ステップＳ５０６でカメラ組合せ情報記憶部２０１に記録した識別番号と組み合わせられている他のビデオカメラの識別情報があるか否かを判定し（ステップＳ５０８）、ある場合にはそのビデオカメラ識別番号を抽出し、カメラ識別情報記憶部１０７に記録する（ステップＳ５０９）。

たとえば、ビデオカメラ決定部１０６が物体検出器１０４からの情報によりビデオカメラＣを決定した場合、カメラ組合せ情報記憶部２０１にはビデオカメラＡとビデオカメラＢとビデオカメラＣとが組を形成しているので、ビデオカメラＡとビデオカメラＢの識別番号もカメラ識別情報記憶部１０７に記録する。その後、ビデオカメラ決定部１０６はクラス記憶部１０５に記録されたすべての情報を処理し終えるとクラス記憶部１０５の情報をすべて削除して終了する（ステップＳ５１０）、その後、再び、物体検出器１０４による画像取得部１０２からの通知待ちの状態に戻る（ステップＳ５０１）。

以上が実施の形態１の制御装置１１と異なる点であるが、その他の３６０度カメラ１０や映像記憶装置１２の動作は実施の形態のものと同じである。

上記したように、本実施の形態におけるビデオ撮影装置は、複数のビデオカメラにより構成される３６０度カメラから出力するフレーム画像を記憶装置へ記録するものであって、そのビデオ映像記録方法は、制御装置１１が複数のビデオカメラが出力するそれぞれのフレーム画像を取得し（図３ａステップＳ１０１からステップＳ１０３）、それらのフレーム画像について物体検出とカテゴリー判定をし（図６ステップＳ５０１からステップＳ５０４）、次に、検出した物体のカテゴリーが所定のカテゴリーに属するか否か判定し、当該カテゴリー判定ステップでの判定結果が所定のカテゴリー、本実施の形態では人物に属する場合は、制御装置１１が当該フレーム画像を出力したビデオカメラの識別情報を映像記憶装置１２に伝える（図６ステップＳ５０５からステップＳ５０６）。
このとき、本実施の形態ではさらに、制御装置１１があらかじめ設定されているビデオカメラの組合せ情報から組み合わせ対象となったビデオカメラの識別情報も映像記憶装置１２に伝え（図６ステップＳ５０７からステップＳ５１０）、以降の処理は実施の形態１の方法と同じといったものである。

このように、本実施の形態におけるビデオ撮影装置では、実施の形態における効果の他に、録画するビデオカメラの決定をカメラ組合せ情報により現在人物を検出しなかったビデオカメラからの動画像も記録することになるので、実施の形態１におけるビデオ撮影装置よりも動画像の蓄積量はやや増加するが、プレーヤーを一人でも正しく人物検出できれば、プレーヤー全員を漏れなく撮影した動画を記録する可能性が高まる。

また、プレーヤーが短時間（６秒以内）にビデオカメラ１台の画角７５度を越えて移動する場合、実施形態１では隣接する他のビデオカメラへの移動の繋がりが途絶える可能性があるが、本実施の形態によればそのような問題を避けることができる。

なお、本実施の形態では、カメラ組合せ情報記憶部２０１が進行方向に対し左側と右側の３台のビデオカメラずつを組としたが、これに限らず任意の組み合わせとすることも可能であり、さらに、ユーザーにより任意に設定可能にすることも可能である。たとえば、ビデオ撮影装置の制御装置１１が入出力インターフェースを備え、時刻設定などの各種の設定機能の一つにこのビデオカメラ組み合わせの設定モードを設けることにより、カメラ組合せ情報記憶部２０１に任意の組み合わせを記憶させることができる。これにより、ユーザーは、撮影・録画の対象物や用途により当該ビデオカメラの組み合わせを任意に設定することで、対象物の録画漏れを極力低減することが可能になる。

本発明は、３６０度カメラによるビデオ撮影装置に有用であり、記憶容量と消費電力を抑えるのに適している。

１０ ３６０度カメラ
１１ 制御装置
１２ 映像記憶装置
１０１ ビデオカメラ
１０２ 画像取得部
１０３ タイマー部
１０４ 物体検出器
１０５ クラス記憶部
１０６ ビデオカメラ決定部
１０７ カメラ識別情報記憶部
１０８ 画像入力部
１０９ 同期信号発生器
１１０ 記憶画像生成部
１１１ 映像記憶部
２０１ カメラ組合せ情報記憶部

Claims (4)

1. 複数のビデオカメラからなる３６０度カメラと、
   当該ビデオカメラから出力するフレーム画像について物体検出とカテゴリー判定をする物体検出器と、
   当該物体検出器で検出した物体のカテゴリーが所定のカテゴリーに属するか否かを判定し、属する場合は当該フレーム画像を出力した前記ビデオカメラの識別情報をメモリに記録するビデオカメラ決定部と、
   当該メモリに記録された前記識別情報により特定される前記ビデオカメラから出力するフレーム画像のみを取得し、同時刻に撮影された当該フレーム画像同士を結合して記録画像を生成する画像生成部と、
   当該記録画像を記録する映像記憶部と
   を備えるビデオ撮影装置。
2. 所定時間ごとにトリガー信号を出力するタイマーをさらに有し、
   前記物体検出器と前記ビデオカメラ決定部とは前記トリガー信号の受信時にのみ処理を行い、前記メモリに記録された前記識別情報を更新する
   ことを特徴とする請求項１に記載のビデオ撮影装置。
3. 前記ビデオカメラ決定部は、さらに、あらかじめ指定された前記ビデオカメラの組合せ情報に基づいて、前記メモリに記録された前記識別情報により特定された前記ビデオカメラと組み合わせられた前記ビデオカメラの識別情報も前記メモリに記録する
   ことを特徴とする請求項２に記載のビデオ撮影装置。
4. 複数のビデオカメラにより構成される３６０度カメラから出力するフレーム画像を記憶装置へ記録するビデオ映像記録方法であって、
   当該複数のビデオカメラが出力するそれぞれのフレーム画像について物体検出とカテゴリー判定をする物体検出ステップと、
   当該物体検出ステップで検出した物体のカテゴリーが所定のカテゴリーに属するか否かを判定するカテゴリー判定ステップと、
   当該カテゴリー判定ステップでの判定結果が所定のカテゴリーに属する場合は、当該フレーム画像を出力した前記ビデオカメラから出力するフレーム画像のみを選択し、同時刻に撮影された当該フレーム画像同士を結合して記録画像を生成し、それ以外の前記ビデオカメラからのフレーム画像は選択しない画像生成ステップと、
   当該画像生成ステップにより生成された記録画像を記憶装置へ記録する記録ステップと
   を有するビデオ映像記録方法。

Images