以下では、本願発明の各実施の形態の説明に先立って、以降の実施の形態の説明に含まれる本願発明の態様の一部とその効果について説明する。
本願の態様1の発明は情報処理装置であって、複数の撮影映像データを保存する保存部と、前記保存部に保存された前記複数の撮影映像データから死角を検出し、死角を防止するように指示信号を生成して、前記撮影映像データを生成するカメラに出力する解析部を有することを特徴とするものである。
本願の態様2の発明は、態様1の情報処理装置において、前記解析部は前記指示信号として、前記カメラの移動を指示する信号及び/または前記カメラの撮影方向を指示する信号を生成することを特徴とするものである。
本願の態様3の発明は、態様1の情報処理装置において、前記情報処理装置は映像配信部を更に有し、前記解析部は、前記保存部に保存された前記撮影映像データから自由視点映像を生成し、前記保存部は、前記解析部で生成された自由視点映像を保存し、前記映像配信部は、入力される視野情報及び/または視点情報に応じた映像情報データを前記視野情報及び/または視点情報を生成する映像受信装置に出力し、前記解析部は、前記映像配信部から出力される前記映像情報データに死角がある場合には、死角を防止するように指示信号を生成することを特徴とするものである。
本願の態様4の発明はカメラであって、態様1の情報処理装置から出力される指示信号に基づき、移動を行う、及び/または画面に指示内容を表示することを特徴とするものである。
本願の態様5の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データから、撮影禁止領域を撮影しているか否かを検出し、撮影している場合には撮影を禁止するように通知信号を生成して、前記撮影映像データを生成するカメラに出力する解析部を有することを特徴とするものである。
本願の態様6の発明は、態様5の情報処理装置において、前記解析部は前記通知信号として、前記カメラの撮影禁止を指示する信号及び/または前記カメラの撮影禁止を通知する信号を生成することを特徴とするものである。
本願の態様7の発明はカメラであって、態様5の情報処理装置から出力される通知信号に基づき、撮影を停止する、及び/または画面に通知内容を表示することを特徴とするものである。
本願の態様8の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部と、映像情報データを出力する映像配信部と、課金を管理する課金管理部を有し、前記保存部は、前記解析部で生成された自由視点映像を保存し、前記映像配信部は、入力される視野情報及び/または視点情報に応じた映像情報データを前記保存部から読み出して、前記視野情報及び/または視点情報を生成する映像受信装置に出力し、前記課金管理部は、前記映像受信装置と同一ユーザのカメラから前記撮影映像データが転送されていたか否かに基づき、前記映像配信部から出力する前記映像情報データの課金管理を行うことを特徴とするものである。
本願の態様9の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部と、前記撮影映像データを生成するカメラのユーザに対するポイントを管理するポイント管理部を有することを特徴とするである。
本願の態様10の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データを解析する解析部と、前記解析部の解析結果に基づき、前記撮影映像データに重畳すべき付加情報を生成して、前記撮影映像データを生成するカメラに出力する付加情報生成部を有することを特徴とするものである。
本願の態様11の発明は、態様10の情報処理装置において、前記付加情報は、広告情報であることを特徴とするものである。
本願の態様12の発明はカメラであって、態様10の情報処理装置から出力される付加情報を、撮影映像データに重畳して表示することを特徴とするものである。
本願の態様13の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部と、映像情報データを出力する過去映像配信部を有し、前記保存部は、前記解析部で生成された自由視点映像を保存し、前記解析部は、前記保存部に保存された前記撮影映像データを解析し、前記過去映像配信部は、前記解析部の解析結果に基づき、過去の映像情報データを前記保存部から読み出して、前記撮影映像データを生成するカメラに出力することを特徴とするものである。
本願の態様14の発明はカメラであって、態様13の情報処理装置から出力される過去の映像情報データを表示することを特徴とするものである。
本願の態様15の発明は情報処理装置であって、撮影映像データと視点情報を保存する保存部と、前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部と、映像情報データを出力する映像配信部を有し、前記映像配信部は、前記視点情報に応じた映像情報データを保存部から読み出して、前記撮影映像データと視点情報を生成するカメラに出力することを特徴とするものである。
本願の態様16の発明はカメラであって、態様15の情報処理装置から出力される映像情報データを表示することを特徴とするものである。
本願の態様17の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データを解析する解析部と、通信速度を管理する通信速度管理部を有し、前記通信速度管理部は、前記解析部の解析結果に基づき、前記撮影映像データを生成するカメラの通信速度を指示する指示信号を生成して、前記カメラに出力することを特徴とするものである。
本願の態様18の発明は、態様17の情報処理装置において、前記情報処理装置は映像配信部を更に有し、前記解析部は、前記保存部に保存された前記撮影映像データから自由視点映像を生成し、前記保存部は、前記解析部で生成された自由視点映像を保存し、前記映像配信部は、入力される視野情報及び/または視点情報に応じた映像情報データを保存部から読み出して、前記視野情報及び/または視点情報を生成する映像受信装置に出力し、前記解析部は、前記視野情報及び/または視点情報に基づき、前記撮影映像データの重要度を判定し、前記通信速度管理部は、前記重要度に基づき、前記指示信号を生成することを特徴とするものである。
本願の態様19の発明はカメラであって、態様の情報処理装置から出力される指示信号に基づき、撮影映像データを前記情報処理装置に転送することを特徴とするものである。
本願の態様20の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部と、映像情報データを出力する映像配信部を有し、前記保存部は、前記解析部で生成された自由視点映像を保存し、前記映像配信部は、入力される視野情報及び/または視点情報に応じた映像情報データを前記保存部から読み出して、前記視野情報及び/または視点情報を生成する映像受信装置に出力し、前記解析部は、前記視野情報及び/または視点情報で示される領域に対して優先的に自由視点映像を生成することを特徴とするものである。
本願の態様21の発明は映像受信装置であって、態様20の情報処理装置から出力される映像情報データを表示することを特徴とするものである。
本願の態様22の発明は情報処理装置であって、撮影映像データを保存する保存部と、事前に生成された自由視点映像を保存する事前映像保存部と、前記保存部に保存された前記撮影映像データと、前記事前映像保存部に保存された前記自由視点映像から、自由視点映像を更新して生成する解析部を有することを特徴とするものである。
本願の態様23の発明は情報処理装置であって、撮影映像データを保存する保存部と、前記保存部に保存された前記撮影映像データから自由視点映像を生成する解析部を有し、前記保存部は、前記解析部で生成された自由視点映像を保存し、前記解析部は、前記撮影映像データの内、近い時刻のデータのみを用いる、及び/または高画質データのみに限定するか高画質データを優先的に用いることを特徴とするものである。
本願の態様24の発明は情報処理装置であって、撮影映像データとカメラ属性情報を保存する保存部と、前記保存部に保存された前記撮影映像データと前記からカメラ属性情報から自由視点映像を生成する解析部を有し、前記カメラ属性情報は、撮影位置、撮影角度、撮影時刻、ズームの内、少なくともいずれか一つであることを特徴とするものである。
本願の態様25の発明はカメラであって、態様24の情報処理装置が用いるカメラ属性情報を生成することを特徴とするものである。
本願の態様26の発明は、態様25のカメラにおいて、前記カメラ属性情報として、撮影位置をカメラ起動時にある基準点に合わせる事により生成することを特徴とするものである。
本願の態様27の発明は、態様25のカメラにおいて、前記カメラ属性情報として、撮影位置をGPS、WiFi、基地局に関する情報の内、少なくともいずれか一つを用いて生成することを特徴とするものである。
本願の態様28の発明は、態様25のカメラにおいて、前記カメラ属性情報として、撮影時刻を通信ネットワーク上の時計とカメラ内の時計を同期することにより生成することを特徴とするものである。
本願の態様29の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップで保存された前記撮影映像データから死角を検出し、死角を防止するように指示信号を生成して、前記撮影映像データを生成するカメラに出力する解析ステップを含むことを特徴とするものである。
本願の態様30の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップで保存された前記撮影映像データから、撮影禁止領域を撮影しているか否かを検出し、撮影している場合には撮影を禁止するように通知信号を生成して、前記撮影映像データを生成するカメラに出力する解析ステップを有することを特徴とするものである。
本願の態様31の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップで保存された前記撮影映像データから自由視点映像を生成する解析ステップと、映像情報データを出力する映像配信ステップと、課金を管理する課金管理ステップを有し、前記保存ステップは、前記解析ステップで生成された自由視点映像を保存し、前記映像配信ステップは、入力される視野情報及び/または視点情報に応じた映像情報データを前記保存ステップから読み出して、前記視野情報及び/または視点情報を生成する映像受信装置に出力し、前記課金管理ステップは、前記映像受信装置と同一ユーザのカメラから前記撮影映像データが転送されていたか否かに基づき、前記映像配信ステップで出力する前記映像情報データの課金管理を行うことを特徴とするものである。
本願の態様32の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップに保存された前記撮影映像データから自由視点映像を生成する解析ステップと、前記撮影映像データを生成するカメラのユーザに対するポイントを管理するポイント管理ステップを有することを特徴とするものである。
本願の態様33の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップで保存された前記撮影映像データを解析する解析ステップと、前記解析ステップの解析結果に基づき、前記撮影映像データに重畳すべき付加情報を生成して、前記撮影映像データを生成するカメラに出力する付加情報生成ステップを有することを特徴とするものである。
本願の態様34の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップで保存された前記撮影映像データから自由視点映像を生成する解析ステップと、映像情報データを出力する過去映像配信ステップを有し、前記保存ステップは、前記解析ステップで生成された自由視点映像を保存し、前記解析ステップは、前記保存ステップで保存された前記撮影映像データを解析し、前記過去映像配信ステップは、前記解析ステップの解析結果に基づき、過去の映像情報データを前記保存ステップから読み出して、前記撮影映像データを生成するカメラに出力することを特徴とするものである。
本願の態様35の発明は情報処理方法であって、撮影映像データと視点情報を保存する保存ステップと、前記保存ステップで保存された前記撮影映像データから自由視点映像を生成する解析ステップと、映像情報データを出力する映像配信ステップを有し、前記映像配信ステップは、前記視点情報に応じた映像情報データを保存ステップから読み出して、前記撮影映像データと視点情報を生成するカメラに出力することを特徴とするものである。
本願の態様36の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップで保存された前記撮影映像データを解析する解析ステップと、通信速度を管理する通信速度管理ステップを有し、前記通信速度管理ステップは、前記解析ステップの解析結果に基づき、前記撮影映像データを生成するカメラの通信速度を指示する指示信号を生成して、前記カメラに出力することを特徴とするものである。
本願の態様37の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップで保存された前記撮影映像データから自由視点映像を生成する解析ステップと、映像情報データを出力する映像配信ステップを有し、前記保存ステップは、前記解析ステップで生成された自由視点映像を保存し、前記映像配信ステップは、入力される視野情報及び/または視点情報に応じた映像情報データを前記保存ステップから読み出して、前記視野情報及び/または視点情報を生成する映像受信装置に出力し、前記解析ステップは、前記視野情報及び/または視点情報で示される領域に対して優先的に自由視点映像を生成することを特徴とするものである。
本願の態様38の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、事前に生成された自由視点映像を保存する事前映像保存ステップと、前記保存ステップで保存された前記撮影映像データと、前記事前映像保存ステップで保存された前記自由視点映像から、自由視点映像を更新して生成する解析ステップを有することを特徴とするものである。
本願の態様39の発明は情報処理方法であって、撮影映像データを保存する保存ステップと、前記保存ステップで保存された前記撮影映像データから自由視点映像を生成する解析ステップを有し、前記保存ステップは、前記解析ステップで生成された自由視点映像を保存し、前記解析ステップは、前記撮影映像データの内、近い時刻のデータのみを用いる、及び/または高画質データのみに限定するか高画質データを優先的に用いることを特徴とするものである。本願の態様40の発明は情報処理方法であって、撮影映像データとカメラ属性情報を保存する保存ステップと、前記保存ステップで保存された前記撮影映像データと前記からカメラ属性情報から自由視点映像を生成する解析ステップを有し、前記カメラ属性情報は、撮影位置、撮影角度、撮影時刻、ズームの内、少なくともいずれか一つであることを特徴とするものである。
上記態様1の発明によれば、解析部が死角を検出し、死角を防止するように指示信号を出力することにより、死角を防止する情報処理装置を提供することができる。
また上記態様2の発明によれば、態様1において、特に解析部が指示信号として、カメラの移動を指示する信号及び/または撮影方向を指示する信号を生成することにより、死角を防止する情報処理装置を提供することができる。
また上記態様3の発明によれば、映像配信部から出力される映像情報データに死角がある場合には、解析部が死角を防止するように指示信号を生成することにより、死角を防止する情報処理装置を提供することができる。
また上記態様4の発明によれば、態様1の情報処理装置から出力される指示信号に基づき、移動を行う、及び/または画面に指示内容を表示するカメラを提供することができる。
また上記態様5の発明によれば、解析部が撮影禁止の判定を行い、撮影を禁止するようにカメラに対して通知信号を出力することにより、ある領域を撮影禁止にする情報処理装置を提供することができる。
また上記態様6の発明によれば、態様5において、特に解析部が通知信号として、カメラの撮影禁止を指示する信号及び/または通知する信号を生成することにより、死角を防止する情報処理装置を提供することができる。
また上記態様7の発明によれば、態様5の情報処理装置から出力される通知信号に基づき、撮影を停止する、及び/または画面に通知内容を表示するカメラを提供することができる。
また上記態様8の発明によれば、ユーザが撮影映像を転送したか否かに基づいて課金管理部が課金管理を行うことにより、撮影映像を転送したユーザとそうでないユーザに対して、異なる課金で映像配信を行う情報処理装置を提供することができる。
また上記態様9の発明によれば、ポイント管理部がポイント管理を行うことにより、撮影映像を転送したユーザに対してポイントを付与する情報処理装置を提供することができる。
また上記態様10の発明によれば、ユーザの撮影映像データに基づいて解析部と付加情報生成部が付加情報を生成することにより、撮影場所内のユーザに臨場感を与える情報処理装置を提供することができる。
また上記態様11の発明によれば、ユーザの撮影映像データに基づいて解析部と付加情報生成部が広告情報を生成することにより、ユーザの撮影映像データに基づいて広告情報を配信可能な情報処理装置を提供することができる。
また上記態様12の発明によれば、態様10の情報処理装置から出力される付加情報を、撮影映像データに重畳して表示するカメラを提供することができる。
また上記態様13の発明によれば、ユーザの撮影映像データに基づいて過去映像を配信することにより、撮影場所内のユーザに臨場感を与える情報処理装置を提供することができる。
また上記態様14の発明によれば、態様13の情報処理装置から出力される過去の映像情報データを表示するカメラを提供することができる。
また上記態様15の発明によれば、好きな視点からの映像を提供することにより、施設内やスタジアム内のユーザに臨場感を与える情報処理装置を提供することができる。
また上記態様16の発明によれば、態様15の情報処理装置から出力される映像情報データを表示するカメラを提供することができる。
また上記態様17の発明によれば、施設内やスタジアム内全体の通信を効率的に行う情報処理装置を提供することができる。
また上記態様18の発明によれば、解析部が撮影映像データの重要度を判定し、重要度に基づき通信速度を指示することにより、施設内やスタジアム内全体の通信を効率的に行う情報処理装置を提供することができる。
また上記態様19の発明によれば、態様17の情報処理装置から出力される指示信号に基づき、撮影映像データを前記情報処理装置に転送するカメラを提供することができる。
また上記態様20の発明によれば、解析部が映像受信装置から入力される視野情報及び/または視点情報で示される領域に対して優先的に自由視点映像を生成することにより、3次元形状復元を効率的に行う情報処理装置を提供することができる。
また上記態様21の発明によれば、態様20の情報処理装置から出力される映像情報データを表示する映像受信装置を提供することができる。
また上記態様22の発明によれば、事前映像保存部に予め保存された自由視点映像も用いることにより、3次元形状復元を効率的に行う情報処理装置を提供することができる。
また上記態様23の発明によれば、解析部が撮影映像データの内、近い時刻のデータのみを用いる、及び/または高画質データのみに限定するか高画質データを優先的に用いることにより、3次元形状復元を効率的に行う情報処理装置を提供することができる。
また上記態様24の発明によれば、解析部がカメラ属性情報も用いることにより、3次元形状復元を効率的に行う情報処理装置を提供することができる。
また上記態様25の発明によれば、態様24の情報処理装置が用いるカメラ属性情報を生成するカメラを提供することができる。
また上記態様26の発明によれば、態様24の情報処理装置が用いるカメラ属性情報として、撮影位置をカメラ起動時にある基準点に合わせる事により生成するカメラを提供することができる。
また上記態様27の発明によれば、態様24の情報処理装置が用いるカメラ属性情報として、撮影位置をGPS、WiFi、基地局に関する情報の内、少なくともいずれか一つを用いて生成するカメラを提供することができる。
また上記態様28の発明によれば、態様24の情報処理装置が用いるカメラ属性情報として、撮影時刻を通信ネットワーク上の時計とカメラ内の時計を同期することにより生成するカメラを提供することができる。
また上記態様29の発明によれば、解析ステップが死角を検出し、死角を防止するように指示信号を出力することにより、死角を防止する情報処理方法を提供することができる。
また上記態様30の発明によれば、解析ステップが撮影禁止の判定を行い、撮影を禁止するようにカメラに対して通知信号を出力することにより、ある領域を撮影禁止にする情報処理方法を提供することができる。
また上記態様31の発明によれば、ユーザが撮影映像を転送したか否かに基づいて課金管理ステップが課金管理を行うことにより、撮影映像を転送したユーザとそうでないユーザに対して、異なる課金で映像配信を行う情報処理方法を提供することができる。
また上記態様32の発明によれば、ポイント管理ステップがポイント管理を行うことにより、撮影映像を転送したユーザに対してポイントを付与する情報処理方法を提供することができる。
また上記態様33の発明によれば、ユーザの撮影映像データに基づいて解析ステップと付加情報生成ステップが付加情報を生成することにより、撮影場所内のユーザに臨場感を与える情報処理方法を提供することができる。
また上記態様34の発明によれば、ユーザの撮影映像データに基づいて過去映像を配信することにより、撮影場所内のユーザに臨場感を与える情報処理方法を提供することができる。
また上記態様35の発明によれば、好きな視点からの映像を提供することにより、施設内やスタジアム内のユーザに臨場感を与える情報処理方法を提供することができる。
また上記態様36の発明によれば、施設内やスタジアム内全体の通信を効率的に行う情報処理方法を提供することができる。
また上記態様37の発明によれば、施設内やスタジアム内全体の通信を効率的に行う情報処理方法を提供することができる。
また上記態様38の発明によれば、事前映像保存ステップで予め保存された自由視点映像も用いることにより、3次元形状復元を効率的に行う情報処理方法を提供することができる。
また上記態様39の発明によれば、解析ステップが撮影映像データの内、近い時刻のデータのみを用いる、及び/または高画質データのみに限定するか高画質データを優先的に用いることにより、3次元形状復元を効率的に行う情報処理方法を提供することができる。
また上記態様40の発明によれば、解析ステップがカメラ属性情報も用いることにより、3次元形状復元を効率的に行う情報処理方法を提供することができる。
以下、本発明の各実施形態について、図面を用いて詳細に説明する。
(実施の形態1)
図1は、本願発明の実施の形態1における映像情報処理装置100の構成を示す図である。本実施の形態においては、死角の発生を防止する映像情報処理装置に関して説明する。また、特定の領域を撮影禁止にする映像情報処理装置に関しても説明する。本実施の形態の映像情報処理装置は、監視システムや映像配信システムなどに適用することができる。
図1に示す映像情報処理装置100は、保存部131と、解析部141を備える。N個のカメラ111とM個の移動カメラ121のそれぞれは、映像を撮影する機能と撮影した映像データを映像情報処理装置100に転送する機能を備える。
カメラ111及び移動カメラ121の機能ブロック図は図示されていないが、カメラ111及び移動カメラ121は、映像を撮影する撮影部と、撮影部で撮影された映像から生成された映像データを映像情報処理装置100に送信する送信部とを備える。また、カメラ111と移動カメラ121は、撮影中の映像を表示する表示部を備える場合もある。なお、カメラ111と移動カメラ121で生成される映像データは、撮影部で撮影された映像信号をHEVCやH.264のような符号化方式を用いてエンコードしたデータであってもよいし、エンコードされていないデータであってもよい。映像データがエンコードされたデータの場合、カメラ111と移動カメラ121は、撮影部で撮影された映像をエンコードして映像データを生成し、送信部に出力するエンコーダをさらに備える。また、移動カメラ121は映像情報処理装置100から送信された移動指示信号を受信する受信部と、前記受信部で受信された移動指示信号に応じて、移動カメラ自体の位置や撮影方向を変更するよう制御する制御部を備える。なお、制御部は、映像データの送信、移動指示信号を受信、表示部に表示する画面等を制御する機能を備えていてもよい。
映像情報処理装置100の保存部131は、N個のカメラ111とM個の移動カメラ121の撮影映像データが入力されると、撮影映像データを保存する。
解析部141は保存部131に保存された映像データから死角を検出し、死角を防止するように移動カメラ121に対して移動指示信号を出力する。移動カメラ121は移動指示信号に従って移動を行い、撮影を継続する。移動カメラ121は例えば、無人飛行型ラジコンに搭載されたカメラであり、場所の移動及び/または撮影方向の変更ができるものであればこれに限らない。
解析部141は例えば、SfM(Structure from Motion)を用いて死角検出を行うことができる。SfMとは、異なる位置から撮影された複数の映像から被写体の3次元形状を復元する手法であり、被写体形状とカメラ位置を同時に推定する動きからの形状復元として広く知られている。例えば、非特許文献1は逐次処理に適したSfMを提案している。SfMについては非特許文献1等で詳細に説明されているため、ここでの説明は省略する。解析部141はSfMを用いて、保存部131に保存された映像データから施設内やスタジアム内の3次元形状を復元することにより、復元できない領域を死角として検出してもよい。
なお、カメラ111の位置や撮影方向が固定で位置及び撮影方向の情報が既知の場合は、これらの既知の情報を用いてSfMを行ってもよい。また、移動カメラ121の位置や撮影方向が、移動カメラ121に備えられたGPSや角度センサー等により取得できる場合は、移動カメラ121の位置及び撮影方向の情報を解析部141に送信して、送信された位置及び撮影方向の情報を用いてSfMを行ってもよい。
なお、死角検出の方法は上述したSfMを用いた方法に限られるものではない。例えば、移動カメラの位置、撮影方向及びズーム(または映像データに含まれる撮影領域)等の情報を撮影対象となる空間に配置されたマーカ等から検出するなど、各カメラの撮影領域を検出できる任意の方法を用いて、死角の検出を行うことが可能である。また、複数の撮影対象について互いの位置関係等の情報を映像データ等から取得し、取得した位置関係に基づいて死角が発生する可能性の高い領域を特定してもよい。このような手法は、SfMの計算量が多い、またはその他の理由でSfMを用いた死角の検出では遅延が発生するような場合に、より少ない計算量で死角検出を実現できる可能性があるという点で有用である。
なお、死角とは、撮影したい領域中で映像が存在しない部分だけでなく、他の部分と比較して画質の悪い部分、予め定められた画質を得られていない部分などを含んでもよい。また、どのような領域を死角として検出するかは、監視システムや映像配信システムの構成や目的に応じて設定されればよく、上記の例とは異なる基準で識別される領域を死角として検出してもよい。例えば、撮影される空間中の特定の被写体について、要求される画質を高く設定してもよい。また、逆に撮影空間中の特定の領域について、要求される画質を低く設定したり、映像が撮影されていなくても死角と判定しないように設定したりしてもよい。
なお、上述した画質とは、映像中の撮影対象となる被写体が占める面積(例えばピクセル数)や、撮影対象となる被写体にピントが合っているかといった映像に関する様々な情報を含むものであり、それらの情報やその組み合わせを基準に死角であるか否かを判定すればよい。
なお、上記の説明では、実際に死角となっている領域の検出について説明したが、死角の発生を防止するために検出する必要のある領域は実際に死角となっている領域に限定されない。例えば、複数の撮影対象が存在し、少なくともその一部が移動している場合には、ある撮影対象とカメラとの間に別の撮影対象が入ることによって新たな死角が生じる可能性がある。これに対し、例えば撮影された映像データ等から複数の撮影対象の動きを検出し、検出された複数の撮影対象の動きとカメラ111及び移動カメラ121の位置情報に基づいて、新たに死角となる可能性のある領域を推定することも可能である。この場合、映像情報処理装置を死角となる可能性のある領域を撮影するように移動カメラ121に移動指示信号を送信して、死角の発生を防止するように構成してもよい。
なお、移動カメラ121が複数ある場合、死角、または死角となる可能性がある領域を撮影させるために移動指示信号を送信する移動カメラ121を選択する必要がある。また、移動カメラ121及び死角、または死角となる可能性がある領域がそれぞれ複数存在する場合、複数の移動カメラ121のそれぞれについて、どの死角、または死角となる可能性がある領域を撮影させるかを決定する必要がある。この決定は、例えば、死角、または死角となる可能性のある領域と各移動カメラ121が撮影中の領域の位置に基づいて、死角、または死角となる領域に最も近い移動カメラを選択してもよい。また、各移動カメラ121について、当該移動カメラ121が現在撮影中の映像データが得られない場合に新たに死角が発生するか否かを判定し、現在撮影中の映像データが得られなくても死角が発生しないと判断された移動カメラ121を選択するようにしてもよい。
以上の構成により、解析部が死角を検出し、死角を防止するように移動カメラに対して移動指示信号を出力することにより、死角の発生を防止することができる。
本願発明の一局面である情報処理装置は、複数の撮影機器で撮影された映像データから、撮影されていない、または撮影された映像の品質が低いと判定される領域を検出し、当該領域を示す情報を複数の撮影機器または、前記複数の撮影機器とは異なる撮影機器に送信する。この構成によると、撮影対象となる領域において撮影データが不足する領域を撮影機器に送信するので、撮影機器側で撮影データが不足する領域を把握することができる。
<変形例−1>
次に、図2を用いて実施の形態1の変形例−1について説明する。図2に示す映像情報処理装置101は、図1に示す映像情報処理装置100と比較して、解析部141を解析部142に置き換えた構成である。映像情報処理装置101には、N個のカメラで撮影された映像データに加え、L個のユーザカメラで撮影された映像データが入力される。L個のユーザカメラ151のそれぞれは、映像を撮影する機能と撮影した映像データを映像情報処理装置101に転送する機能を備える。
ユーザカメラ151の機能ブロック図は図示されていないが、ユーザカメラ151は、映像を撮影する撮影部と、撮影部で撮影された映像から生成された映像データを映像情報処理装置101に送信する送信部とを備える。また、ユーザカメラ151は、撮影中の映像を表示する表示部を備える場合もある。なお、ユーザカメラ151で生成される映像データは、撮影部で撮影された映像信号をHEVCやH.264のような符号化方式を用いてエンコードしたデータであってもよいし、エンコードされていないデータであってもよい。映像データがエンコードされたデータの場合、ユーザカメラ151は、撮影部で撮影された映像をエンコードして映像データを生成し、送信部に出力するエンコーダをさらに備える。また、ユーザカメラ151は映像情報処理装置101から送信された方向指示信号を受信する受信部と、前記受信部で受信された方向指示信号に応じて、指示画像を表示部に表示するよう制御する制御部を備える。
N個のカメラ111とL個のユーザカメラ151の撮影映像データが入力されると、保存部131は撮影映像データを保存する。解析部142は保存部131に保存された映像データから撮影空間中の死角を検出し、死角の発生を防止するようにユーザカメラ151に対して方向指示信号を出力する。
図3は方向指示信号に基づき、ユーザカメラ151の画面上に表示される指示画像の一例である。図3(a)はユーザにカメラを向けて欲しい方向を示す画像の一例であり、図3(b)はユーザに移動して欲しい方向を示す画像の他の一例である。ユーザカメラ151の画面上に表示される指示はこれに限らず、例えば表示される地図上に移動経路を示すなど、でもよい。ユーザカメラ151は例えば、スタジアム内の観客や施設内の警備員が持つスマートフォン、タブレット型端末、メガネ型ウェアラブル端末、HMD(Head
Mounted Display)であり、映像を撮影できるものであればこれに限らない。
また、方向指示信号に基づいて指示画像が表示される表示端末は、映像データを撮影するカメラと同一である必要はない。例えば、映像を撮影するカメラに予め対応付けられた別の表示端末に対して、カメラが方向指示信号または指示画像を送信し、当該別の表示端末に指示画像が表示されるようにしてもよい。また、映像を撮影するカメラと対応する表示端末の情報が、予め映像情報処理装置101に登録されている場合は、映像情報処理装置101がカメラに対応する表示端末に対して方向指示信号を直接送信して、表示端末に指示画像を表示するようにしてもよい。
解析部142は例えば、SfMを用いて死角検出を行う。解析部142はSfMを用いて、保存部131に保存された映像データから施設内やスタジアム内の3次元形状を復元する。SfMの処理により映像データを撮影したユーザカメラ151の位置と向きが推定されているので、死角に近い領域を撮影中のユーザカメラを特定し、特定したユーザカメラ151に対して、当該ユーザカメラが撮影中の領域と死角とに基づいて方向指示信号を送信することができる。また、ユーザカメラ151の撮影した映像データがSfMの処理に用いられていない場合は、復元された3次元形状とユーザカメラ151の撮影映像とのマッチングを取ることで、ユーザカメラ151が施設内やスタジアム内のどの領域を撮影中かを判定して、方向指示信号を出力してもよい。なお、撮影領域の判定方法及び方向指示信号の生成方法はこれに限らない。
以上の構成で、解析部が死角を検出し、死角を防止するようにユーザカメラに対して方向指示信号を出力することにより、死角を防止する映像情報処理装置、映像情報処理方法を提供することができる。
また図4に示す通り、映像情報処理装置101は、ユーザカメラ151のみからの撮影映像データを入力する場合にも適用することができる。また、映像情報処理装置101は、ユーザカメラ151とカメラ111に加えて、図1に示した移動カメラからの映像データが入力され、移動カメラに対して移動指示信号を送信する機能を備えていてもよい。
<変形例−2>
図5は、実施の形態1の変形例−2を示す図である。図5に示す映像情報処理装置102は図1に示す映像情報処理装置100と比較して、解析部141を解析部143に置き換え、映像配信部144を追加した構成である。
解析部143は例えばSfMを用いて、保存部131に保存された映像データから施設内やスタジアム内の3次元形状を復元し、自由視点映像を生成する。保存部131は解析部143で生成された自由視点映像を保存する。映像配信部144は映像受信装置161から入力される視野情報(及びまたは、視点情報)に応じた映像情報データを保存部131から読み出して、映像受信装置161に出力する。また映像配信部144は、視野情報(及びまたは、視点情報)を解析部143に出力する。
解析部143は死角を検出し、視野情報(及びまたは、視点情報)に基づく配信映像に死角がある場合には、死角を防止するように移動カメラ121に対して移動指示信号を出力する。移動カメラ121は移動指示信号に従って移動を行い、撮影を継続する。
以上の構成で、解析部が死角を検出し、映像受信装置に配信される映像の死角を防止するように移動カメラに対して移動指示信号を出力することにより、死角を防止する映像情報処理装置、映像情報処理方法を提供することができる。
<変形例−3>
なお、図2に示す映像情報処理装置101を、図6に示す映像情報処理装置103に置き換えてもよい。図6に示す映像情報処理装置103は図2に示す映像情報処理装置101と比較して、解析部142を解析部145に置き換え、映像配信部144を追加した構成である。
解析部145は例えばSfMを用いて、保存部131に保存された映像データから施設内やスタジアム内の3次元形状を復元し、自由視点映像を生成する。保存部131は解析部145で生成された自由視点映像を保存する。映像配信部144は映像受信装置161から入力される視野情報(及びまたは、視点情報)に応じた映像情報データを保存部131から読み出して、映像受信装置161に出力する。また映像配信部144は、視野情報(及びまたは、視点情報)を解析部145に出力する。
解析部145は死角を検出し、視野情報(及びまたは、視点情報)に基づく配信映像に死角がある場合には、死角を防止するようにユーザカメラ151に対して方向指示信号を出力する。図3は方向指示信号に基づき、ユーザカメラ151の画面上に表示される指示の一例である。
以上の構成で、解析部が死角を検出し、映像受信装置に配信される映像の死角を防止するようにユーザカメラに対して方向指示信号を出力することにより、死角を防止する映像情報処理装置、映像情報処理方法を提供することができる。
また図7に示す通り、映像情報処理装置103はユーザカメラ151のみからの撮影映像データを入力する場合にも適用することができる。
<変形例−4>
なお、図1に示す映像情報処理装置100を、図8に示す映像情報処理装置104に置き換えてもよい。図8に示す映像情報処理装置104は図1に示す映像情報処理装置100と比較して、解析部141を解析部146に置き換えた構成である。
N個のカメラ111とM個の移動カメラ122の撮影映像データが入力されると、保存部131は撮影映像データを保存する。解析部146は保存部131に保存された映像データを解析し、移動カメラ122が撮影禁止領域を撮影している場合には移動カメラ122に対して撮影禁止通知信号を出力する。移動カメラ122は撮影禁止通知信号を受信している間は撮影を停止する。
解析部146は例えば、SfMを用いて撮影禁止領域を撮影しているか否かの判定を行ってもよい。解析部146はSfMを用いて、保存部131に保存された映像データから施設内やスタジアム内の3次元形状を復元し、移動カメラ122の撮影映像とのマッチングを取ることで、移動カメラ122が撮影禁止領域を撮影中かを判定して、撮影禁止通知信号を出力してもよい。なお、撮影禁止領域を撮影中かの判定方法及び撮影禁止通知信号の生成方法はこれに限らない。撮影禁止領域としては、例えば施設内やスタジアム内のトイレなどが挙げられる。
以上の構成で、解析部が撮影禁止の判定を行い、撮影を停止するように移動カメラに対して撮影禁止通知信号を出力することにより、ある領域を撮影禁止にする映像情報処理装置、映像情報処理方法を提供することができる。
<変形例−5>
なお、図8に示す映像情報処理装置104を、図9に示す映像情報処理装置105に置き換えてもよい。図9に示す映像情報処理装置105は図8に示す映像情報処理装置104と比較して、解析部146を解析部147に置き換えた構成である。
N個のカメラ111とL個のユーザカメラ152の撮影映像データが入力されると、保存部131は撮影映像データを保存する。解析部147は保存部131に保存された映像データを解析し、ユーザカメラ152が撮影禁止領域を撮影している場合にはユーザカメラ152に対して撮影禁止通知信号を出力する。
図10は撮影禁止通知信号に基づき、ユーザカメラ152の画面上に表示される通知の一例である。ユーザカメラ152の画面上に表示される指示はこれに限らず、例えば表示される地図上に撮影禁止領域と現在の撮影領域を示すなど、でもよい。
以上の構成で、解析部が撮影禁止の判定を行い、撮影を停止するようにユーザカメラに対して撮影禁止通知信号を出力することにより、ある領域を撮影禁止にする映像情報処理装置、映像情報処理方法を提供することができる。
また図11に示す通り、映像情報処理装置105はユーザカメラ152のみからの撮影映像データを入力する場合にも適用することができる。
(実施の形態2)
図12は、本発明の実施の形態2における映像情報処理装置200の構成を示す図である。実施の形態1の映像情報処理装置と同じ構成要素は、同じ符号を用い、説明を省略する。
本実施の形態においては、撮影映像を転送したユーザに対しては無料あるいは安い料金で映像配信を行う映像情報処理装置に関して説明する。また、撮影映像を転送したユーザに対してはポイントを付与し、リクエストの多い視野(及びまたは、視点)の撮影映像を転送したユーザに対しては特に高いポイントを付与する映像情報処理装置に関して説明する。本実施の形態の映像情報処理装置は、特に映像配信システムなどに適用することができる。
図12に示す映像情報処理装置200は図6に示す映像情報処理装置100と比較して、解析部145及び映像配信部144を解析部241及び映像配信部242にそれぞれ置き換え、課金管理部243を追加した構成である。
L個のユーザカメラ251から撮影映像データとユーザ情報が入力されると、保存部131はそれらを保存する。また、N個のカメラ111から撮影映像データが入力されると、保存部131はそれらを保存する。
解析部241は例えばSfMを用いて、保存部131に保存された映像データから施設内やスタジアム内の3次元形状を復元し、自由視点映像を生成する。保存部131は解析部241で生成された自由視点映像を保存する。映像配信部242は映像受信装置161から入力される視野情報(及びまたは、視点情報)に応じた映像情報データを保存部131から読み出して、映像受信装置161に出力する。
課金管理部243は映像受信装置161と同一ユーザのユーザカメラ251から撮影映像が転送されていた場合、無料で映像情報データを配信する。あるいは、撮影映像を転送していないユーザより安い料金で映像情報データを配信してもよい。なお、映像受信装置161の機能はユーザカメラ251に含まれていてもよい。
以上の構成で、ユーザが撮影映像を転送したか否かに基づいて課金管理部が課金管理を行うことにより、撮影映像を転送したユーザに対しては無料あるいは安い料金で映像配信を行う映像情報処理装置、映像情報処理方法を提供することができる。
また図13に示す通り、映像情報処理装置200はユーザカメラ251のみからの撮影映像データを入力する場合にも適用することができる。
<変形例−1>
図14は、実施の形態2の変形例−1を示す図である。図14に示す映像情報処理装置201は図12に示す映像情報処理装置200と比較して、課金管理部243をポイント管理部244に置き換えた構成である。
ポイント管理部244は撮影映像を転送したユーザに対してはポイントを付与し、リクエストの多い視野(及びまたは、視点)の撮影映像を転送したユーザに対しては特に高いポイントを付与する。あるいは、リクエストの多い視野(及びまたは、視点)の撮影映像を転送したユーザに対してのみポイントを付与してもよい。ユーザは、与えられたポイントを使用して、無料で有料の配信を映像受信装置161で受信することができる。なお、与えられたポイントの利用方法はこれに限らない。
以上の構成で、ポイント管理部がポイント管理を行うことにより、撮影映像を転送したユーザに対してはポイントを付与する映像情報処理装置、映像情報処理方法を提供することができる。
また図15に示す通り、映像情報処理装置201はユーザカメラ251のみからの撮影映像データを入力する場合にも適用することができる。
(実施の形態3)
図16は、本願発明の実施の形態3における映像情報処理装置300の構成を示す図である。実施の形態1及び2で説明した映像情報処理装置と同じ構成要素は、同じ符号を用い、説明を省略する。本実施の形態においては、撮影場所内のユーザに付加情報の提供や臨場感を与える映像情報処理装置に関して説明する。本実施の形態の映像情報処理装置は、監視システムや映像配信システムなどに適用することができる。
図16に示す映像情報処理装置300は図2に示す映像情報処理装置101と比較して、解析部142を解析部341に置き換え、付加情報生成部342を追加した構成である。
N個のカメラ111とL個のユーザカメラ351の撮影映像データが入力されると、保存部131は撮影映像データを保存する。
解析部341は例えばSfMを用いて、保存部131に保存された映像データから施設内やスタジアム内の3次元形状を復元し、自由視点映像を生成する。保存部131は解析部341で生成された自由視点映像を保存する。また解析部341は自由視点映像とユーザカメラ351の撮影映像とのマッチングを取ることで、ユーザカメラ351が施設内やスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限られず、上述した各実施の形態で説明した様々な撮影領域の判定方法やその他の撮影領域の判定方法を用いることができる。
付加情報生成部342は解析部341の解析結果に基づき、ユーザカメラ351に対して付加情報を出力する。ユーザカメラ351は撮影映像に付加情報を重畳して、画面に表示する。
図17は、スタジアムでサッカーが行われている場合のユーザカメラ351の画面一例である。図17(a)は付加情報を重畳する前の画面一例であり、図17(b)は付加情報を重畳した後の画面一例である。付加情報として、選手名が重畳される例を示している。スタジアム内のユーザがユーザカメラ351を用いて見ている画面が撮影映像データとして映像情報処理装置300の保存部131に転送されると同時に、その撮影映像データに基づいて解析部341と付加情報生成部342で生成された付加情報がユーザの見ている画面に重畳されるため、撮影場所内のユーザに臨場感を与えることができる。特に、ユーザカメラ351がメガネ型ウェアラブル端末やHMDの場合に、ユーザは大きな臨場感を感じることができる。なお選手名は付加情報の一例であり、これに限らない。また映像配信システムだけでなく、監視システムにおいても、施設内の警備員が持つユーザカメラ351に対して、例えば注意人物の情報を重畳することで、監視システムの高精度化を図ることができる。
以上の構成で、ユーザの撮影映像データに基づいて解析部と付加情報生成部が付加情報を生成することにより、撮影場所内のユーザに臨場感を与える映像情報処理装置、映像情報処理方法を提供することができる。
また図18に示す通り、映像情報処理装置300はユーザカメラ351のみからの撮影映像データを入力する場合にも適用することができる。
<変形例−1>
図19は、実施の形態3の変形例−1を示す図である。図19に示す映像情報処理装置301は図16に示す映像情報処理装置300と比較して、解析部341及び付加情報生成部342を解析部343及び過去映像配信部344にそれぞれ置き換えた構成である。
解析部343は例えばSfMを用いて、保存部131に保存された映像データから施設内やスタジアム内の3次元形状を復元し、自由視点映像を生成する。保存部131は解析部343で生成された自由視点映像を保存する。また解析部343は自由視点映像とユーザカメラ352の撮影映像とのマッチングを取ることで、ユーザカメラ352が施設内やスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限られず、上述した各実施の形態で説明した様々な撮影領域の判定方法やその他の撮影領域の判定方法を用いることができる。
過去映像配信部344は解析部343の解析結果に基づき、ユーザカメラ352に対して過去映像を出力する。ユーザカメラ352は撮影映像に過去映像を重畳して、あるいは撮影映像を過去映像に置換して、画面に表示する。
図20は、スタジアムでサッカーが行われている場合のユーザカメラ352の画面一例である。図20(a)は過去映像に置換する前の画面一例であり、図20(b)は過去映像に置換した後の画面一例である。過去映像として、ハーフタイム中に前半のハイライトシーンに置換される例を示している。スタジアム内のユーザがユーザカメラ352を用いて見ている画面が撮影映像データとして映像情報処理装置301の保存部131に転送されると同時に、ユーザの見ている画面上でその撮影映像データに基づいて解析部343と過去映像配信部344で生成された過去映像に置換されるため、撮影場所内のユーザに臨場感を与えることができる。特に、ユーザカメラ352がメガネ型ウェアラブル端末やHMDの場合に、ユーザはより臨場感を感じることができる。
これにより、ユーザはハーフタイム中に、前半のハイライトシーンを自分が見ている方向の映像として楽しむことができる。なお過去映像は、前半のハイライトシーンに限らず、そのスタジアムで行われた過去の試合のハイライトシーンなどでもよい。また映像情報処理装置301が過去映像を配信するタイミングはハーフタイム中に限らず、例えば試合終了後でも、試合中でもよい。特に試合中の場合には、解析部343の解析結果に基づき、映像情報処理装置301はユーザが見逃した重要と考えられるシーンを配信してもよい。また、映像情報処理装置301はユーザからリクエストがあった場合のみ過去映像を配信してもよく、あるいは過去映像の配信前に配信許可のメッセージを配信してもよい。
以上の構成で、ユーザの撮影映像データに基づいて過去映像を配信することにより、撮影場所内のユーザに臨場感を与える映像情報処理装置、映像情報処理方法を提供することができる。
また図21に示す通り、映像情報処理装置301はユーザカメラ352のみからの撮影映像データを入力する場合にも適用することができる。
<変形例−2>
図22は、実施の形態3の変形例−2を示す図である。図22に示す映像情報処理装置302は図19に示す映像情報処理装置301と比較して、過去映像配信部344を広告情報配信部345に置き換えた構成である。
広告情報配信部345は解析部343の解析結果に基づき、ユーザカメラ352に対して広告情報を出力する。ユーザカメラ352は撮影映像に広告情報を重畳して、画面に表示する。
図23は、スタジアムでサッカーが行われている場合のユーザカメラ352の画面一例である。図23(a)は広告情報を重畳する前の画面一例であり、図23(b)は広告情報を重畳した後の画面一例であり、飲み物の広告の場合である。広告情報は例えば変形例―1で示した、ハーフタイム中や試合終了後の過去映像配信直前に配信してもよい。これにより、配信業者は広告主からの広告料を得ることができ、ユーザに安価あるいは無料で映像配信サービスを提供することができる。また、映像情報処理装置302は広告情報の配信直前に広告配信許可のメッセージを配信してもよく、ユーザが広告を視聴した場合のみ無料でサービスを提供してもよく、あるいは広告を視聴しない場合より安価にサービスを提供してもよい。
以上の構成で、ユーザの撮影映像データに基づいて広告情報を配信可能な映像情報処理装置、映像情報処理方法を提供することができる。
また図24に示す通り、映像情報処理装置302はユーザカメラ352のみからの撮影映像データを入力する場合にも適用することができる。
(実施の形態4)
図25は、本願発明の実施の形態4における映像情報処理装置400の構成を示す図である。実施の形態1〜3の映像情報処理装置と同じ構成要素は、同じ符号を用い、説明を省略する。本実施の形態においては、撮影場所内のユーザに臨場感を与える映像情報処理装置に関して説明する。本実施の形態の映像情報処理装置は、監視システムや映像配信システムなどに適用することができる。
図25に示す映像情報処理装置400は図21に示す映像情報処理装置301と比較して、解析部343及び過去映像配信部344を解析部441及び映像配信部442にそれぞれ置き換えた構成である。
L個のユーザカメラ451から撮影映像データと視点情報が入力されると、保存部131はそれらを保存する。また、N個のカメラ111から撮影映像データが入力されると、保存部131はそれらを保存する。
解析部441は例えばSfMを用いて、保存部131に保存された映像データから施設内やスタジアム内の3次元形状を復元し、自由視点映像を生成する。保存部131は解析部441で生成された自由視点映像を保存する。また解析部441は自由視点映像とユーザカメラ451の撮影映像とのマッチングを取ることで、ユーザカメラ451が施設内やスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限らない。
図26は、ユーザカメラ451において視点情報を生成する方法の一例である。図26(a)はスタジアムでサッカーが行われている場合のユーザカメラ351の画面一例であり、ユーザが例えば矢印の方向にスワイプ操作をすると、ユーザカメラ451はその方向への移動として視点情報を生成する。映像配信部442は、解析部441が判定したユーザカメラ451の撮影領域から視点情報の分だけ移動させた映像情報データを保存部131から読み出して、ユーザカメラ451に出力を開始する。そしてユーザカメラ451は撮影映像ではなく、映像配信部442から配信された映像を表示する。その表示画面は図26(b)のようになる。このように映像配信開始後もユーザによる画面スワイプ操作より、映像配信部442は配信映像領域から視点情報の分だけ移動させた映像情報データを保存部131から読み出して、映像受信装置161に出力する。
以上により、施設内やスタジアム内のユーザは画面スワイプのような簡易な動作で、好きな視点からの映像を視聴することができる。例えば野球場の3塁側で観戦している観客が、1塁側の視点からの映像を視聴することができる。また映像配信システムだけでなく、監視システムにおいても、施設内の警備員が画面スワイプのような簡易な動作で、好きな視点からの映像を視聴することができ、監視システムの高精度化を図ることができる。
以上の構成で、好きな視点からの映像を提供することにより、施設内やスタジアム内のユーザに臨場感を与える映像情報処理装置、映像情報処理方法を提供することができる。
また、施設内やスタジアム内のユーザへの映像の配信は、例えばカメラと撮影対象の間に障害物が入って見えない領域がある場合等にも有効である。この場合、カメラの撮影領域のうち障害物が含まれる一部の領域の映像を撮影映像から映像配信部442から配信された映像に切り替えて表示してもよいし、画面全体を撮影映像から映像配信部442から配信された映像に切り替えて表示してもよい。また、撮影映像と映像配信部442から配信された映像を合成して障害物を透過して視聴対象が見えているような映像を表示してもよい。この構成によると、障害物の影響でユーザの位置から撮影対象が見えない場合にも、映像配信部442から配信された映像を視聴することができるので、障害物の影響を軽減することができる。
また、障害物により見えない領域について映像配信部442から配信された映像を表示する場合は、上述した画面スワイプのようなユーザによる入力処理に応じた表示の切り替え制御とは異なる表示の切り替え制御を行ってもよい。例えば、カメラの移動や撮影方向の情報及び予め得られている障害物の位置情報に基づいて撮影領域に障害物が含まれると判定される場合に、撮影映像から映像配信部442から配信された映像への表示の切り替えを自動的に行ってもよい。また、撮影映像データの解析により撮影対象ではない障害物が映っていると判定された場合に、撮影映像から映像配信部442から配信された映像への表示の切り替えを自動的に行ってもよい。また、撮影映像に含まれる障害物の面積(例えばピクセル数)が所定の閾値を超えた場合や、撮影対象の面積に対する障害物の面積の比が所定の割合を超えた場合に、撮影映像から映像配信部442から配信された映像への表示の切り替えを自動的に行ってもよい。
もちろん、ユーザの入力処理に応じて撮影映像から映像配信部442から配信された映像への表示の切り替え及び映像配信部442から配信された映像から撮影映像への表示の切り替えが行われるよう構成してもよいことは言うまでもない。
また図27に示す通り、映像情報処理装置400はユーザカメラ451のみからの撮影映像データを入力する場合にも適用することができる。
(実施の形態5)
図28は、本発明の実施の形態5における映像情報処理装置500の構成を示す図である。実施の形態1−4の映像情報処理装置と同じ構成要素は、同じ符号を用い、説明を省略する。本実施の形態では、各カメラで撮影された映像データの重要度に基づき映像データを映像情報処理装置に転送する速度を指示する映像情報処理装置について説明する。本実施の形態の映像情報処理装置は、監視システムや映像配信システムなどに適用することができる。
図28に示す映像情報処理装置500は図2に示す映像情報処理装置101と比較して、解析部142を解析部541に置き換え、通信速度管理部542を追加した構成である。
N個のカメラ511とL個のユーザカメラ551の撮影映像データが入力されると、保存部131は撮影映像データを保存する。解析部541は保存部131に保存された映像データ、または当該映像データを撮影したカメラの重要度を判定する。ここでの重要度の判定は、例えば映像中に含まれる人の数や移動物体の数、映像データの画質などの情報やその組み合わせに基づいて行われる。
また、映像データの重要度の判定は、映像データが撮影されたカメラの位置や映像データが撮影している領域に基づいてもよい。この場合、近くに撮影中のカメラが複数存在するカメラや、カメラの位置が離れていても同じ領域を撮影しているカメラが複数存在するカメラ、または当該カメラで撮影された映像データの重要度を低くすることが考えられる。また、映像データの重要度の判定は、実施の形態2で説明した映像配信サービスにおけるリクエストの多さに基づいて行ってもよい。なお、重要度の判定方法は上述したものやその組み合わせに限られず、監視システムや映像配信システムの構成や目的に応じた重要度の判定方法を使用すればよい。
また、重要度の判定は撮影された映像データに基づくものでなくてもよい。例えば、映像情報処理装置500以外の端末へ映像データを転送するカメラの重要度を高いと判定してもよい。逆に、映像情報処理装置500以外の端末へ映像データを転送するカメラの重要度を低いと判定してもよい。これにより、例えば、映像データの伝送を必要とする複数のサービスが通信帯域を共有している場合に、各サービスの目的や特性に応じた通信帯域の制御の自由度が高くなり、必要な映像データが得られないことによる各サービスの品質の劣化を防止することができる可能性がある。
解析部541は例えばSfMを用いて、保存部131に保存された映像データから施設内やスタジアム内の3次元形状を復元し、自由視点映像を生成する。保存部131は解析部541で生成された自由視点映像を保存する。また解析部541は自由視点映像とカメラ511及びユーザカメラ551の撮影映像を用いて、映像データの重要度を判定してもよい。
通信速度管理部542は解析部541で行われた重要度の判定結果に基づき、カメラ511に対して有線通信速度指示信号を出力し、ユーザカメラ551に対して無線通信速度指示信号を出力する。通信速度管理部542は例えば、重要度が高い映像を撮影しているカメラ511及びユーザカメラ551に対して高い通信速度を指示してもよい。これにより、施設内やスタジアム内全体の通信を効率的に行うことができる。なおカメラ511が無線通信を行う場合には、通信速度管理部542は無線通信速度指示信号を出力し、ユーザカメラ551が有線通信を行う場合には、通信速度管理部542は有線通信速度指示信号を出力する。また、通信速度管理部542は、有線通信及び無線通信のいずれか一方のみを制御し、有線通信速度指示信号及び無線通信速度指示信号のいずれか一方のみを送信する構成であってもよい。
カメラ511及びユーザカメラ551は有線通信速度指示信号あるいは無線通信速度指示信号に従って、撮影映像データを映像情報処理装置500に対して転送する。なお、カメラ511及びユーザカメラ551は所定の回数再送が失敗した場合には、その撮影映像データの再送を停止して、次の撮影映像データの転送を開始してもよい。これにより、施設内やスタジアム内全体の通信を効率的に行うことができ、解析部541における処理の高速化に寄与することができる。
また、カメラ511及びユーザカメラ551は、それぞれに割り当てられた通信速度が撮影した映像データを転送するために十分な帯域でない場合は、撮影した映像データを転送可能なビットレートの映像データに変換して、変換後の映像データを送信してもよい。また、カメラ511及びユーザカメラ551は、割り当てられた通信速度が撮影した映像データを転送するために十分な帯域でない場合に、映像データの転送を中止してもよい。
また、実施の形態1及び実施の形態2で説明した死角の発生を防止するために映像データを使用する場合、撮影された映像データに含まれる撮影領域のうちの一部の領域のみが死角を埋めるために必要とされている可能性がある。この場合、少なくとも、死角の発生を防止するために必要とされる領域を含んだ映像の一部のみを抽出した抽出映像データを生成し、生成された抽出映像データを転送してもよい。この構成によると、死角の発生の防止をより少ない通信帯域で実現することができる。
また、例えば、実施の形態3で説明した付加情報の重畳表示や実施の形態4で説明した映像配信を行う場合、映像情報処理装置に対してカメラの位置情報や撮影方向の情報を送信する必要がある。この場合、映像データを転送するためには十分ではない帯域しか割り当てられなかったカメラは、カメラ側で検出された位置情報や撮影方向の情報のみを転送してもよい。また、映像情報処理装置500においてカメラの位置情報や撮影方向の情報を推定する場合は、カメラの位置情報や撮影方向の情報の推定に必要な解像度に映像データを変換し、変換された映像データを転送してもよい。この構成によると、少ない通信帯域しか割り当てられなかったカメラに対しても、付加情報の重畳表示や映像配信のサービスを提供することができる。また、この構成によると、より多くのカメラについて、それぞれのカメラが撮影している領域の情報を取得できるため、例えば注目されている領域を検出する等の目的でカメラが撮影している領域の情報を利用するような場合においても有効となる。
なお、上述した割り当てられた通信帯域に応じた映像データの転送処理の切り替えは、通知された通信帯域に基づいてカメラ側で判断して行ってもよいし、映像情報処理装置500が各カメラの動作を決定し、決定された動作を示す制御信号として各カメラに通知してもよい。これにより、動作の切り替えの判定に必要な計算量、カメラの制御部が備える処理能力、及び必要となる通信帯域等に応じて、適切に処理の分担を行わせることが可能となる。
以上の構成で、解析部が撮影映像データの重要度を判定し、重要度に基づき転送速度を指示することにより、施設内やスタジアム内全体の通信を効率的に行う映像情報処理装置、映像情報処理方法を提供することができる。
また図29に示す通り、映像情報処理装置500はユーザカメラ551のみからの撮影映像データを入力する場合にも適用することができる。
<変形例−1>
なお、図28に示す映像情報処理装置500を、図30に示す映像情報処理装置501に置き換えてもよい。図30に示す映像情報処理装置501は図28に示す映像情報処理装置500と比較して、解析部541を解析部543に置き換え、映像配信部545を追加した構成である。
解析部543は例えばSfMを用いて、保存部131に保存された映像データから施設内やスタジアム内の3次元形状を復元し、自由視点映像を生成する。保存部131は解析部543で生成された自由視点映像を保存する。映像配信部545は映像受信装置161から入力される視野情報(及びまたは、視点情報)に応じた映像情報データを保存部131から読み出して、映像受信装置161に出力する。また映像配信部545は、視野情報(及びまたは、視点情報)を解析部543に出力する。
解析部543は視野情報(及びまたは、視点情報)に基づき、映像データの重要度を判定してもよい。例えば、視野情報(及びまたは、視点情報)が示す領域を多く含む撮影映像データの重要度を高くする。また解析部543は、更に映像中に含まれる人の数、移動物体の数なども考慮して、映像データの重要度を判定してもよい。なお、重要度の判定方法はこれに限らない。
以上の構成で、解析部が撮影映像データの重要度を判定し、重要度に基づき転送速度を指示することにより、施設内やスタジアム内全体の通信を効率的に行う映像情報処理装置、映像情報処理方法を提供することができる。
また図31に示す通り、映像情報処理装置501はユーザカメラ551のみからの撮影映像データを入力する場合にも適用することができる。
なお、本実施の形態で説明した通信制御方法は、必ずしも複数の映像データから3次元形状の再構築を行うシステムにおいて用いられる必要はない。例えば複数のカメラやユーザカメラが存在する環境において、映像データを選択的または伝送速度に差をつけて有線通信及び/または無線通信で送信する場合であれば、本実施の形態で説明した通信制御方法が有効である可能性がある。
(実施の形態6)
図32は、本願発明の実施の形態6における映像情報処理装置600の構成を示す図である。実施の形態1〜5の映像情報処理装置と同じ構成要素は、同じ符号を用い、説明を省略する。本実施の形態は、施設内やスタジアム内の複数の撮影データから3次元形状復元を効率的に行う映像情報処理装置に関する。本実施の形態の映像情報処理装置は、監視システムや映像配信システムなどに適用することができる。
図32に示す映像情報処理装置600は図6に示す映像情報処理装置103と比較して、映像配信部144及び解析部145を映像配信部641及び解析部642にそれぞれ置き換えた構成である。
N個のカメラ111とL個のユーザカメラ651のそれぞれで撮影された映像データが入力されると、保存部131は映像データを保存する。
解析部642は例えばSfMを用いて、保存部131に保存された映像データから施設内やスタジアム内の3次元形状を復元し、自由視点映像を生成する。保存部131は解析部642で生成された自由視点映像を保存する。
映像受信装置161から配信リクエストが入力されると、映像配信部641は保存部131から施設内やスタジアム内全体の概観映像を読み出して、映像受信装置161に出力する。この概観映像は更新間隔が長くてもよく(低フレームレートでもよく)、また画質は低くてもよい。視聴者は映像受信装置161の画面上に表示された概観映像中で、見たい部分をタッチするなどで指示し、映像受信装置161は視野情報(及びまたは、視点情報)を映像配信部641に出力する。
映像配信部641は視野情報(及びまたは、視点情報)に応じた映像情報データを保存部131から読み出して、映像受信装置161に出力する。また映像配信部641は、視野情報(及びまたは、視点情報)を解析部642に出力する。
解析部642は、視野情報(及びまたは、視点情報)で示される領域に対して優先的に3次元形状復元を行い、自由視点映像を生成する。解析部642は、施設内やスタジアム内全体の3次元形状復元は概観を示すものとして、更新間隔を長くしてもよく(低フレームレートにしてもよく)、また画質を低くしてもよい。保存部131は解析部642で生成された自由視点映像を保存する。これにより、3次元形状復元を効率的に行うことができる。その結果、視聴者が見たい領域の自由視点映像の高フレームレート化、高画質に寄与する。
以上の構成で、3次元形状復元を効率的に行う映像情報処理装置、映像情報処理方法を提供することができる。
また図33に示す通り、映像情報処理装置600はユーザカメラ651のみからの撮影映像データを入力する場合にも適用することができる。
<変形例−1>
なお、図32に示す映像情報処理装置600を、図34に示す映像情報処理装置601に置き換えてもよい。図34に示す映像情報処理装置601は、保存部131と、事前映像保存部632と、解析部643を備える。
事前映像保存部632は例えば、事前に生成された施設やスタジアムの3次元形状復元データを事前映像として、予め保存する。なお、事前映像はこれに限らない。
解析部643は例えばSfMを用いて、保存部131に保存された映像データから施設内やスタジアム内の3次元形状を復元し、自由視点映像を生成する。例えばスタジアムでサッカーが行われている場合、解析部643は選手とボールのみに限定して3次元形状復元を行い、事前映像と合成することで自由視点映像を生成してもよい。あるいは、解析部643は選手とボールを優先して3次元形状復元を行ってもよい。これにより、3次元形状復元を効率的に行うことができる。その結果、視聴者が注目する選手とボールに関する自由視点映像の高フレームレート化、高画質化に寄与する。また監視システムに適用する場合には、解析部643は人物と移動物体のみに限定して、あるいはそれらを優先して3次元形状復元を行ってもよい。
以上の構成で、3次元形状復元をより効率的に行う映像情報処理装置、映像情報処理方法を提供することができる。
また図35に示す通り、映像情報処理装置601はユーザカメラ651のみからの撮影映像データを入力する場合にも適用することができる。
<変形例−2>
なお、図32に示す映像情報処理装置600を、図36に示す映像情報処理装置602に置き換えてもよい。図36に示す映像情報処理装置602は、保存部131と、解析部644を備える。
解析部644は例えばSfMを用いて、保存部131に保存された映像データから施設内やスタジアム内の3次元形状を復元し、自由視点映像を生成する。解析部644は、複数のカメラ111及び複数のユーザカメラ651の撮影映像データの内、近い時刻のデータのみを用いて3次元形状復元を行う。時刻の検出は、例えば撮影映像データが保存部に転送完了した時刻とする。なお、時刻の検出方法はこれに限らない。これにより、3次元形状復元を効率的に行うことができる。その結果、自由視点映像の高フレームレート化、高画質化に寄与する。
あるいは解析部644は、保存部131に保存された映像データの内、高画質データのみに限定して、あるいは高画質データを優先的に用いて、3次元形状復元を行ってもよい。
以上の構成で、3次元形状復元を効率的に行う映像情報処理装置、映像情報処理方法を提供することができる。
また図37に示す通り、映像情報処理装置602はユーザカメラ651のみからの撮影映像データを入力する場合にも適用することができる。
<変形例−3>
なお、図32に示す映像情報処理装置600を、図38に示す映像情報処理装置603に置き換えてもよい。図38に示す映像情報処理装置603は、保存部131と、解析部645を備える。
L個のユーザカメラ652及びN個のカメラ612から撮影映像データとカメラ属性情報が入力されると、保存部131はそれらを保存する。カメラ属性情報は、例えば撮影位置、撮影角度、撮影時刻、ズームなどが挙げられるが、これに限らない。
解析部645は例えばSfMを用いて、保存部131に保存された映像データから施設内やスタジアム内の3次元形状を復元し、自由視点映像を生成する。解析部645はカメラ属性情報を用いて、3次元形状復元を行う。これにより、3次元形状復元を効率的に行うことができる。その結果、自由視点映像の高フレームレート化、高画質化に寄与する。
カメラ612及びユーザカメラ652におけるカメラ属性情報の生成方法に関して、以下に説明するが、一例であり、これに限らない。
施設内やスタジアム内に3次元座標を定義し、カメラ612及びユーザカメラ652がどのあたりの座標をどの角度から、どれ位のズームで、どの時間に撮ったかという情報を映像と共にカメラ属性情報として格納し、映像情報処理装置603に転送してもよい。カメラ612及びユーザカメラ652起動時に、施設内やスタジアム内の通信ネットワーク上の時計とカメラ内の時計を同期することにより、時間情報を生成することができる。
また座標の特定に関しては、例えば、ユーザカメラ652の起動時または任意のタイミングで施設内やスタジアム内の特定のポイントにカメラを合わせる事により、位置・角度情報を取得できるようにしてもよい。図39は、ユーザカメラ652起動時に、ユーザカメラ652の画面上に表示される通知の一例である。ユーザがこの通知に従い、スタジアム北側の広告中のサッカーボール中心にある“+”を合わせて、カメラのディスプレイをタッチすると、ユーザカメラ652はカメラと広告までのベクトル情報を取得しカメラ位置と角度の基準を特定する。その後はカメラのモーション情報からその時々のカメラ座標と角度を特定する。
座標の特定に関しては、カメラ612及びユーザカメラ652はGPSを用いてもよく、WiFi(無線LAN)の電波を用いてもよい。また、施設内やスタジアム内のどの基地局に撮影映像データが届いたかという情報を用いてもよい。
以上の構成で、3次元形状復元を効率的に行う映像情報処理装置、映像情報処理方法を提供することができる。
また図40に示す通り、映像情報処理装置603はユーザカメラ652のみからの撮影映像データを入力する場合にも適用することができる。
(補足)
本発明は上記の実施の形態で説明した内容に限定されず、本発明の目的とそれに関連または付随する目的を達成するためのいかなる形態においても実施可能であり、例えば、以下であってもよい。
(1)実施の形態1〜6を任意の組み合わせで実施してもよい。
(2)実施の形態1、3、4における画像のマッチングにおいて、用いる3次元形状復元データは実施の形態6で示した事前映像でもよい。
(3)上記の実施の形態は、ハードウェアとソフトウェアを使った実装に関するものであってもよい。上記の実施の形態はコンピューティングデバイス(プロセッサ)を使って実装または実行されてもよい。コンピューティングデバイスまたはプロセッサは、例えば、メインプロセッサ/汎用プロセッサ(general purpose processor)、デジタル信号プロセッサ(DSP)、ASIC(application specific integrated circuit)、FPGA(field programmable gate array)、他のプロラマブル論理デバイスなどであってよい。上記の実施の形態は、これらのデバイスの結合によって実行され、あるいは、実現されてもよい。
(4)上記の実施の形態は、プロセッサによって、または、直接ハードウェアによって実行される、ソフトウェアモジュールの仕組みによって実現されてもよい。また、ソフトウェアモジュールとハードウェア実装の組み合わせも可能である。ソフトウェアモジュールは、様々な種類のコンピュータ読み取り可能なストレージメディア、例えば、RAM、EPROM、EEPROM、フラッシュメモリ、レジスタ、ハードディスク、CD−ROM、DVDなど、に保存されてもよい。