JP2023001850A - Information processing apparatus, information processing method, and program - Google Patents
Information processing apparatus, information processing method, and program Download PDFInfo
- Publication number
- JP2023001850A JP2023001850A JP2022009393A JP2022009393A JP2023001850A JP 2023001850 A JP2023001850 A JP 2023001850A JP 2022009393 A JP2022009393 A JP 2022009393A JP 2022009393 A JP2022009393 A JP 2022009393A JP 2023001850 A JP2023001850 A JP 2023001850A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- virtual
- virtual viewpoint
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本開示は、撮像画像に基づく処理に関する。 The present disclosure relates to processing based on captured images.
複数の撮像装置(仮想視点画像生成用カメラ)を異なる位置に設置して、複数の視点からオブジェクトを撮像して得られた撮像画像を用いて仮想視点画像を生成する方法がある。また、仮想視点画像生成用カメラとは別の撮像装置(通常撮像用カメラ)で撮像を行うことがある。そして、仮想視点画像と、通常撮像用カメラが撮像して得られた撮像画像と、を適宜切り替えて表示する方法がある。 There is a method of installing a plurality of imaging devices (cameras for generating virtual viewpoint images) at different positions and generating a virtual viewpoint image using captured images obtained by capturing images of an object from a plurality of viewpoints. Also, an imaging device (ordinary imaging camera) different from the virtual viewpoint image generation camera may perform imaging. Then, there is a method of appropriately switching and displaying a virtual viewpoint image and a captured image obtained by capturing an image by a normal imaging camera.
特許文献1は、視聴者に与える違和感が少なくなるように通常撮像用カメラの撮像画像と仮想視点画像との切り替えを行う方法が記載されている。 Patent Document 1 describes a method of switching between an image captured by a normal imaging camera and a virtual viewpoint image so as to reduce the viewer's sense of discomfort.
しかしながら、仮想視点画像生成用カメラの撮像範囲に通常撮像用カメラが存在する場合、通常撮像用カメラが仮想視点画像に映り込んでしまうことがある。通常撮像用カメラが仮想視点画像に映り込むと、仮想視点画像の品質が低下することがある。 However, when the normal imaging camera exists in the imaging range of the virtual viewpoint image generating camera, the normal imaging camera may be reflected in the virtual viewpoint image. When the normal imaging camera is reflected in the virtual viewpoint image, the quality of the virtual viewpoint image may deteriorate.
本開示の技術は、仮想視点画像生成用カメラの撮像範囲に通常撮像用カメラが存在することによる影響を抑制することを目的とする。 An object of the technique of the present disclosure is to suppress the influence caused by the presence of the normal imaging camera in the imaging range of the virtual viewpoint image generating camera.
本開示の技術に係る情報処理装置は、仮想視点画像に対応する仮想視点を特定するための第1の視点情報と、前記仮想視点画像を生成するために使用される第1の撮像装置の撮像範囲に存在する第2の撮像装置の視点を表す第2の視点情報と、を取得する取得手段と、前記仮想視点画像又は前記第2の撮像装置が撮像して得られた撮像画像を出力する出力手段と、前記第1の視点情報により特定される前記仮想視点の視界に、前記第2の視点情報により特定される前記第2の撮像装置の位置が含まれる場合、前記出力手段により前記第2の撮像装置が撮像して得られた前記撮像画像が出力されるように制御する制御手段と
を有することを特徴とする。
An information processing apparatus according to the technology of the present disclosure includes first viewpoint information for specifying a virtual viewpoint corresponding to a virtual viewpoint image, and imaging by a first imaging device used to generate the virtual viewpoint image. second viewpoint information representing a viewpoint of a second imaging device existing within a range; obtaining means for obtaining second viewpoint information; and outputting the virtual viewpoint image or the captured image obtained by imaging by the second imaging device. and, if the field of view of the virtual viewpoint specified by the first viewpoint information includes the position of the second imaging device specified by the second viewpoint information, the output means outputs the and control means for controlling such that the captured image obtained by imaging by the imaging device of No. 2 is output.
本開示の技術によれば、仮想視点画像生成用カメラの撮像範囲に通常撮像用カメラが存在することによる影響を抑制することができる。 According to the technology of the present disclosure, it is possible to suppress the influence of the presence of the normal imaging camera in the imaging range of the virtual viewpoint image generating camera.
以下、添付の図面を参照して、実施形態に基づいて本開示の技術の詳細を説明する。 Hereinafter, details of the technology of the present disclosure will be described based on embodiments with reference to the accompanying drawings.
<第1実施形態>
[画像処理システムの構成]
図1は、本実施形態の画像処理システムの全体を表す構成図である。画像処理システムは、仮想視点画像生成用カメラ群110、通常撮像用カメラ120、画像処理装置100、および画像切替装置130を有する。
<First Embodiment>
[Configuration of image processing system]
FIG. 1 is a configuration diagram showing the entire image processing system of this embodiment. The image processing system includes a virtual viewpoint image
本実施形態の画像処理装置100は、仮想視点画像を生成することが可能な情報処理装置である。仮想視点画像とは、実際に設置されているカメラの視点とは異なる視点(仮想視点とよぶ)からの見えを表す画像であり、自由視点画像または任意視点画像とも呼ばれる。仮想視点画像は、動画であっても、静止画であってもよい。本実施形態では、仮想視点画像は動画であるものとして説明する。
The
なお、本実施形態では、仮想視点を仮想的なカメラ(仮想カメラ)に置き換えて説明する場合がある。このとき、仮想視点の位置は仮想カメラの位置、仮想視点からの視線方向は仮想カメラの向きの方向にそれぞれ対応する。また、仮想視点画像は、仮想カメラにより仮想的に撮像されることにより得られる撮像画像に対応する。仮想カメラの位置および向きは仮想カメラの操縦者が指定することができる。このため、任意の視点からの画像を生成することが可能となる。 In addition, in this embodiment, the virtual viewpoint may be replaced with a virtual camera (virtual camera) for explanation. At this time, the position of the virtual viewpoint corresponds to the position of the virtual camera, and the line-of-sight direction from the virtual viewpoint corresponds to the orientation direction of the virtual camera. A virtual viewpoint image corresponds to a captured image obtained by virtually capturing an image with a virtual camera. The position and orientation of the virtual camera can be specified by the operator of the virtual camera. Therefore, it is possible to generate an image from an arbitrary viewpoint.
本実施形態における仮想視点画像は、自由視点画像とも呼ばれるものであるが、ユーザが自由に(任意に)指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。 The virtual viewpoint image in this embodiment is also called a free viewpoint image, but is not limited to an image corresponding to a viewpoint freely (arbitrarily) specified by the user. A corresponding image is also included in the virtual viewpoint image. Also, in the present embodiment, the case where the designation of the virtual viewpoint is performed by the user's operation will be mainly described, but the designation of the virtual viewpoint may be automatically performed based on the result of image analysis or the like.
画像処理装置100は、仮想視点用撮像画像取得部101、仮想視点指定部102,仮想視点画像生成部103、物理視点用撮像画像取得部104、カメラ情報取得部106、類似度算出部107、および出力制御部108を有する。
The
仮想視点用撮像画像取得部101は、スタジオ等の撮像範囲を取り囲むように配置された複数の撮像装置である仮想視点画像生成用カメラ群110が時刻同期して撮像して得られた、夫々のカメラの画角に応じた撮像画像を取得する。仮想視点画像生成用カメラ群110を構成するカメラの台数および配置は限定しない。
The virtual viewpoint captured
仮想視点指定部102は、仮想カメラの操縦者が指示した仮想カメラの位置および姿勢(向き)を少なくとも規定する、仮想カメラの視点情報を生成する。
The virtual
仮想カメラの操縦者は、所望の仮想カメラの位置および向き等を、画像処理装置100と接続している操作部(不図示)を介して指示することができる。操作部(不図示)は、例えばジョイスティックのような装置であるが、操作部(不図示)はジョイスティックに限定されない。その他にも、パーソナルコンピュータの操作に用いるマウス、キーボードといった装置でもよい。
The operator of the virtual camera can specify the desired position and direction of the virtual camera through an operation unit (not shown) connected to the
仮想カメラの視点情報には、世界座標上の3次元位置(仮想カメラの位置)、姿勢(仮想カメラの向き)、焦点距離、主点(仮想カメラ画像上の中心)が含まれるものとする。
仮想カメラの視点情報が生成されることで、仮想カメラの位置および向き等が規定される。
The viewpoint information of the virtual camera includes the three-dimensional position (position of the virtual camera) on world coordinates, orientation (orientation of the virtual camera), focal length, and principal point (center on the virtual camera image).
The position, orientation, and the like of the virtual camera are defined by generating the viewpoint information of the virtual camera.
仮想視点画像生成部103は、仮想視点用撮像画像取得部101が取得した複数の撮像画像および仮想視点画像生成用カメラ群110の位置関係を用いて、仮想視点指定部102が指定した仮想カメラからの見えを表す仮想視点画像を生成する。そして、仮想視点画像生成部103は、仮想カメラの画角内の画像を仮想視点画像として出力する。
The virtual viewpoint
ここで、仮想視点画像の生成方法の一例として、オブジェクトの三次元形状を表す三次元モデルを生成して、その三次元モデルを仮想カメラから見た場合の二次元画像を射影演算によって表すことによって仮想視点画像を生成する方法を説明する。オブジェクトの三次元形状を表す三次元モデルを三次元形状データともよぶ。 Here, as an example of a method of generating a virtual viewpoint image, a three-dimensional model representing the three-dimensional shape of an object is generated, and a two-dimensional image when the three-dimensional model is viewed from a virtual camera is represented by a projection operation. A method of generating a virtual viewpoint image will be described. A three-dimensional model representing the three-dimensional shape of an object is also called three-dimensional shape data.
はじめに、仮想視点画像生成用カメラ群110の撮像画像および配置情報に基づき、撮像範囲内のオブジェクトの三次元モデルを生成する。三次元モデルを構成する方法として、視体積交差法またはVisualHull(以降VisualHullと記す。)と呼ばれる方法がある。VisualHullでは、各仮想視点画像生成用カメラの撮像画像上のオブジェクトのシルエットを、仮想視点画像生成用カメラの光学主点位置からオブジェクトの方向に仮想的に逆投影する。その結果、光学主点位置を頂点とし、断面がオブジェクトのシルエットとなる錐体領域が形成される。そして、仮想視点生成用カメラ毎に形成された錐体領域の重複領域(論理積)を三次元モデルとすることで、オブジェクトの三次元モデルが生成される。
First, a three-dimensional model of an object within an imaging range is generated based on images captured by the virtual viewpoint image
次に、仮想視点画像生成用カメラ群110を構成するカメラのうち、三次元モデルの色付けに用いる撮像画像を撮像したカメラを決定して、三次元モデルに適切な色付けを行うレンダリング処理を行う。色付けに用いるカメラを決定する処理の方法としては、例えば、各仮想視点画像生成用カメラから三次元モデルを構成する各点までの距離を表す距離画像を生成して距離画像に基づき決定する方法がある。その距離画像を利用して、どの仮想視点画像生成用カメラの撮像画像の色を使用するかを選択することで色付けが行われる。
Next, the camera that captured the captured image used for coloring the 3D model is determined from among the cameras constituting the virtual viewpoint image
なお、仮想視点画像を生成する方法については上述した方法に限定するものではない。
仮想視点画像を生成する方法として、三次元モデルを生成する方法ではなく、モーフィングまたはビルボーディングといったイメージベースの画像処理方法が用いられてもよい。
Note that the method of generating the virtual viewpoint image is not limited to the method described above.
As a method of generating a virtual viewpoint image, an image-based image processing method such as morphing or billboarding may be used instead of a method of generating a three-dimensional model.
仮想視点画像の生成処理は、仮想視点画像生成用カメラ群110から送られる画像データをネットワーク接続されたコンピュータ機器である画像処理装置100に集約して行われるものとして説明する。ネットワーク接続はコンピュータネットワークで最も一般的に使用されているEthernet(登録商標)であるとするが、Ethernet(登録商標)に限定されない。画像処理装置100は、パーソナルコンピュータ、ワークステーション、サーバといった装置で実現される。しかし、生成する仮想視点画像次第でコンピュータ機器に必要とされる計算能力は異なるため画像処理装置100の形態は上述した形態に限定されない。他にも例えば、画像処理装置100は、複数の装置によって構成され、必要な画像生成処理が複数の装置で分担して行われてもよい。画像処理装置100が複数の装置で構成される場合、前述のネットワーク接続によってデータのやり取りが可能になるように複数の装置間の接続が行われる。
The virtual viewpoint image generation processing is described assuming that the image data sent from the virtual viewpoint image
物理視点用撮像画像取得部104は、通常撮像用カメラ120が撮像して得られた実施の撮像画像を取得する。通常撮像用カメラ120は、仮想視点画像生成用カメラ群110の撮像範囲内に配置されている実際の撮像装置である。
The physical viewpoint captured
仮想視点画像は、ズームアップで人物の表情を表すのには適さない場合がある。このため、通常撮像用カメラ120は、仮想視点画像生成用カメラ群110と比較して、画角内におけるオブジェクトの割合が高い画像を得るために用いられる。例えば、オブジェクトが人物である場合、通常撮像用カメラ120は人物の表情などを撮像する目的で配置される。
A virtual viewpoint image may not be suitable for expressing a person's facial expression by zooming in. Therefore, the
通常撮像用カメラ120は、例えば、カメラマンが手持して撮像するためのカメラ、または三脚もしくは撮像用のクレーンに設置されたカメラである。画像処理装置100および通常撮像用カメラ120は、例えば、SDI(Serial Digital Interface)ケーブルで接続される。SDIは主に業務用映像機器に使用されるインターフェース規格である。本実施形態では、通常撮像用カメラ120は、カメラマンが手持して撮像する撮像装置であるものとして説明する。
The
カメラ情報取得部106は、仮想視点画像生成部103から仮想カメラを規定する視点情報を取得する。仮想カメラの位置および向きを表す視点情報は、仮想視点指定部102から仮想視点画像生成部103に出力されて、仮想視点画像を生成するために使用される。このため、カメラ情報取得部106は、仮想視点画像生成部103から仮想カメラ304の視点情報を取得することができる。
The camera
また、カメラ情報取得部106は、物理視点用撮像画像取得部104から通常撮像用カメラ120の情報として、通常撮像用カメラ120の位置および向きを表す視点情報を取得する。
In addition, the camera
上述したカメラ情報取得部106の各視点情報の取得方法は一例であり、カメラ情報取得部106は仮想視点指定部102から仮想カメラの視点情報を直接取得してもよい。また、カメラ情報取得部106は通常撮像用カメラ120から通常撮像用カメラ120の視点情報を直接取得してもよい。その場合、カメラ情報取得部106は、通常撮像用カメラ120から前述したEthernet接続によって視点情報を取得する。
The acquisition method of each viewpoint information of the camera
通常撮像用カメラ120の視点情報は、通常撮像用カメラ120に位置および向きが検知可能なセンサ機器を搭載することで取得可能となっている。または、通常撮像用カメラ120の移動可能な空間にあらかじめマーカを設置し、赤外線を投光することで得られるマーカからの反射に基づき通常撮像用カメラ120の位置情報が取得されてもよい。または、加速度センサ、ジャイロセンサー等を併用することで、通常撮像用カメラ120の向きの情報が取得されてもよい。
The viewpoint information of the
通常撮像用カメラ120の位置および向きは、仮想視点画像生成部103で使用される世界座標と位置関係が一致するよう予め調整されている。この調整をすることで、通常撮像用カメラ120の視点情報は、仮想カメラの視点情報と共通した世界座標系における位置および向きを表す情報として取得される。世界座標系における位置および向きに調整する方法としては、例えば、仮想カメラと通常撮像用カメラ120とを同じ画角となるよう設定する。そして、その際の世界座標と通常撮像用カメラ120との座標との関係から、通常撮像用カメラ120の視点情報を世界座標に合わせるように調整することが可能である。または、予め世界座標上の位置に対応している場所に通常撮像用カメラ120を配置して、通常撮像用カメラ120の座標と世界座標との関係から調整することが可能である。
The position and orientation of the
類似度算出部107は、カメラ情報取得部106が取得した視点情報に基づき、仮想カメラの視点と、通常撮像用カメラ120の視点とが類似するかを決定するための類似度の算出を行う。詳細は後述する。
Based on the viewpoint information acquired by the camera
出力制御部108は、画像切替装置130に対して、類似度算出部107が算出した類似度に応じた出力制御が行われるように指示を行う。例えば、類似度に基づき視点が類似していると決定した場合、視点が類似していることに応じた出力制御によって画像を出力するように画像切替装置130に指示する。詳細は後述する。
The
画像切替装置130は、画像処理装置100から仮想視点画像を取得する。また、通常撮像用カメラ120から、その仮想視点画像に対応する、通常撮像用カメラ120の撮像画像を取得する。画像切替装置130はSDIケーブルを経由して仮想視点画像と撮像画像を取得する。画像切替装置130は、取得した画像の何れかを出力する出力装置(出力部)である。画像切替装置130から出力された画像は視聴者が見ている表示部に表示される。具体的には、画像切替装置130は、取得した仮想視点画像または撮像画像の何れかを不図示の放送設備または配信サーバ等へ出力する。
The
本実施形態では、画像切替装置130は、通常撮像用カメラ120でズーム倍率の高い状態でオブジェクトを撮像して得られた撮像画像と、所望の仮想視点からの仮想視点画像と、を適宜切り替えて表示部に表示されるように制御を行う。通常撮像用カメラ120の撮像画像と仮想視点画像と切り替えながら表示することで、より臨場感の高い画像を視聴者に提供することが可能となる。即ち、自由度の高い仮想視点画像の特徴を生かしつつ、表情をとらえるような画像を適宜表示することが可能となる。
In this embodiment, the
画像切替装置130は、例えば、スイッチャーと呼ばれる装置で実現される。通常、スイッチャーに備わっているスイッチを操作してユーザが出力する画像を切り替える。本実施形態では、ユーザによる切り替え指示に加えて、画像処理装置100の出力制御部108の指示に基づいて、画像切替装置130の出力画像の切り替えが制御される。
The
図1で示した画像処理装置100において実現される各機能部は、後述する画像処理装置のCPU201(図2参照)が所定のプログラムを実行することにより実現されるものとして説明するが、これに限られるものではない。例えば、演算を高速化するためのGPU(Graphics Processing Unit)やFPGA(Field Programmable Gate Array)などのハードウェアが利用されてもよい。すなわち、画像処理装置100の各機能部は、ソフトウェアと専用ICなどのハードウェアとの協働で実現されてもよいし、一部またはすべての機能がハードウェアのみで実現されてもよい。また、画像処理装置100を複数用いることにより各機能部の処理を分散させて実行するような構成が用いられても良い。
Each functional unit realized in the
[画像処理装置のハードウェア構成]
図2は、画像処理装置100のハードウェアの構成例を示すブロック図である。画像処理装置100は、CPU201、RAM202,ROM203、外部記憶装置204、I/F205を有する。
[Hardware Configuration of Image Processing Apparatus]
FIG. 2 is a block diagram showing a hardware configuration example of the
CPU201は、RAM202およびROM203に格納されているコンピュータプログラムおよびデータを用いてコンピュータ全体の制御を行う。
The
RAM202は、外部記憶装置204からロードされたコンピュータプログラム、データ、I/F(インターフェース)205を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、RAM202は、CPU201が各種の処理を実行する際に用いるワークエリアを有する。即ち、RAM202は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。ROM203には、本コンピュータの設定データ、ブートプログラムなどが格納されている。
The
外部記憶装置204は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置204には、OS(オペレーティングシステム)、図1に示した画像処理装置100の各機能をCPU201に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置204には、処理対象の画像データが保存されていても良い。外部記憶装置204に保存されているコンピュータプログラムやデータは、CPU201による制御に従って適宜RAM202にロードされ、CPU201の処理の対象となる。
The
I/F205は、LAN、インターネット等のネットワークに接続するためインターフェースであり、画像処理装置100は、I/F205を介して様々な情報の取得または送信をすることができる。また、I/F205を介して、不図示の表示部、操作部、他の機器を接続することができる。バス206は上述の各部を繋ぐためのバスである。
An I/
表示部(不図示)は、例えば液晶ディスプレイやLED等で構成され、ユーザが画像処理装置100を操作するためのGUI(Graphical User Interface)などを表示する。操作部(不図示)は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をCPU201に入力する。CPU201は、表示部を制御する表示制御部、及び操作部を制御する操作制御部としても動作する。
The display unit (not shown) is composed of, for example, a liquid crystal display, an LED, etc., and displays a GUI (Graphical User Interface) for the user to operate the
なお、画像切替装置130のハードウェア構成についても図2と同様であるため説明は省略する。
Note that the hardware configuration of the
[カメラの配置について]
図3は、仮想視点画像生成用カメラ群110の撮像範囲300を上から俯瞰して見た状態を表した図である。例えば、撮像範囲300は、歌手、ダンサー等のオブジェクト303がパフォーマンスを行うスタジオである。図3に示すように仮想視点画像生成用カメラ群110は、スタジオの周囲に配置され、スタジオを様々な角度から時刻同期して撮像する。その結果、複数の視点の撮像画像が得られる。
[About camera placement]
FIG. 3 is a diagram showing a state in which an
さらに、撮像範囲300には、通常撮像用カメラ120と、通常撮像用カメラ120を用いて撮像を行っているカメラマン308が存在している。即ち、スタジオでは、通常撮像用カメラ120による撮像と、仮想視点画像生成用カメラ群110による撮像と、が同時に行われている。
Further, in the
通常撮像用カメラ120は、仮想視点画像生成用カメラ群110を構成するカメラのうちの少なくとも1つのカメラの撮像範囲に存在する。このため、通常撮像用カメラ120の位置によっては、仮想視点画像生成用カメラ群110を構成するカメラのうちの1台以上のカメラの画角内に被写体として含まれる可能性がある。
The
図3における仮想カメラ304は、仮想カメラの操縦者によって指定された仮想カメラの位置および向きを表す。方向305は、仮想カメラ304の向きの方向を2次元で表している。この場合、仮想カメラ304から仮想視点画像を生成すると、本来のオブジェクト303だけではなく通常撮像用カメラ120とカメラマン308とが含まれる仮想視点画像が生成されてしまう。この場合、例えば、通常撮像用カメラ120およびカメラマン308が目障りとなることがあるため、通常撮像用カメラ120およびカメラマン308が仮想視点画像内に表現されないようにするための処理が求められることがある。
例えば、仮想視点画像生成用カメラ群110を構成するカメラのうち、通常撮像用カメラ120およびカメラマン308が画角に含まれるカメラのデータを用いないで、仮想視点画像を生成する。このように処理することで、通常撮像用カメラ120およびカメラマン308が含まれないように仮想視点画像を生成する方法が考えられる。図3では、仮想視点画像生成用カメラ群110を構成するカメラ110bの画角307には、通常撮像用カメラ120およびカメラマン308が含まれることを示している。このため、図3の例では、カメラ110bのデータを排除して、仮想視点画像を生成することが考えられる。しかしながら、カメラ110bの画角307にはオブジェクト303も含まれている。オブジェクト303を撮像できていたカメラ110bのデータを用いないで仮想視点画像を生成すると、仮想視点画像の品質が低下する虞がある。
For example, of the cameras forming the virtual viewpoint image
また、カメラマン308が頻繁に移動しながら撮像を行うような場合がある。この場合、オブジェクト303が静止していても、仮想視点画像の生成に用いるカメラが数フレームごとに変化することになる。このため、オブジェクト303を撮像できていたカメラ110bのデータが使用できなくなると、フレームごとに仮想視点画像の変化が発生してしまい、仮想視点画像を動画で表示すると視聴者に不自然な見えを感じさせる場合がある。
In addition, there is a case where the
そこで本実施形態では、仮想カメラの位置および向きを表す視点情報と、通常撮像用カメラ120の位置および向きを表す視点情報とに基づき夫々の視点が類似しているかを判定する。そして、類似している場合は、通常撮像用カメラ120の撮像画像が出力されるように制御する方法を説明する。このような制御を行うことで、仮想カメラからの画像を提供しながら、カメラマンのような本来のオブジェクト以外の人などが映り込むことを抑制することができる。
Therefore, in the present embodiment, based on viewpoint information representing the position and orientation of the virtual camera and viewpoint information representing the position and orientation of the
なお、図3では説明を簡易にするため撮像対象を俯瞰して見たような2次元で扱う場合の事例を示しているが、3次元でパラメータを扱った場合も同様に対応可能である。 In order to simplify the explanation, FIG. 3 shows an example of a two-dimensional view of an object to be imaged, but it is also possible to deal with three-dimensional parameters.
[類似度について]
類似度算出部107は、仮想カメラ304の視点情報と、通常撮像用カメラ120の視点情報と、に基づき、仮想カメラ304の視点である仮想視点と、通常撮像用カメラ120の視点との類似の度合いを表す値である類似度を算出する。図3を用いて類似度の算出の一例について説明する。
[About similarity]
Based on the viewpoint information of the
図3において、方向309は、通常撮像用カメラ120の姿勢(向き)の方向を2次元で表したものある。また、方向305は、仮想カメラ304の姿勢(向き)の方向を2次元で表したものある。角度θ310は、仮想カメラ304の向きと通常撮像用カメラ120の向きとの差(方向305と方向309のとの成す角度)を示す。距離311は、仮想カメラ304の位置から通常撮像用カメラ120の位置までの距離を示している。本実施形態では、距離311および角度310が視点の類似度として算出される。距離311および角度310は夫々の視点情報に基づき算出される。
In FIG. 3, a
算出された類似度と予め決められた閾値とを比較することで、仮想カメラ304の視点と、通常撮像用カメラ120の視点とが類似するかを決定することができる。本実施形態では、距離311が予め決められた第1の閾値より小さく、かつ角度310が予め決められた第2の閾値より小さい場合、仮想カメラ304の視点と、通常撮像用カメラ120の視点とは類似していると決定される。
By comparing the calculated degree of similarity with a predetermined threshold value, it is possible to determine whether the viewpoint of the
[画像出力制御について]
図4は、画像出力制御処理の流れを説明するためのフローチャートである。図4のフローチャートで示される一連の処理は、画像処理装置100のCPU201がROM203に記憶されているプログラムコードをRAM202に展開し実行することにより行われる。また、図4におけるステップの一部または全部の機能をASICまたは電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「S」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。
[About image output control]
FIG. 4 is a flowchart for explaining the flow of image output control processing. A series of processes shown in the flowchart of FIG. 4 is performed by the
なお、図4のフローチャートの処理と並行して仮想視点画像の生成が行われているものとして説明するが、図4のフローチャートの開始前に予め全フレーム分の仮想視点画像が生成されていてもよい。 It should be noted that the description will be made on the assumption that virtual viewpoint images are generated in parallel with the processing of the flowchart of FIG. good.
S401においてカメラ情報取得部106は、仮想視点画像生成部103から仮想カメラの位置および向きを表す視点情報(第1の視点情報)を取得する。本ステップでは、画像切替装置130が仮想カメラに出力を切り替えた場合に出力される仮想視点画像に対応する仮想カメラの視点情報が取得される。画像出力制御処理は繰り返し行われるため、次に本ステップの処理が行われる場合は、次に出力される仮想視点画像に対応する仮想カメラの視点情報が取得される。
In S<b>401 , the camera
S402においてカメラ情報取得部106は、通常撮像用カメラ120の位置および向きを表す視点情報(第2の視点情報)を取得する。本ステップで取得される視点情報は、S401の仮想視点画像に対応する撮像画像を得る際の通常撮像用カメラ120の視点情報である。例えば、S401で取得される仮想視点に基づく仮想視点画像の時刻と同じ時刻に、通常撮像用カメラ120が撮像した際の通常撮像用カメラ120の視点情報が取得されることになる。
In S<b>402 , the camera
S403において類似度算出部107は、取得された夫々の視点情報である、通常撮像用カメラ120の視点情報と仮想カメラの視点情報とに基づき、2つの視点の類似度を算出する。前述したとおり、本実施形態では類似度として、仮想カメラの向きと通常撮像用カメラ120の向きとの差を示す角度および、仮想カメラの位置と通常撮像用カメラ120の位置との距離とが、算出される。
In S403, the
S404において出力制御部108は、S403で導出された類似度に基づき、通常撮像用カメラ120の視点と仮想カメラの視点とが類似するかを決定する。通常撮像用カメラ120が複数ある場合は、仮想カメラと視点が類似する通常撮像用カメラ120があるかを決定する。そして決定の結果によって処理を切り替える。
In S404, the
仮想視点に類似する通常撮像用カメラ120があると決定された場合(S404がYES)、S405に進み、出力制御部108は、画像切替装置130に対して類似度に基づく出力制御をONにする指示を行う。
If it is determined that there is a
類似度に基づく出力制御とは、通常撮像用カメラ120の撮像画像に出力する画像を自動で切り替える制御である。また、既に、通常撮像用カメラ120の撮像画像を出力している場合は、ユーザが仮想視点画像に出力する画像を切り替える指示を行ってもユーザの指示を受け付けないで通常撮像用カメラ120の撮像画像を出力する制御である。このため、仮想視点画像と類似する画角の画像であり、かつ通常撮像用カメラ120およびカメラマン308が含まれない画像を出力して表示させることができる。
Output control based on similarity is control for automatically switching the image to be output to the captured image of the
一方、仮想視点と類似する通常撮像用カメラ120は無いと決定された場合(S404がNO)、S406に進み、出力制御部108は、画像切替装置130に対して類似度に基づく出力制御をOFFにする指示を行う。このため、画像切替装置130は、ユーザの切り替え指示に応じた画像を出力する。
On the other hand, if it is determined that there is no
画像処理装置100は、上述したS401~S406の処理を予め決められた所定の周期(一定の時間間隔)で所定期間、継続して実施する。即ち、所定数分のフレームが出力されると、再度S401~S406の処理が行われ、次の所定数分のフレームの出力については、類似度に基づく出力制御をONにする指示をするかOFFとする指示をするかの決定が行われる。次のS401~S406を行う時間間隔が短い、即ち、類似度に基づく出力制御をONとするかOFFとするかの決定処理の頻度が高いほど、仮想カメラおよび通常撮像用カメラ120の動きに対して追従性が高くなるが、計算負荷が高くなる。
The
なお、仮想カメラは複数指定されることもあり、通常撮像用カメラが複数存在することもある。この場合でも、本実施形態の制御を行うことが可能である。 A plurality of virtual cameras may be designated, and a plurality of normal imaging cameras may exist. Even in this case, it is possible to perform the control of this embodiment.
図5は、複数の仮想カメラと、複数の通常撮像用カメラとが存在する場合において、それぞれの視点を比較した結果を表す視点比較テーブル500を示す図である。図5の視点比較テーブルは、仮想カメラが仮想カメラ1~4の4台、通常撮像用カメラが通常撮像用カメラ1~2の2台存在する場合の視点比較テーブルを示している。複数の仮想カメラがある場合、類似度算出部107は、仮想カメラごとに通常撮像用カメラとの視点の類似度を算出する。そして、出力制御部108は、類似度と閾値を比較して、仮想カメラの視点と通常撮像用カメラの視点とが類似するかを夫々決定してその結果を視点比較テーブルに保持する。
FIG. 5 is a view showing a viewpoint comparison table 500 representing the result of comparing the respective viewpoints when there are a plurality of virtual cameras and a plurality of normal imaging cameras. The viewpoint comparison table in FIG. 5 shows a viewpoint comparison table when there are four virtual cameras 1 to 4 as virtual cameras and two normal imaging cameras 1 to 2 as normal imaging cameras. When there are a plurality of virtual cameras, the
出力制御部108は、類似度に基づく出力制御として視点比較テーブル500に応じた出力制御が行われるように画像切替装置130に指示する。例えば、図4のフローチャートではS403で類似度を算出した後、S404では出力制御部108は、視点比較テーブル500を生成して、仮想カメラに類似する通常撮像用カメラがあるか判定される。仮想カメラに類似する通常撮像用カメラがあると判定された場合、S405では類似度に基づく出力制御として視点比較テーブル500に応じた出力制御が行われるように画像切替装置130に指示する。なお、S404~S406の処理に替えて、出力制御部108は、視点比較テーブル500を生成して、類似度に基づく出力制御として視点比較テーブル500に応じた出力制御が行われるように画像切替装置130に指示してもよい。
The
画像切替装置130において実行される視点比較テーブル500に応じた出力制御の一例を図5に基づき説明する。図5に示すとおり仮想カメラ1の視点に対して通常撮像用カメラ1の視点が類似し、通常撮像用カメラ2の視点は類似しないと決定されている。この状況で、仮想カメラ1に対応する仮想視点画像を出力する指示をユーザがした場合、画像切替装置130は、仮想カメラ1と視点が類似する通常撮像用カメラ1の撮像画像に出力を自動で切り替える出力制御を行う。また、通常撮像用カメラ1から通常撮像用カメラ2への切り替えはユーザの任意のタイミングで切替可能なように出力制御を行う。
An example of output control according to the viewpoint comparison table 500 executed in the
仮想カメラ2に対応する仮想視点画像を出力する指示をユーザがした場合、画像切替装置130は、仮想カメラ2と視点が類似する通常撮像用カメラ2の撮像画像に自動で出力が切り替わる出力制御を行う。また、通常撮像用カメラ2の撮像画像から通常撮像用カメラ1の撮像画像への出力の切り替えは、ユーザの任意のタイミングで切替可能なように出力制御を行う。
When the user gives an instruction to output the virtual viewpoint image corresponding to the virtual camera 2, the
仮想カメラ3の視点はどちらの通常撮像用カメラの視点に対しても類似しないと決定されている。この状況で仮想カメラ3に対応する仮想視点画像を出力する指示をユーザがした場合、画像切替装置130は、ユーザの任意のタイミングで仮想カメラ3の仮想視点画像へ切り替えるように出力制御を行う。
It has been determined that the viewpoint of virtual camera 3 is not similar to the viewpoint of either normal imaging camera. In this situation, when the user gives an instruction to output the virtual viewpoint image corresponding to the virtual camera 3, the
仮想カメラ4の視点はどちらの通常撮像用カメラの視点に対しても類似する。この状況で仮想カメラ4に対応する仮想視点画像を出力する指示をユーザがした場合、画像切替装置130は、どちらかの通常撮像用カメラの撮像画像に自動で出力を切り替える出力制御を行う。通常撮像用カメラ1または通常撮像用カメラ2のどちらの撮像画像に切り替えるかについては、予め通常撮像用カメラに優先度を設定しておき、優先度が高いカメラの撮像画像に出力を切り替えればよい。または、視点が類似するか否かを決定するのではなく、類似度に基づき仮想カメラと視点がより類似している通常撮像用カメラを決定して、決定されたカメラの撮像画像に出力が切り替わるようにしもよい。例えば、仮想カメラとの距離が小さい方の通常撮像用カメラの撮像画像に切り替わるようにする。
The viewpoint of the virtual camera 4 is similar to that of either normal imaging camera. In this situation, when the user gives an instruction to output the virtual viewpoint image corresponding to the virtual camera 4, the
以上説明したように本実施形態によれば、仮想視点画像と通常撮像用カメラの撮像画像とを切り替えて出力する場合において、仮想カメラの画角にカメラマン等が映り込むようなときでも表示される画像の品質の低下を抑制することが可能となる。 As described above, according to the present embodiment, when the virtual viewpoint image and the captured image of the normal imaging camera are switched and output, the image can be displayed even when the cameraman or the like is reflected in the angle of view of the virtual camera. It becomes possible to suppress deterioration in image quality.
なお、上述した説明では、仮想カメラの視点と通常撮像用カメラの視点とが類似するかを決定するために用いられる類似度を、カメラの位置および姿勢を表す視点情報から算出する方法を説明した。他にも、仮想視点画像と通常撮像用カメラの撮像画像との画像の類似度に基づき、仮想カメラの視点と通常撮像用カメラの視点とが類似するかを決定してもよい。 In the above description, the method of calculating the degree of similarity used for determining whether the viewpoint of the virtual camera and the viewpoint of the normal imaging camera are similar from the viewpoint information representing the position and orientation of the camera has been described. . Alternatively, it may be determined whether the viewpoint of the virtual camera and the viewpoint of the normal imaging camera are similar based on the similarity between the virtual viewpoint image and the image captured by the normal imaging camera.
例えば、カメラ情報取得部106は、仮想視点画像生成部103からは仮想視点画像を、物理視点用撮像画像取得部104からは通常撮像用カメラの撮像画像を取得する。カメラ情報取得部106は取得した仮想視点画像および撮像画像を類似度算出部107に出力する。類似度算出部107は仮想視点画像と通常撮像用カメラの撮像画像との画像データから画像の類似度を算出する。出力制御部108は、画像の類似度があらかじめ決められた閾値を超える場合は、視点が類似すると決定する。視点が類似すると決定した場合の出力制御の方法は上述した方法と同じである。
For example, the camera
画像の類似度の算出方法としては、例えば、画像上の特徴点を抽出し、特徴点のマッチング度合いを類似度として算出する方法がある。または、あらかじめオブジェクトを機械学習の手法で識別できるようにしておき、仮想視点画像と通常撮像用カメラの撮像画像とのそれぞれからオブジェクトの識別を行い、オブジェクトの位置関係を比較することで類似度を算出してもよい。これらの類似度の算出方法は一例であり、本実施形態では画像の類似度を算出する方法は限定しない。 As a method of calculating the degree of similarity between images, for example, there is a method of extracting feature points on an image and calculating the degree of matching of the feature points as the degree of similarity. Alternatively, objects can be identified in advance using a machine learning method, and the similarity can be calculated by identifying the objects from the virtual viewpoint image and the image captured by the normal imaging camera, and comparing the positional relationship of the objects. can be calculated. These similarity calculation methods are examples, and the method for calculating the image similarity is not limited in this embodiment.
また、前述した仮想カメラの視点情報と通常撮像用カメラの視点情報とに基づく視点の類似度と、仮想視点画像と通常撮像用カメラの撮像画像との画像の類似度と、を組み合わせて視点が類似するかを決定してもよい。例えば、画像の類似度の算出は、視点の類似度の算出と比較して画像処理装置100の演算負荷が高い。このため、例えば、視点情報に基づき距離311が予め決められた第1の閾値より小さく、かつ角度310が予め決められた第2の閾値より小さいと決定された場合のみ、さらに画像の類似度を算出する。そして、画像の類似度が決められた閾値より高い場合は視点が類似すると決定してもよい。このように2段階で視点が類似するかを決定することにより、負荷を抑制しつつ視点が類似するかの決定の精度を高めることができる。
In addition, the similarity between the viewpoint based on the viewpoint information of the virtual camera and the viewpoint information of the normal imaging camera and the similarity between the virtual viewpoint image and the image captured by the normal imaging camera are combined to determine the viewpoint. Similarity may be determined. For example, calculation of image similarity requires a higher computational load on the
<第2実施形態>
第1実施形態では、出力制御部108が実行する出力制御として、仮想カメラと視点が類似する通常撮像用カメラがある場合、通常撮像用カメラの撮像画像が出力されるように制御を実行する方法を説明した。本実施形態では、仮想カメラと視点が類似する通常撮像用カメラがある場合、画像切替装置130のスイッチを操作して出力する画像の切り替えるユーザにその旨を通知する方法を説明する。本実施形態については、第1実施形態からの差分を中心に説明する。特に明記しない部分については第1実施形態と同じ構成および処理である。
<Second embodiment>
In the first embodiment, as the output control executed by the
本実施形態では、仮想カメラ1および仮想カメラ2の2台の仮想カメラが指定されており、通常撮像用カメラ1および通常撮像用カメラ2の2台のカメラが存在する場合について説明する。 In this embodiment, two virtual cameras, virtual camera 1 and virtual camera 2, are designated, and a case where two cameras, normal imaging camera 1 and normal imaging camera 2, exist will be described.
図6は、画像切替装置130のユーザが見ることが可能な表示部(不図示)に表示される画面601を表す図である。画面601が表示される不図示の表示部が、画像切替装置130に接続されているものとする。
FIG. 6 is a diagram showing a
画面601には、同時刻の仮想視点画像および撮像画像が表示される画面602~605が含まれる。例えば、オブジェクト303を2台の仮想カメラと2台の通常撮像用カメラの4台のカメラで同時に撮像しているような状態である場合、画面601が画像切替装置130の表示部(不図示)に表示される。画像切替装置130で出力する画像の切り替えを行うユーザは、画面601を見ながら、画像を選択してその画像が出力されるように画像の切り替えをすることができる。
The
画面602は通常撮像用カメラ1が撮像して得られた撮像画像を表示するための画面である。画面603は通常撮像用カメラ2が撮像して得られた撮像画像を表示するための画面である。画面604は仮想カメラ1からの見え表す仮想視点画像を表示するための画面である。画面605は仮想カメラ2からの見えを表す仮想視点画像を表示するための画面である。
A
画面604は、画像切替装置130から出力している画像を表示している画面である。即ち、画面604に表示されている画像はユーザの指示によって出力されている画像である。画面604は、他の画面602、603、605と比較して画面の枠の太さが強調ように表示制御される。図6上では表現されていないが、画面604は、他の画面と異なる着色がなされている。例えば、画面604は赤色の太枠で囲われる。このため、現在、画像切替装置130が出力している画像は画面604に表示されている画像であることをユーザが確認しやすくなる。
A
図6を用いて、出力制御部108の指示に基づき画像切替装置130で実行される、本実施形態の出力制御について説明する。前述したように、画像切替装置130を操作するユーザによって出力が指示されている画像は仮想カメラ1の仮想視点画像であるものとする。そして、通常撮像用カメラ1および通常撮像用カメラ2のうち、通常撮像用カメラ1は仮想カメラ1と視点が類似すると決定されたものとする。この場合、現在選択されている仮想カメラ1の画面604には、視点が類似する通常撮像用カメラが存在することを示す通知607が仮想視点画像に重畳して表示される。
Output control according to the present embodiment, which is executed by the
なお、画像切替装置130を操作するユーザへの通知607には、類似する通常撮像用カメラを特定するための情報が含まれていてもよい。即ち、通知607には、通常撮像用カメラ1が仮想カメラ1と視点が類似する旨が含まれていてもよい。
Note that the
また、ユーザへの通知方法としては、通知607に代えて、または通知607に追加して、ユーザに注意を喚起できるように音または光を出す機構を用いて音または光による通知を行ってもよい。
As a method of notifying the user, instead of the
本実施形態では、複数のカメラが存在する場合について説明をした。このため、第1実施形態で説明したように、出力制御部108は、視点比較テーブル500を生成して、視点比較テーブル500に基づき出力制御を行うように画像切替装置130に指示すればよい。
In this embodiment, the case where there are multiple cameras has been described. Therefore, as described in the first embodiment, the
または、仮想カメラおよび通常撮像用カメラはそれぞれ1台でもよい。その場合、図4のフローチャートにおいて、S405によって類似度に基づく出力制御をONにする指示された場合、画像切替装置130はユーザへ通知する。S406で類似度に基づく出力制御をOFFにする指示されたらユーザへの通知は行われないように制御される。
Alternatively, one virtual camera and one normal imaging camera may be provided. In this case, in the flowchart of FIG. 4, if an instruction to turn on output control based on similarity is given in S405, the
なお、画面601を表示する表示部は、画像処理装置100に接続されていてもよい。この場合、出力制御部108の指示に基づき画像処理装置100のCPU201が画面601を表示するように表示制御を行う。
Note that the display unit that displays the
以上説明したように本実施形態によれば、出力画像の切り替えは、ユーザの指示によって行われる。そのため、視点が類似する通常撮像用カメラがあっても、あえて出力を切り替えない等の切り替えるタイミングをユーザが調整することが可能となる。 As described above, according to the present embodiment, the output image is switched according to the user's instruction. Therefore, even if there are normal imaging cameras with similar viewpoints, it is possible for the user to adjust the switching timing, such as not switching the output.
<第3実施形態>
本実施形態では、所定の条件を満たす場合、類似度の算出をスキップして、類似度に基づく出力制御をOFFにするよう画像切替装置130に指示を行う方法を説明する。本実施形態については、第1実施形態からの差分を中心に説明する。特に明記しない部分については第1実施形態と同じ構成および処理である。第1実施形態との画像処理装置100の機能構成の差異は、類似度算出部107での処理が異なる点である。
<Third Embodiment>
In this embodiment, a method of instructing the
図7は、本実施形態における画像出力制御処理を説明するためのフローチャートである。図7のフローチャートで示される一連の処理は、画像処理装置100のCPU201がROM203に記憶されているプログラムコードをRAM202に展開し実行することにより行われる。S702~S707は、図4で示したS401~S406と同様の処理である。本実施形態では、S702~707を行う前に、S701において類似度算出部107は、視点の類似度の算出を実行しない条件(除外条件)を満たすかを判定する。
FIG. 7 is a flowchart for explaining image output control processing in this embodiment. A series of processes shown in the flowchart of FIG. 7 are performed by the
除外条件を満たす場合とは、例えば、仮想カメラを基準としたオブジェクトの相対速度があらかじめ定められた閾値を超える場合である。または、オブジェクトを表す領域が仮想視点画像全体に占める割合があらかじめ定められた閾値を下回る場合も除外条件を満たすと判定してもよい。 A case where the exclusion condition is satisfied is, for example, a case where the relative velocity of the object with respect to the virtual camera exceeds a predetermined threshold. Alternatively, it may be determined that the exclusion condition is satisfied when the ratio of the area representing the object to the entire virtual viewpoint image is below a predetermined threshold value.
仮想カメラの画角に通常撮像用カメラ120またはカメラマン308が含まれていても、オブジェクト303の動きが速い、またはオブジェクト303が占める割合が小さいなどの場合、視聴者は仮想視点画像の画質低下に気がつきにくい。このような場合、ユーザの指示どおりに画像が切り替えられて表示されればよいため、類似度に基づく出力制御はOFFとすることが好ましい。このため、本実施形態では除外条件を満たす場合(S701がYES)、S707に進む。S707はS406と同じ処理である。なお、第1実施形態の図4のフローチャートの処理と同様に、図7のフローチャートの処理は、一定の時間間隔で繰り返し実行される。
Even if the
図8は、仮想視点画像生成用カメラ群110の撮像範囲300を上から俯瞰して見た状態を示した図である。図8を用いて、S701の処理の一例として、仮想カメラを基準としたオブジェクトの相対速度があらかじめ定められた閾値を超える場合に、除外条件を満たすと判定する例を説明する。
FIG. 8 is a diagram showing a state in which the
図8において、通常撮像用カメラ120と仮想カメラ304とは、図3と同様に、同時にオブジェクト303を撮像している状態を表している。前述したとおりS701~S707は一定の時間間隔で繰り返し実行されている。位置801は、前回のS701の処理で求められた仮想カメラ304の位置であり、位置802は、今回のS701の処理で求められた仮想カメラ304の位置を示す。このように図8の仮想カメラ304は、移動しながらオブジェクト303を撮像しているように指定されたことを示している。図8では、オブジェクト303は前回のS701の処理時には位置803に存在しており、今回のS701の処理時には位置804に位置していたことを示している。
In FIG. 8, the
本例では、S701において類似度算出部107は、仮想カメラ304の位置を取得して保持する。このため、S701で除外条件を満たさないと判定した場合、本実施形態では、S704で仮想カメラ304の位置は決定されなくてもよい。また、S701では、仮想カメラの位置だけでなく仮想カメラの向きの情報を取得してもよい。この場合、S703はスキップしてもよい。
In this example, the
そして、S701において類似度算出部107は、仮想カメラの移動速度を算出する。図7のフローチャートのS701~S707が実行される一定の時間間隔はあらかじめ設定されているため、仮想カメラの位置の変化から仮想カメラの移動距離を算出することで、仮想カメラの移動速度を算出することができる。
Then, in S701, the
次に、S701において類似度算出部107は、オブジェクト303の位置を取得して、オブジェクト303の移動速度を算出する。仮想カメラと同様に、オブジェクト303の位置の変化から移動距離を算出することで、移動速度を算出することができる。
Next, in S<b>701 , the
仮想視点画像生成部103が仮想視点画像の生成処理を行うためにオブジェクトの三次元モデルを生成する過程で、オブジェクトの三次元モデルの世界座標上における位置が求まる。このため、類似度算出部107は、仮想視点画像生成部103からオブジェクトの位置の概略が取得可能である。
In the process of generating the three-dimensional model of the object in order for the virtual viewpoint
オブジェクトの三次元モデルが生成されない場合、仮想視点画像生成用カメラ群110のうちの複数台のカメラの画像からオブジェクトを識別する。そして、あらかじめ把握している各仮想視点画像生成用カメラの位置関係からオブジェクトの位置を算出することが可能である。画像からオブジェクトを識別する技術については限定しない。例えば、動く物体を背景と分離する技術、または予めオブジェクトを機械学習によって学習して識別する方法などを用いればよい。
When the three-dimensional model of the object is not generated, the object is identified from the images of a plurality of cameras in the virtual viewpoint image
そして、S701において類似度算出部107は、仮想カメラの移動速度およびオブジェクトの移動速度に基づき、仮想カメラを基準としたオブジェクトの相対速度を算出する。そして、類似度算出部107は、仮想カメラを基準としたオブジェクトの相対速度があらかじめ定められた閾値を超えるかを判定する。閾値を超える場合、除外条件を満たすと判定する。
Then, in S701, the
仮想カメラを基準としたオブジェクトの相対速度があらかじめ定められた閾値を超える場合、画像の視聴者は画質の低下に気がつきにくい。このため、上述の実施形態で説明した類似度に基づく出力制御を行う必要がない。このため、S701で除外条件を満たすと判定された場合、類似度に基づく出力制御をOFFにするよう出力制御部108が画像切替装置130に指示を行う。
When the relative velocity of the object with respect to the virtual camera exceeds a predetermined threshold, the viewer of the image is less likely to perceive the deterioration of the image quality. Therefore, it is not necessary to perform the output control based on the degree of similarity described in the above embodiment. Therefore, when it is determined in S701 that the exclusion condition is satisfied, the
なお、オブジェクトが2つ(2人)以上の場合は、例えば、全てのオブジェクトの相対速度を算出して、全ての相対速度が閾値を超えた場合、S701で除外条件を満たすと判定すればよい。または、仮想カメラの位置から所定の範囲内にいるオブジェクトの相対速度を算出して、算出した相対速度が全て閾値を超えた場合、S701で除外条件を満たすと判定すればよい。 If there are two objects (two people) or more, for example, the relative velocities of all the objects are calculated, and if the relative velocities of all the objects exceed the threshold, it is determined in S701 that the exclusion condition is satisfied. . Alternatively, the relative velocities of objects within a predetermined range from the position of the virtual camera may be calculated, and if all the calculated relative velocities exceed the threshold, it may be determined in S701 that the exclusion condition is satisfied.
図9は、仮想視点画像生成用カメラ群110の撮像範囲300を上から俯瞰して見た状態と、仮想カメラ304に対応する仮想視点画像901を示す図である。次に、図9を用いて、S701の処理の一例として、仮想視点画像におけるオブジェクトを表す領域の占める割合が閾値より小さい場合に、除外条件を満たすと判定する例を説明する。
FIG. 9 is a diagram showing a state in which the
図9では、通常撮像用カメラ120と仮想カメラ304とがオブジェクト303を同時に撮像している状態を示している。図9の仮想カメラ304は、仮想視点画像生成用カメラ群110の撮像範囲300の範囲外に位置するように指定されている。このように、仮想カメラ304は世界座標が定義されている領域内であれば仮想的にどこまでも移動することが可能である。そのため、仮想カメラ304の位置としては一般的な状態である。オブジェクト303に重なるような位置に、仮想カメラ304を移動させることも可能である。
FIG. 9 shows a state in which the
図9では、仮想カメラ304はオブジェクト303を撮像している状態であり、仮想視点画像901は、図9の仮想カメラ304の画角を示す画像である。図9の仮想カメラ304はオブジェクト303を、引きの状態で撮像しているため、仮想視点画像901上では画像全体に対するオブジェクト303が占める割合は小さい。仮想視点画像901のように、画像全体に対するオブジェクトが占める割合が小さい場合、視聴者は画質の低下に気がつきにくい。このため、仮想視点画像の全体に対して、仮想視点画像に含まれるオブジェクトを表す領域の占める割合が閾値より小さいと判定した場合、除外条件を満たすと判定して、S707に進む。
In FIG. 9, the
仮想視点画像(仮想カメラの画角)の画像全体に対するオブジェクトを表す領域が占める割合の算出は、例えば、仮想視点画像の生成処理の過程で実行することができる。具体的には、仮想視点画像生成部103は、オブジェクトの三次元モデルを生成したら、三次元モデルの外接する直方体の頂点を仮想視点画像の仮想カメラ座標側に透視投影変換する。このようにオブジェクトを表す領域が仮想視点画像全体に占める割合を求めることができる。この方法で得られたオブジェクトを表す領域が画像全体に占める割合は、仮想視点画像生成部103から出力されて、類似度算出部107が取得することができる。
The calculation of the ratio of the area representing the object to the entire image of the virtual viewpoint image (angle of view of the virtual camera) can be performed, for example, in the process of generating the virtual viewpoint image. Specifically, after generating the three-dimensional model of the object, the virtual viewpoint
または、類似度算出部107は、仮想視点画像を仮想視点画像生成部103から取得して、仮想視点画像からオブジェクトを識別する処理を行うことでオブジェクトを表す領域が仮想視点画像の全体に占める割合を決定してもよい。この場合、オブジェクトを抽出する方法は限定しない。例えば、前述したように、動く物体を背景と分離する技術、または予めオブジェクトを機械学習によって学習して識別する方法などを用いればよい。
Alternatively, the
または、類似度算出部107は、仮想カメラ304の画角(視界)、すなわち仮想視点画像901に通常撮像用カメラ120が含まれている場合に、類似しているとの判断をしてもよい。
Alternatively, the
このような判断がされる場合は、画像処理システムに通常撮像用カメラ120の位置を取得可能な機構が備わっており、その機構により取得可能であるとする。カメラの位置を取得する機構としては、予め撮影エリアに複数の反射マーカを設置し、その反射マーカを撮影することでカメラ自身の位置情報を算出する手段が挙げられる。取得した通常撮像用カメラ120の位置は、例えば仮想空間上の原点と、原点に設置したカメラ座標との関係から、対応関係を算出することで、カメラ座標を仮想空間上の座標に対応付けられる。また、通常撮像用カメラ120について仮想空間上の位置を算出し、その位置を仮想視点画像901に射影変換することで、仮想視点画像901の画角に含まれるかの判断が可能となる。
When such determination is made, it is assumed that the image processing system is provided with a mechanism capable of acquiring the position of the
また、仮想空間上でオブジェクトの一つとして三次元モデルとなっている通常撮像用カメラ120を、仮想カメラ304の画角に投影し、通常撮像用カメラ120の一部が仮想視点画像901に含まれるか否かで判断されてもよい。その他、仮想視点画像901そのものを画像データとしてオブジェクト認識処理を行い、通常撮像用カメラ120が識別された場合に、仮想視点画像901に通常撮像用カメラ120が含まれているとの判断が行われてもよい。もしくは、仮想視点画像901の画角全体ではなく、画角内のあらかじめ定められた所定範囲に対して、上記述べた通常撮像用カメラ120が含まれるかが判断されてもよい。
Also, the
このように仮想カメラ304の画角に対して通常撮像用カメラ120が含まれる場合に、出力制御部108は、類似度に基づく出力制御として通常撮像用カメラ120の映像を出力するように画像切替装置130に指示する。なお、仮想カメラ304の画角に通常撮像用カメラ120が含まれる場合に、類似度が高いものとして判定を行うと説明したが、これに限定されない。すなわち、類似度の判定に基づく処理とは独立して、仮想カメラ304の画角に通常撮像用カメラ120が含まれる場合に、出力画像を通常撮像用カメラ120の撮像画像に切り替える処理が行われてもよい。
In this way, when the
以下、図10を使用して、仮想カメラ304の画角に通常撮像用カメラ120が含まれる場合に、出力画像を通常撮像用カメラ120の撮像画像に切り替える処理について説明する。なお、図4と同様の処理ステップについては、同じ符号を付し、説明を省略する。また、以下では、仮想カメラ304の画角に通常撮像用カメラ120が含まれるかの判定が類似度算出部107において行われるものとするが、類似度算出部107とは別の処理部により行われる構成でもよい。
Processing for switching the output image to the image captured by the
S1001において、類似度算出部107は、仮想カメラ304の位置および向きを表す視点情報に基づき、仮想カメラ304の画角(視界)を特定する。また、類似度算出部107は、通常撮像用カメラ120の視点情報により表される、通常撮像用カメラ120の位置と、仮想カメラ304の画角との関係を算出する。
In S<b>1001 , the
S1002において、類似度算出部107は、S1002において算出した関係に基づき、通常撮像用カメラ120の位置が、仮想カメラ304の画角に含まれるかを判定する。このときの判定方法としては、例えば、通常撮像用カメラ120の位置座標が仮想カメラ304の画角に含まれるかを特定する、あるいは、仮想カメラ304に対応する仮想視点画像に通常撮像用カメラ120が含まれるかを特定する方法などが用いられる。
In S<b>1002 , the
含まれる場合、S1003において、出力制御部108は、画像切替装置130に対して出力制御をONにする。含まれない場合、S1004において、出力制御部108は、画像切替装置130に対して出力制御をOFFにする。なお、S1003及びS1004における処理は、それぞれS405及びS406と同様の処理であるものとする。
If included, the
以上説明した処理により、仮想カメラ304の画角に通常撮像用カメラ120が含まれる場合、出力画像が通常撮像用カメラ120の撮像画像に切り替わるため、仮想視点画像に通常撮像用カメラ120が映り込むことを抑制することができる。なお、図10で説明した処理に、さらに類似度による判定を組み合わせてもよい。
By the processing described above, when the
さらに、出力制御部108は、通常撮像用カメラ120の映像を出力するように切り替える際に、仮想視点画像生成部103に対して仮想カメラ304が通常撮像用カメラ120の位置に移動するように指示を行ってもよい。この時、仮想カメラ304が通常撮像用カメラ120の位置に到達した時点で、通常撮像用カメラ120の映像に切り替える。
Further, the
以上説明したように本実施形態によれば、出力される仮想視点画像の品質低下を抑制しながらユーザが指定した画像を出力する制御をすることができる。 As described above, according to the present embodiment, it is possible to control the output of an image specified by the user while suppressing deterioration in the quality of the output virtual viewpoint image.
<その他の実施形態>
上述した実施形態では、画像処理装置100と画像切替装置130とは別の装置であるものとして説明したが、画像切替装置130の機能が画像処理装置100に含まれていてもよい。
<Other embodiments>
In the above embodiment, the
本開示は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present disclosure provides a program that implements one or more functions of the above-described embodiments to a system or device via a network or storage medium, and one or more processors in a computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
100 画像処理装置
106 カメラ情報取得部
107 類似度算出部
108 出力制御部
100
Claims (16)
前記仮想視点画像又は前記第2の撮像装置が撮像して得られた撮像画像を出力する出力手段と、
前記第1の視点情報により特定される前記仮想視点の視界に、前記第2の視点情報により特定される前記第2の撮像装置の位置が含まれる場合、前記出力手段により前記第2の撮像装置が撮像して得られた前記撮像画像が出力されるように制御する制御手段と
を有することを特徴とする情報処理装置。 First viewpoint information for specifying a virtual viewpoint corresponding to a virtual viewpoint image, and a viewpoint of a second imaging device existing within an imaging range of the first imaging device used to generate the virtual viewpoint image an acquisition means for acquiring second viewpoint information representing
output means for outputting the virtual viewpoint image or the captured image obtained by capturing by the second imaging device;
When the field of view of the virtual viewpoint specified by the first viewpoint information includes the position of the second imaging device specified by the second viewpoint information, the second imaging device is selected by the output means. and control means for controlling such that the captured image obtained by imaging is output.
前記制御手段は、前記視点の類似度が閾値よりも高い場合、前記出力手段により前記第2の撮像装置が撮像して得られた前記撮像画像が出力されるように制御する
ことを特徴とする請求項1に記載の情報処理装置。 calculating means for calculating a similarity between viewpoints based on the first viewpoint information and the second viewpoint information;
When the similarity of the viewpoints is higher than a threshold, the control means performs control so that the captured image obtained by the second imaging device is output by the output means. The information processing device according to claim 1 .
前記仮想視点画像と前記第2の撮像装置が撮像して得られた前記撮像画像との画像の類似度を算出する算出手段と、
を有し、
前記制御手段は、前記画像の類似度が閾値よりも高い場合、前記出力手段により前記第2の撮像装置が撮像して得られた前記撮像画像が出力されるように制御する
ことを特徴とする請求項1に記載の情報処理装置。 image acquisition means for acquiring the virtual viewpoint image corresponding to the virtual viewpoint and the captured image obtained by capturing by the second imaging device;
a calculating means for calculating a degree of similarity between the virtual viewpoint image and the captured image captured by the second imaging device;
has
When the degree of similarity of the images is higher than a threshold, the control means controls the output means to output the captured image obtained by imaging by the second imaging device. The information processing device according to claim 1 .
前記第1の視点情報として、前記仮想視点の位置である第1の位置および前記仮想視点からの視線方向である第1の方向を取得し、前記第2の視点情報として、前記第2の撮像装置の位置である第2の位置および前記第2の撮像装置の向きの方向である第2の方向を取得し、
前記算出手段は、
前記第1の位置から前記第2の位置までの距離および第1の方向と前記第2の方向との差を表す角度を算出する
ことを特徴とする請求項2又は3に記載の情報処理装置。 The acquisition means is
A first position that is the position of the virtual viewpoint and a first direction that is a line-of-sight direction from the virtual viewpoint are obtained as the first viewpoint information, and the second imaging is performed as the second viewpoint information. obtaining a second position, which is the position of the device, and a second direction, which is the orientation direction of the second imaging device;
The calculation means is
4. The information processing apparatus according to claim 2, wherein an angle representing a distance from said first position to said second position and a difference between said first direction and said second direction is calculated. .
前記第2の撮像装置が撮像して得られた前記撮像画像と前記仮想視点画像との何れかをユーザの指示によって切り替えて出力することが可能な前記出力手段に、前記類似度に応じた制御が行われるように指示する
ことを特徴とする請求項2から4のいずれか1項に記載の情報処理装置。 The control means is
Control according to the degree of similarity to the output means capable of switching and outputting either the captured image obtained by imaging by the second imaging device or the virtual viewpoint image according to a user's instruction. 5. The information processing apparatus according to any one of claims 2 to 4, wherein an instruction is given so that the
前記第2の撮像装置が複数ある場合、複数の第2の撮像装置の夫々の視点と前記仮想視点との類似度が閾値よりも高いかを判定する
ことを特徴とする請求項2から5のいずれか1項に記載の情報処理装置。 The control means is
6. The method according to any one of claims 2 to 5, wherein when there are a plurality of said second imaging devices, it is determined whether the degree of similarity between each viewpoint of said plurality of second imaging devices and said virtual viewpoint is higher than a threshold. The information processing apparatus according to any one of items 1 and 2.
前記類似度が閾値よりも高い前記第2の撮像装置が複数ある場合、前記複数の第2の撮像装置のうちいずれかの第2の撮像装置が撮像して得られた撮像画像が出力されるように制御する
ことを特徴とする請求項6に記載の情報処理装置。 The control means is
When there are a plurality of the second imaging devices with the degree of similarity higher than a threshold, a captured image obtained by imaging by one of the plurality of second imaging devices is output. 7. The information processing apparatus according to claim 6, wherein control is performed so as to:
前記制御手段は、
前記仮想視点と前記第2の撮像装置の視点との類似度が閾値よりも高い場合、前記仮想視点画像が出力されている場合は前記第2の撮像装置が撮像して得られた前記撮像画像に出力を切り替え、前記ユーザが前記第2の撮像装置が撮像して得られた前記撮像画像から前記仮想視点画像に出力画像を切り替える指示をした場合でも該指示によらないで前記第2の撮像装置が撮像して得られた前記撮像画像を出力する制御が行われるように前記出力手段に指示する
ことを特徴とする請求項2から7のいずれか1項に記載の情報処理装置。 a receiving means for receiving an instruction from a user to switch an image output by the output means;
The control means is
When the similarity between the virtual viewpoint and the viewpoint of the second imaging device is higher than a threshold, and the virtual viewpoint image is output, the captured image obtained by imaging by the second imaging device. and even if the user instructs to switch the output image from the captured image obtained by imaging by the second imaging device to the virtual viewpoint image, the second imaging is performed without following the instruction. 8. The information processing apparatus according to any one of claims 2 to 7, wherein the output means is instructed to perform control for outputting the captured image obtained by imaging by the apparatus.
所定の条件を満たす場合、前記類似度に基づかない制御を行う
ことを特徴とする請求項2から8のいずれか1項に記載の情報処理装置。 The control means is
The information processing apparatus according to any one of claims 2 to 8, wherein control not based on the degree of similarity is performed when a predetermined condition is satisfied.
前記所定の条件を満たす場合は、前記仮想視点を基準とした前記オブジェクトの相対速度が所定の値よりも大きい場合である
ことを特徴とする請求項9に記載の情報処理装置。 the imaging range includes an object;
10. The information processing apparatus according to claim 9, wherein when the predetermined condition is satisfied, the relative speed of the object with respect to the virtual viewpoint is greater than a predetermined value.
前記所定の条件を満たす場合は、前記仮想視点画像における前記オブジェクトの占める割合が所定の値より小さい場合である
ことを特徴とする請求項9又は10に記載の情報処理装置。 the imaging range includes an object;
11. The information processing apparatus according to claim 9, wherein the predetermined condition is satisfied when the proportion of the object in the virtual viewpoint image is smaller than a predetermined value.
ユーザの指示に基づき、前記仮想視点画像又は前記第2の撮像装置が撮像して得られた前記撮像画像を出力し、
前記制御手段は、
前記第1の視点情報により特定される前記仮想視点の視界に、前記第2の視点情報により特定される前記第2の撮像装置の位置が含まれる場合、前記ユーザに所定の通知がされるように制御を行う
ことを特徴とする請求項1から11のいずれか1項に記載の情報処理装置。 The output means is
outputting the virtual viewpoint image or the captured image obtained by imaging by the second imaging device based on a user's instruction;
The control means is
When the field of view of the virtual viewpoint specified by the first viewpoint information includes the position of the second imaging device specified by the second viewpoint information, a predetermined notification is sent to the user. 12. The information processing apparatus according to any one of claims 1 to 11, wherein control is performed to
ことを特徴とする請求項12に記載の情報処理装置。 The predetermined notification includes information indicating that the field of view of the virtual viewpoint specified by the first viewpoint information includes the position of the second imaging device specified by the second viewpoint information. 13. The information processing apparatus according to claim 12, which is a notification.
ことを特徴とする請求項1から13のいずれか1項に記載の情報処理装置。 When the virtual viewpoint image includes an image representing the second imaging device, the control means causes the output means to output the captured image obtained by imaging by the second imaging device. The information processing apparatus according to any one of claims 1 to 13, characterized by controlling.
前記仮想視点画像又は前記第2の撮像装置が撮像して得られた撮像画像を出力する出力ステップと、
前記第1の視点情報により特定される前記仮想視点の視界に、前記第2の視点情報により特定される前記第2の撮像装置の位置が含まれる場合、前記出力ステップにより前記第2の撮像装置が撮像して得られた前記撮像画像が出力されるように制御する制御ステップと
を有することを特徴とする情報処理方法。 First viewpoint information for specifying a virtual viewpoint corresponding to a virtual viewpoint image, and a viewpoint of a second imaging device existing within an imaging range of the first imaging device used to generate the virtual viewpoint image an obtaining step of obtaining second viewpoint information representing
an output step of outputting the virtual viewpoint image or the captured image obtained by capturing by the second imaging device;
When the field of view of the virtual viewpoint specified by the first viewpoint information includes the position of the second imaging device specified by the second viewpoint information, the second imaging device is selected in the output step. and a control step of controlling so that the captured image obtained by imaging is output.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/832,754 US20220408069A1 (en) | 2021-06-21 | 2022-06-06 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021102465 | 2021-06-21 | ||
JP2021102465 | 2021-06-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023001850A true JP2023001850A (en) | 2023-01-06 |
Family
ID=84688653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022009393A Pending JP2023001850A (en) | 2021-06-21 | 2022-01-25 | Information processing apparatus, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023001850A (en) |
-
2022
- 2022-01-25 JP JP2022009393A patent/JP2023001850A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7051457B2 (en) | Image processing equipment, image processing methods, and programs | |
JP5233926B2 (en) | Fisheye monitoring system | |
CN114245905A (en) | Depth aware photo editing | |
KR20170031733A (en) | Technologies for adjusting a perspective of a captured image for display | |
US11303823B2 (en) | Camera array for a mediated-reality system | |
JP2016144089A (en) | Image processing apparatus and control method therefor | |
KR20140100656A (en) | Point video offer device using omnidirectional imaging and 3-dimensional data and method | |
US20200267369A1 (en) | Point cloud data communication system, point cloud data transmitting apparatus, and point cloud data transmission method | |
US20210056662A1 (en) | Image processing apparatus, image processing method, and storage medium | |
CN108629799B (en) | Method and equipment for realizing augmented reality | |
US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP5963006B2 (en) | Image conversion apparatus, camera, video system, image conversion method, and recording medium recording program | |
KR101649752B1 (en) | Generating method for multiview image using interface with image matrix and generating system for multiview image | |
JP2018113683A (en) | Image processing apparatus, image processing method, and program | |
JP2020052979A (en) | Information processing device and program | |
CN113286138A (en) | Panoramic video display method and display equipment | |
KR20130018004A (en) | Method and system for body tracking for spatial gesture recognition | |
US11468258B2 (en) | Information processing apparatus, information processing method, and storage medium | |
CN111176425A (en) | Multi-screen operation method and electronic system using same | |
JP2009212582A (en) | Feedback system for virtual studio | |
JP2023001850A (en) | Information processing apparatus, information processing method, and program | |
JP2006294066A (en) | Image processor, image processing method, recording medium, computer program, and semiconductor device | |
JP2017123589A (en) | Information processing apparatus, information processing method, and video projection system | |
US20220408069A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2022012398A (en) | Information processor, information processing method, and program |