JP2022158487A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】複数の撮像装置の中から、所望の視点から撮像した撮像装置を探す手間が発生すること。【解決手段】画像処理装置は、撮像空間を複数の方向から撮像する複数の撮像装置のうち、前記撮像空間の所定の位置を撮像した撮像装置を特定する特定部２０８と、特定部２０８により特定された二以上の撮像装置に基づく複数の視点を設定するカメラパス設定部２０９と、前記複数の撮像装置が撮像することにより得られた複数の撮像画像を用いて生成された三次元形状データに基づき、前記複数の視点に対応する複数の視点画像を生成する仮想視点画像生成部２０４と、前記複数の視点画像のうちユーザが指定した視点画像に対応する視点の位置から近い撮像装置を、特定部２０８により特定された二以上の撮像装置の中から選択する撮像装置選択部２１２と、を有する。【選択図】図２

Description

本開示の技術は、撮像画像に基づく画像処理に関する。

スポーツ競技では、撮像画像を用いたビデオ判定が行われることがある。

特許文献１には、２台のカメラを、スポーツ競技におけるオフサイドの判定に用いることが開示されている。

特開２００２－２２４２６０号公報

スポーツ競技が行われる競技場にカメラを複数設置して、複数のカメラの中から、スポーツ競技における反則等の判定に有用な画像の撮像に用いられたカメラを選択して、そのカメラの撮像画像を用いて当該判定を行う方法が考えられる。しかしながら、カメラの台数が増えると、当該判定に有用な画像の撮像に用いられたカメラを探すのに手間が発生する。

本開示の技術は、複数の撮像装置の中から、所望の視点から撮像した撮像装置を探す手間を低減することを目的とする。

本開示の画像処理装置は、撮像空間を複数の方向から撮像する複数の撮像装置のうち、前記撮像空間における所定の位置を撮像する二以上の撮像装置を特定する特定手段と、前記特定手段により特定された二以上の撮像装置に基づく複数の視点を設定する設定手段と、前記複数の撮像装置が撮像することにより得られた複数の撮像画像を用いて生成された三次元形状データに基づき、前記複数の視点に対応する複数の視点画像を生成する生成手段と、前記複数の視点画像のうちユーザにより指定された視点画像に対応する視点の位置及び視点からの視線方向の少なくとも一方に基づいて、前記特定手段により特定された二以上の撮像装置の中から撮像装置を選択する選択手段と、を有することを特徴とする。

本開示の技術によれば、複数の撮像装置の中から、所望の視点から撮像した撮像装置を探す手間を低減することができる。

画像処理装置のハードウェア構成を説明する図。 画像処理装置の機能構成を説明する図。 撮像装置群の配置を説明する図。 撮像装置群の視点情報を説明する図。 画像処理装置の処理手順を説明するフローチャート。 カメラパスを説明する図。 カメラパスの生成処理を説明するフローチャート。 トリミングを説明する図。 撮像装置の姿勢の調整を説明する図。 撮像装置の位置の調整を説明する図。

以下、添付の図面を参照して、実施形態に基づいて本開示の技術の詳細を説明する。以下の実施形態は、本開示の技術を実施するにあたっての具体化の例を示したものに過ぎず、本開示の技術的範囲が限定的に解釈されるものではない。本開示の技術はその技術思想又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

＜実施形態１＞
［ハードウェア構成］
図１は、本実施形態の画像処理装置１のハードウェア構成を説明するための図である。画像処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、操作部１０６、表示部１０５、補助記憶装置１０４、通信Ｉ／Ｆ１０７、及びバス１０８を有する。

ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納されているコンピュータプログラムやデータを用いて画像処理装置の全体を制御することで、画像処理装置１の各機能を実現する。なお、画像処理装置がＣＰＵ１０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ１０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ１０３は、補助記憶装置１０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ１０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示部１０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが画像処理装置を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部１０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１０１に入力する。

通信Ｉ／Ｆ１０７は、画像処理装置１の外部の装置との通信に用いられる。例えば、画像処理装置１が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１０７に接続される。画像処理装置１が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１０７はアンテナを備える。バス１０８は、画像処理装置１の各部をつないで情報を伝達する。

［機能構成］
図２は、画像処理装置１の機能構成を説明する図である。画像処理装置１は、撮像画像取得部２０１、三次元モデル生成部２０２、三次元モデル管理部２０３、仮想視点画像生成部２０４、仮想視点画像表示制御部２０５、撮像画像管理部２０６、判定対象指定部２０７、特定部２０８を有する。さらに、カメラパス設定部２０９、視点指定部２１０、視点情報管理部２１１、撮像装置選択部２１２、選択画像取得部２１３、撮像画像表示制御部２１４を有する。

本実施形態の画像処理装置１は、仮想視点画像を生成することが可能な画像処理装置である。仮想視点画像とは、実際に設置されている撮像装置の位置及び姿勢とは異なる実在しない撮像装置の視点（仮想視点ともいう）から見た画像であり、自由視点画像や任意視点画像とも呼ばれる。仮想視点画像は、動画であっても、静止画であってもよい。

撮像画像取得部２０１は、撮像装置群３０１（図３参照）が時刻同期し、撮像して得られた撮像画像を取得する。

図３は、撮像装置群３０１を説明するための図である。撮像装置群３０１は、撮像空間３０２を撮像する複数の撮像装置であり、例えば、静止画像及び動画像等の撮像画像を撮像可能な複数のデジタルカメラである。撮像空間３０２は、例えば、バスケットボールの試合が行われるスタジアムのフィールドである。図３に示すように撮像空間３０２がスタジアムのフィールドの場合、撮像装置群３０１は、スタジアムのフィールドの周囲に配置され、フィールドを様々な角度から時刻同期して撮像する。その結果、同時刻の複数視点の撮像画像が得られる。

撮像画像取得部２０１が取得した複数の撮像画像は、三次元モデル生成部２０２および撮像画像管理部２０６へ出力される。それぞれの撮像画像には撮像した撮像装置を示す識別子と撮像時刻が補助情報として付加されている。撮像画像管理部２０６は取得された撮像画像を記憶部に記憶して管理する。撮像画像管理部２０６は、例えば、大量の画像を管理できるようにＳＳＤやＨＤＤから構成される記憶部で画像を管理する。

三次元モデル生成部２０２は、同時刻の複数の撮像画像に基づき、撮像空間３０２内のオブジェクトの三次元モデルを生成する。オブジェクトは、選手、審判、ボールなどである。三次元モデル生成部２０２は、例えば視体積交差法によって三次元モデルを生成する。三次元モデル管理部２０３は生成された三次元モデルを記憶部に記憶して管理する。三次元モデル管理部２０３が管理する三次元モデルは、撮像画像管理部２０６が管理する撮像画像に比べてデータ量は少ない。このため、三次元モデルは、撮像画像管理部２０６用いる記憶部よりも高速なアクセスが可能なデータベース上に記憶されて管理されうる。

視点情報管理部２１１は、撮像装置群３０１に含まれる夫々の撮像装置の視点情報を管理する。視点とは撮像装置の位置、および姿勢（視点の位置からの視線方向）等を表し、視点情報には少なくとも焦点距離、位置、姿勢を夫々表すパラメータが含まれる。

図４は、撮像装置群３０１に含まれる夫々の撮像装置の視点情報を管理するためのテーブルを示す図である。図４のテーブルの各行には、撮像装置群３０１に含まれる撮像装置ごとの視点情報が保持されている。カメラ識別子は、撮像装置を一意に識別する識別情報である。焦点距離、位置、姿勢は、識別子が示す撮像装置に関する視点情報である。例えば、撮像装置の位置は撮像空間３０２内の座標（ｘ，ｙ，ｚ）で管理される。また、撮像装置の姿勢はクオータニオン（Ｗ，Ｘ，Ｙ，Ｚ）で管理される。

判定対象指定部２０７は、ユーザが指定した撮像空間３０２内の位置を指定する。

特定部２０８は、撮像装置群３０１の中から判定対象指定部２０７が指定した位置を撮像範囲に含む撮像装置を特定する。本実施形態では、特定部２０８は、複数の撮像装置のうち、撮像空間における指定された位置を撮像する二以上の撮像装置を特定するものとして説明する。

カメラパス設定部２０９は、特定部２０８が特定した撮像装置の視点に基づく複数の視点を設定する。設定された複数の視点を並べたものをカメラパスとよぶ。カメラパスについては後述する。

視点指定部２１０は、カメラパス設定部２０９が設定したカメラパスを構成する複数の視点から、１つの視点を指定し、仮想視点画像生成部２０４へ出力する。仮想視点画像生成部２０４は、三次元モデルをレンダリングし、視点指定部２１０が指定した視点から見えを表す画像である視点画像を生成する。視点の指定と、指定された視点からの仮想視点画像の生成を繰り返すことで、カメラパスをそって移動する視点からの見えを表す視点画像が生成される。仮想視点画像表示制御部２０５は生成された視点画像を表示部１０５に表示する。視点指定部２１０が指定する視点は撮像装置の視点であることもあるが、説明の便宜上、仮想視点画像生成部２０４が生成する画像を仮想視点画像とも呼ぶ。

撮像装置選択部２１２は、撮像装置群３０１から撮像装置を選択する。ユーザは、表示部１０５に表示された視点画像のうち、所望の場面を表している視点画像が表示された場合にその視点画像を指定する。撮像装置選択部２１２は、ユーザが指定した視点画像の生成時に用いられた視点に基づき撮像装置を選択する。なお、撮像装置選択部２１２が選択する撮像装置は１つに限られない。

選択画像取得部２１３は、撮像装置選択部２１２が選択した撮像装置が撮像して得られた撮像画像を撮像画像管理部２０６から取得する。撮像画像表示制御部２１４は、選択画像取得部２１３が取得した画像を表示部１０５に表示する制御をする。

図２の各部の機能は、画像処理装置１のＣＰＵがＲＯＭに記憶されているプログラムコードをＲＡＭに展開し実行することにより実現される。または、図２の各部の一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。

［撮像装置の選択処理について］
図５は、画像処理装置１の処理手順を説明するフローチャートである。図５のフローチャートで示される一連の処理は、画像処理装置１のＣＰＵがＲＯＭに記憶されているプログラムコードをＲＡＭに展開し実行することにより行われる。また、図５におけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。

本実施形態の画像処理装置１は、スポーツ競技の審判の判定を補助するための画像処理装置であり、撮像装置群３０１の中から、当該判定に有用な撮像画像を撮像した撮像装置を選択する処理を行う。

Ｓ５０１において判定対象指定部２０７は、ユーザの入力に応じて撮像空間３０２内の判定対象の位置を指定する。例えば、複数の選手が関わる場面についてユーザが撮像画像に基づく判定（ビデオ判定）を行う場合、その複数の選手の中心位置が判定対象として入力される。または、ゴールの位置なども判定対象の位置にもなり得る。例えば、ユーザが操作部１０６を操作して判定対象の位置の座標を入力することで判定対象が指定される。

Ｓ５０２において特定部２０８は、撮像空間３０２を撮像する撮像装置群３０１の中から、Ｓ５０１で指定された判定対象を撮像範囲に含む撮像装置を特定する。特定部２０８は、例えば、透視投影モデルを用いて、判定対象が夫々の撮像装置の撮像範囲に投影されるか否かを算出することで、判定対象を撮像範囲に含む撮像装置を特定する。なお、特定部２０８は、判定対象を撮像範囲に含む撮像装置のうち、判定対象が撮像範囲の中央（画像中心から所定の距離の範囲内）に投影される撮像装置のみを選択することで特定をしてもよい。

Ｓ５０３においてカメラパス設定部２０９は、カメラパスを設定する。カメラパスは、視点を複数並べたものであり、複数の視点で構成される。視点には実際の撮像装置の視点以外の視点である仮想視点も含まれる。

図６は、カメラパス６０２を説明するための図である。視点３０１ａ～３０１ｊは、Ｓ５０２で撮像装置群３０１から特定された撮像装置の視点（位置および姿勢）である。このように本ステップで生成されるカメラパスには、Ｓ５０２で特定された撮像装置に基づく視点が含まれる。なお、図６の視点３０１ａ～３０１ｊは、Ｓ５０２で特定された撮像装置の視点を表すが、後述するように、Ｓ５０２で特定された撮像装置の視点３０１ａ～３０１ｊは調整され、調整後の視点がカメラパスに含まれる場合もある。

図６の視点６０３は、隣り合う視点の間を補間する視点である。図６では、補間のために設定された視点の一部は省略して記載している。このように、カメラパス設定部２０９は、原則として、選択された撮像装置に基づく視点と、撮像装置に基づく視点を補間する視点と、で構成され、判定対象６０１の周りを１周するようなカメラパス６０２を設定する。なお、ユーザの指示により視点の補間は行なわないことがある。カメラパスを設定する手順の詳細は後述する。

次のＳ５０４～Ｓ５０８はループ処理であり、撮像装置群３０１が撮像して得られた撮像画像に基づき、１フレーム分の仮想視点画像を生成して表示するステップである。即ち、カメラパスを構成する視点から１つ視点が選択され、その視点からの見えを表す仮想視点画像が生成されて表示される。生成された仮想視点画像が表示された後、ユーザが確認の指示をしない場合は、再度、カメラパスを構成する視点から次の視点が選択され、その視点からの見えを表す仮想視点画像が生成されて表示される処理が繰り返される。Ｓ５０４～Ｓ５０８の処理を繰り返すことで、表示部１０５には、Ｓ５０３で設定されたカメラパスにそって移動する視点からの見えを表す仮想視点画像が表示される。

Ｓ５０４において視点指定部２１０は、Ｓ５０３で設定されたカメラパスを構成する視点から１つ視点を指定する。また、次のループ処理におけるＳ５０４の処理では、視点指定部２１０は、カメラパスを構成する視点のうち前回指定した視点の隣の視点を時計回りで順に指定する。または、視点指定部２１０は、ユーザの操作に応じてカメラパスを構成する視点を移動して、視点を指定してもよい。

Ｓ５０５において視点指定部２１０は、仮想視点画像を生成する対象の時刻を指定する。例えば、ユーザが予めビデオ判定の対象とする場面の時刻を指定している場合は、その時刻を指定する。そして、次のループ処理におけるＳ５０５の処理では、前回指定した時刻よりも所定の時間だけ進めた時刻を指定する。例えば、次のループ処理におけるＳ５０５の処理では、前回指定した時刻から１フレーム分、進めた時刻を指定する。または前回指定した時刻よりも時刻を遅らせて指定してもよい。このようにユーザの操作に応じて、仮想視点画像を生成する対象の時刻を前後させ指定する。視点指定部２１０が指定する時刻を変えることで、ユーザが指定した時刻が確認したかった場面の時刻でなかった場合でも、確認したかった場面の時刻の仮想視点画像が生成されるようにすることができる。または、次のループ処理でも前回と同じ時刻を指定し続けてもよい。

Ｓ５０６において仮想視点画像生成部２０４は、Ｓ５０５で指定された時刻における、Ｓ５０４で指定された視点からの見えを表す画像である仮想視点画像を生成する。はじめに、仮想視点画像生成部２０４は、撮像空間３０２内のオブジェクトの三次元形状を示す三次元モデル（三次元形状データとも記す）を三次元モデル管理部２０３から取得する。

三次元モデルの生成は、三次元モデル生成部２０２によって、例えば次のとおりに行われる。まず、撮像画像管理部２０６が管理している撮像装置群３０１の動画像から、生成対象の時刻の撮像画像（フレーム）をそれぞれ取得する。取得した複数視点の１フレーム分の撮像画像からオブジェクトの領域を検出する。オブジェクトを検出する処理は、例えば、背景画像との差分に基づき検出する。そして、オブジェクトの形状を示すシルエット画像と、撮像画像から切り出されたオブジェクトのテクスチャを表すテクスチャ画像と、を生成する。そして、例えば視体積交差法により、シルエット画像を用いて生成対象の時刻のオブジェクトの三次元モデルを生成する。この際に、撮像装置群３０１の視点情報が必要になるため、視点情報管理部２１１が管理している実カメラパラメータを使用する。

本実施形態では、撮像装置群３０１による撮像と平行して、三次元モデル生成部２０２は、三次元モデルを生成しており、生成された三次元モデルは、三次元モデル管理部２０３が、記憶部に記憶して管理している。このため、Ｓ５０６において仮想視点画像生成部２０４は、Ｓ５０５で指定された時刻における三次元モデルを三次元モデル管理部２０３から取得することができる。

なお、三次元モデルは予め生成するのではなく、三次元モデル生成部２０２は、Ｓ５０５で指定された時刻における撮像画像を取得して、本ステップで三次元モデルを生成してもよい。この場合、Ｓ５０５で前回のループ処理時と同じ時刻が指定された場合は、本ステップでは、前回生成された三次元モデルを取得して、取得された三次元モデルに基づき仮想視点画像を生成できる。このため三次元モデルは１回生成されればよいため、Ｓ５０５で前回と同じ時刻を指定する場合、仮想視点画像の生成処理の負荷を低減できる。

次に、仮想視点画像生成部２０４は、Ｓ５０４で指定された視点から見た画像になるようにオブジェクトの三次元モデルをレンダリングする。具体的には、Ｓ５０４で指定された視点から見た三次元モデルに対して、Ｓ５０５で指定された時刻のテクスチャ画像を用いて着色処理する。こうして１フレーム分の仮想視点画像が生成される。

Ｓ５０７において仮想視点画像表示制御部２０５は、Ｓ５０６で生成された仮想視点画像を表示部１０５に表示する。仮想視点画像表示制御部２０５は、Ｓ５０４で指定された視点（表示している仮想視点画像に対応する視点）が、撮像装置群３０１のいずれかの撮像装置の視点に近いことをユーザが識別することができるように所定の情報等を合わせて表示してもよい。

Ｓ５０８において視点指定部２１０は、ユーザの確認（指定）を受け付けたかを判定する。ユーザは、表示部１０５に現在、表示されている仮想視点画像に確認したい場面（反則の場面など）が含まれており、その仮想視点画像が所望の視点からの画像であることを確認した場合、操作部１０６を介して確認したことを示す所定の入力を行う。例えば、仮想視点画像が表示されてから所定の時間が経過するまでに、ユーザが所定の入力が行わなかった場合、ユーザの確認が受け付けられなかったと判定されてもよい。または、視点指定部２１０は、仮想視点画像に確認したい場面が含まれていなかった場合、その旨を示す入力をユーザから受け付けてもよい。

ユーザの確認が受け付けられなかった場合（Ｓ５０８がＮＯ）、Ｓ５０４に戻り、S５０４で視点指定部２１０は、カメラパスを構成する視点から次の視点を指定してＳ５０５～Ｓ５０８を繰り返す。

一方、ユーザの確認を受け付けた場合（Ｓ５０８がＹＥＳ）、Ｓ５０９へ進む。Ｓ５０９において撮像装置選択部２１２は、Ｓ５０４で指定された視点に最も近い位置に存在する撮像装置を、Ｓ５０２で特定部２０８が特定した撮像装置の中から選択する。即ち、仮想視点画像表示制御部２０５が、表示部１０５に現在表示している仮想視点画像の生成に用いられた視点に最も近い位置に存在する撮像装置が、Ｓ５０２で特定された撮像装置の中から選択される。なお、撮像装置の選択方法はこれに限定されず、例えば指定された視点からの視線方向と最も近い撮像方向を撮像する撮像装置が選択されてもよい。また例えば、選択された視点の位置及び視点からの視線方向の両方のパラメータについて撮像装置の位置及び撮像方向と比較し、両方のパラメータの差分を考量して、差分が最も小さい撮像装置が選択されてもよい。このように、選択された視点の位置及び視点からの視線方向の少なくとも一方に基づいて、撮像装置が選択されうる。

例えば、Ｓ５０３で図６のカメラパス６０２が生成された場合、カメラパス６０２を構成する視点から視点６０３ａが指定され、その視点から見た仮想視点画像を表示している際に、ユーザの確認を受け付けたとする。この場合、Ｓ５０２で特定された撮像装置の視点３０１ａ～３０１ｊのうち、視点６０３ａに最も近い視点３０１ａを有する撮像装置が選択される。

なお、本ステップで選択される撮像装置は１つに限られない。例えば、ユーザが指定した仮想視点画像に対応する視点から近い順に撮像装置を所定数（例えば２つ）の撮像装置が選択されてもよい。他にも例えば、指定された視点が２つの撮像装置を補間する視点である場合、撮像装置選択部２１２は、その２つの撮像装置を選択してもよい。図６のカメラパス６０２の場合、例えば、指定された視点６０３ａが撮像装置の視点３０１ａと３０２ｂとの間を補間する視点である場合、撮像装置選択部２１２は、視点３０１ａと３０２ｂを有する２つ撮像装置を本ステップで選択してもよい。また例えば、選択された視点の位置及び視点からの視線方向との少なくとも一方について、撮像装置の位置及び撮像方向との差分が所定の閾値以下である一以上の撮像装置が選択されてもよい。

Ｓ５１０において選択画像取得部２１３は、撮像装置選択部２１２が選択した撮像装置の撮像画像であってＳ５０５で指定された時刻の撮像画像を、撮像画像管理部２０６から取得する。即ち、Ｓ５０８でユーザの確認を受け付けた際に表示部１０５に表示されていた仮想視点画像に対応する時刻の撮像画像が取得される。他にも撮像装置選択部２１２が選択した撮像装置の撮像画像のうち、Ｓ５０５で指定された時刻を含む時間帯に対応する複数の撮像画像を取得してもよい。

Ｓ５１１において撮像画像表示制御部２１４は、Ｓ５１０で取得された画像を表示する。なお、撮像画像表示制御部２１４は、表示部１０５とは異なる表示部に、Ｓ５１０で取得された画像を表示してもよい。撮像装置選択部２１２が選択した撮像装置は、ユーザが確認したい場面を所望の視点と同じまたは近い視点から撮像している撮像装置である。このため、ビデオ判定に有用な撮像画像を表示することができる。

［カメラパス設定処理について］
図７は、Ｓ５０３におけるカメラパスの設定処理の詳細を説明するフローチャートである。

ユーザは、仮想視点画像の生成に用いられるカメラパスに係る指示を、操作部１０６を介して入力している。Ｓ７０１においてカメラパス設定部２０９は、カメラパスに係るユーザの指示を取得する。ユーザの指示には、例えば少なくとも次の３つの項目が含まれる。
・特定部２０８が特定した撮像装置の姿勢を示すパラメータを調整するか。
・特定部２０８が特定した撮像装置の位置を示すパラメータを調整するか。
・撮像装置間の視点を補間するか。

図６のカメラパス６０２は、特定部２０８が特定した撮像装置の位置および姿勢の調整が行われていないで生成されたカメラパスの例である。ユーザの所望の視点からの撮像している撮像装置をより正確に選択するには、特定部２０８が特定した撮像装置の位置姿勢のパラメータは調整しない方が好ましい。しかしながら、特定部２０８が特定した撮像装置は、夫々離れた位置に、様々な方向を向いている場合がある。この場合、特定された撮像装置の視点をつなげたカメラパスからの見えを表す仮想視点画像を生成すると、仮想視点画像の変化が大きく、ユーザの確認作業が困難となることがある。

そこで本実施形態では、図６のようなカメラパス６０２の他に、特定部２０８が特定した撮像装置の姿勢および位置を表すパラメータを調整して、調整後のパラメータが表す視点を補間してカメラパスを設定できる。また、図６のカメラパス６０２は、特定部２０８が特定した撮像装置の視点を補間して設定されたカメラパスの例であるが、本実施形態ではユーザの指示により、視点を補間しないでカメラパスを設定できる。

Ｓ７０２においてカメラパス設定部２０９は、Ｓ７０１で取得したユーザの指示を示す入力値に、姿勢を示すパラメータを調整する指示が含まれているか判定する。入力値に姿勢のパラメータを調整する指示が含まれている場合（Ｓ７０２がＹＥＳ）、Ｓ７０３へ進む。

Ｓ７０３においてカメラパス設定部２０９は、Ｓ５０２で特定された夫々の撮像装置の撮像範囲の一部をトリミングする領域を導出する。トリミングされた領域を示す画像をトリミング画像とよぶ。夫々の撮像装置の撮像範囲からトリミングして得られた夫々のトリミング画像には、Ｓ５０１で指定された判定対象が同じ座標に投影されるように、トリミングする領域が導出される。

図８は、トリミング画像を説明するための図である。画像８０１ａ～ｃは、Ｓ５０２で特定された撮像装置の夫々の撮像範囲を表す画像である。つまり、画像８０１ａ～ｃは、それぞれ異なる撮像装置の撮像範囲を表す。

位置７０１ａ～７０１ｃは、夫々の画像８０１ａ～ｃ上の判定対象６０１の位置である。Ｓ５０２で特定された撮像装置は、それぞれ位置および姿勢が異なるため、画像８０１ａ～ｃにおいて判定対象６０１はそれぞれ異なる座標に投影される。

図８のトリミング画像８０２ａは、画像８０１ａからトリミングされる領域を表す画像である。同様に、トリミング画像８０２ｂは画像８０１ｂから、トリミング画像８０２ｃは画像８０１ｃから、それぞれトリミングされる領域を表す。トリミング画像８０２ａ～ｃ上では、判定対象６０１が同じ座標に投影されるように本ステップでトリミングする領域が導出される。つまり、位置７０１ａ～７０１ｃは、トリミング画像８０２ａ～ｃ上では同じ座標上に位置する。

図９は、撮像装置の姿勢を表すパラメータの調整を説明するための図である。図９を用いて撮像範囲からトリミングする領域を導出する方法を説明する。図９の画像９１１は、特定部２０８が特定した撮像装置のうちの１つの撮像装置の撮像範囲を表す画像であり、トリミング画像９１２は、その画像９１１からトリミングする領域を表す画像である。なお、画像内の座標は、原点が左上で、横方向がＸ方向、縦方向がＹ方向に延びる座標系が用いられるものとして説明する。

まず、透視投影モデルを用いて、判定対象の位置９０４が投影される画像９１１上の座標を求める。求められた座標を（ｘｃ，ｙｃ）とする。トリミング画像９１２の大きさをｗｔ×ｈｔ画素とし、判定対象の位置９０４が投影されるトリミング画像９１２上の座標を（ｘｔ，ｙｔ）とする。この場合、トリミング画像９１２の左上の位置は、画像９１１上の座標では（ｘｃ－ｘｔ，ｙｃ－ｙｔ）である。また、トリミング画像９１２の右下の位置は、画像９１１上の座標では（ｘｃ－ｘｔ＋ｗｔ，ｙｃ－ｙｔ＋ｈｔ）である。このように、それぞれの撮像装置の撮像範囲からトリミング画像の範囲を示す座標が導出される。

Ｓ７０４においてカメラパス設定部２０９は、トリミング画像の中央が撮像範囲の中央となるように、特定された撮像装置の姿勢を示すパラメータを調整する。

図９を用いて、Ｓ５０２で特定された撮像装置のうちの１つの撮像装置の姿勢を表すパラメータの調整する方法について説明する。図９において、点９０１は、画像９１１を撮像範囲とする撮像装置の光学中心である。点９０２は、画像９１１の中心である。点９０３は、画像９１１からトリミングして得られるトリミング画像９１２の画像中心である。ベクトルｖ１は、画像９１１を撮像範囲とする撮像装置の光軸方向のベクトルである。ベクトルｖ２は、画像９１１を撮像範囲とする撮像装置の姿勢が調整された後の光軸方向のベクトルである。また、画像９１１の大きさをｗｃ×ｈｃ画素とし、撮像装置の焦点距離をｆとする。ベクトルｖ１を、
ｖ１＝（０，０，ｆ）
と表す。またＳ７０３で説明したように、トリミング画像９１２の左上の位置の座標は、（ｘｃ－ｘｔ，ｙｃ－ｙｔ）であり、トリミング画像９１２の右下の位置の座標は、（ｘｃ－ｘｔ＋ｗｔ，ｙｃ－ｙｔ＋ｈｔ）である。このため、トリミング画像９１２の画像中心である点９０２の位置を、撮像範囲を表す画像９１１上の座標で表すと、（ｘｃ－ｘｔ＋ｗｔ／２，ｙｃ－ｙｔ＋ｈｔ／２）である。よって、ベクトルｖ２は、次式によって求められる。
ｖ２＝（ｘｃ－ｘｔ＋ｗｔ／２－ｗｃ／２，ｙｃ－ｙｔ＋ｈｔ／２―ｈｃ／２，ｆ）

ベクトルｖ１およびベクトルｖ２に共に垂直なベクトルｖ３とすると、ベクトルｖ３は外積を用いて求めることができる。求められたｖ３を、
ｖ３＝（ｘ，ｙ，ｚ）
と表すものとする。姿勢を調整したことによる撮像装置の光軸の回転をｐとする。クオータニオンを用いるとｐは、
ｐ＝（ｃｏｓ（θ／２），ｘ・ｓｉｎ（θ／２）、ｙ・ｓｉｎ（θ／２），ｚ・ｓｉｎ（θ／２））
となる。θはベクトルｖ１とベクトルｖ２との成す角であり内積を用いて求めることができる。撮像装置の調整前の姿勢をｑとし、調整後の姿勢をｑ’とすると、調整後の姿勢ｑ’は、次式で導出することができる。
ｑ’＝ｐｑ

Ｓ７０５においてカメラパス設定部２０９は、Ｓ５０２で特定された夫々の撮像装置の撮像範囲がトリミング画像で表される領域になるように焦点距離を調整する。調整後の焦点距離をｆ’とすると、ｆ’は次式で求めることができる。
ｆ’＝ｆ・ｗｃ／ｗｔ

このように、Ｓ５０２で特定された夫々の撮像装置の姿勢を示すパラメータが調整される。ユーザによって姿勢の調整が指示されると、調整された後の視点をつなぐカメラパスが生成されることになる。トリミング画像の中心に判定対象が投影されるようにトリミングする領域を決定した場合、調整された夫々の視点からの見えを表す夫々の仮想視点画像は、判定対象が画像の中心付近にあるように生成される。このため、ユーザは仮想視点画像を確認しやすくなるため、姿勢を調整することでユーザの仮想視点画像の確認時の負荷を低減することができる。

Ｓ７０５の処理が終了した場合、または、ユーザの指示を示す入力値に姿勢のパラメータを調整する指示が含まれていない場合（Ｓ７０２がＮＯ）、Ｓ７０６へ進む。

Ｓ７０６においてカメラパス設定部２０９は、ユーザの指示を示す入力値に、位置を示すパラメータを調整する指示が含まれているか判定する。位置のパラメータを調整する指示が含まれている場合（Ｓ７０６がＹＥＳ）、Ｓ７０７へ進む。

Ｓ７０７においてカメラパス設定部２０９は、Ｓ５０１で指定された判定対象から撮像装置までの距離が等しくなるように、Ｓ５０２で特定された夫々の撮像装置の位置を示すパラメータを調整する。

図１０は、撮像装置の位置を表すパラメータの調整を説明するための図である。視点３０１ａ～ｊは、図６と同様に、Ｓ５０２で特定された夫々の撮像装置の調整前の視点を表す。一方、点１００２ａ～１００２ｊは、調整後のパラメータが示す撮像装置の位置である。本ステップでは、Ｓ５０２で特定された夫々の撮像装置に対応する視点の位置が、判定対象６０１を中心とした円１００１の円周上の位置するように調整される。判定対象６０１から調整後の視点の位置までの距離、即ち、円１００１の半径は、例えば、判定対象６０１から選択された撮像装置までの調整前の距離の平均として決定される。

このように、撮像装置の位置のパラメータの調整が指示された場合、円１００１に沿った視点で構成されるカメラパスが生成される。図６の調整前のカメラパスは、撮像装置間の位置が離れている箇所があるため、調整前の視点をつないでカメラパスを生成すると、視点の変化が大きくなりユーザの確認時に負荷が発生することがある。このため、撮像装置の位置を調整した後の視点でカメラパスを生成することで、判定対象までの位置が一定である仮想視点画像が生成されることなる。このため、仮想視点画像を確認する際のユーザの負荷を低減することができる。

Ｓ７０７の処理が終了した場合、または、ユーザの指示を示す入力値に位置のパラメータを調整する指示が含まれていない場合（Ｓ７０６がＮＯ）、Ｓ７０８へ進む。

Ｓ７０８においてカメラパス設定部２０９は、ユーザの指示を示す入力値に、撮像装置間の視点を補間してカメラパスを生成する指示が含まれているか判定する。補間する指示が含まれている場合（Ｓ７０８がＹＥＳ）、Ｓ７０９へ進む。

Ｓ７０９においてカメラパス設定部２０９は、Ｓ５０２で特定された撮像装置の視点の間を補間する視点６０３の数を決定する。以下に処理手順を説明する。８秒でカメラパスを１周するような動画が表示されるように仮想視点画像を生成するものとする。また、その際のフレームレートを６０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）とする。この場合、カメラパスを構成するのに必要な視点の数は、８×６０＝４８０から４８０と求められる。Ｓ５０２で特定された撮像装置の数をｃとすると、補間するために新たに設定する視点の総数Ｎは、Ｎ＝４８０－ｃと求められる。

隣り合う撮像装置の間を補間するための視点の数は、Ｓ５０２で特定された撮像装置の間の角度φに比例してＮを分配して決定される。例えば、図１０のように撮像装置の視点３０１a～３０１jが位置している場合であって、視点３０１ｂと視点３０１ｃとの成す角１００２をφとすると、視点３０１ｂと視点３０１ｃとの間に補間のために設定する視点の数はＮ×φ／３６０と求められる。

Ｓ７１０においてカメラパス設定部２０９は、隣り合う撮像装置に対応する視点間を、Ｓ７０９で導出された数の視点で補間するように新たな視点を設定する。カメラパス設定部２０９は、補間によって新たに設定される視点６０３の夫々の位置は、両側の撮像装置の位置を線形補間して求める。また、補間によって設定される視点６０３の焦点距離は、両側の撮像装置の位置を線形補間して求める。補間によって設定される視点６０３の姿勢は、両側の撮像装置の姿勢を球面線形補間して求める。このように、視点を補間することがユーザによって指示された場合、カメラパス設定部２０９は、特定された撮像装置に基づく視点と、補間によって設定された視点とで構成されるカメラパスを設定することになる。なお、撮像装置の視点の位置および姿勢を表すパラメータの調整が行われた場合は、調整後のパラメータが表す視点の間を補間する処理が行われる。

このように、視点が補間されたカメラパスに基づき仮想視点画像を生成して、生成された仮想視点画像を連続して表示すると、カメラパスをなめらか移動して撮像されたような動画像の仮想視点画像を表示することができる。

一方、補間する指示が含まれていない場合（Ｓ７０８がＮＯ）、カメラパスの生成処理を終了する。この場合、視点の補間は行われないため、実際の撮像装置の視点または実際の撮像装置の調整された視点をつなぐカメラパスが生成されることになる。このため実際のカメラの視点からの見えを表す仮想視点画像が表示されるため、Ｓ５０８でユーザが確認した際の仮想視点画像と、撮像範囲が同様である撮像装置を選択できる。

以上説明したように本実施形態では、判定対象を１周りするカメラパスからの見えを表す仮想視点画像を用いてビデオ判定に用いられる撮像装置が選択される。このため本実施形態によれば、ビデオ判定に利用可能な撮像装置の台数が増加しても、所望の撮像装置の選択するユーザの負担を低減することができる。このため、撮像空間をさまざまな方向から撮像する撮像装置を用いてビデオ判定を行う場合、ビデオ判定の対象を所望の方向から撮像した撮像装置の撮像画像を用いることができる。

＜その他の実施形態＞
上述した実施形態では、画像処理装置１が、仮想視点画像を生成するものとして説明したが、画像処理装置１とは異なる１つ以上の装置により仮想視点画像を生成してもよい。この場合、画像処理装置は、異なる装置で生成された仮想視点画像を順次取得する形態でもよい。例えば、三次元モデルの生成と、仮想視点画像の生成とをそれぞれ異なる装置によって行う形態でもよい。

なお、本開示の技術の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する場合でも達成される。この場合、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。そして、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本開示の術を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ－ＲＯＭ，ＣＤ－Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

本開示の技術の目的は、コンピュータが読出したプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行ことによって前述した実施形態の機能が実現される場合も含まれる。

記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる場合がある。この場合、本開示の技術の目的は、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことによって前述した実施形態の機能が実現される場合も含まれる。

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０４ 仮想視点画像生成部
２０８ 特定部
２０９ カメラパス設定部
２１２ 撮像装置選択部

Claims (19)

1. 撮像空間を複数の方向から撮像する複数の撮像装置のうち、前記撮像空間における所定の位置を撮像する二以上の撮像装置を特定する特定手段と、
   前記特定手段により特定された二以上の撮像装置に基づく複数の視点を設定する設定手段と、
   前記複数の撮像装置が撮像することにより得られた複数の撮像画像を用いて生成された三次元形状データに基づき、前記複数の視点に対応する複数の視点画像を生成する生成手段と、
   前記複数の視点画像のうちユーザにより指定された視点画像に対応する視点の位置及び視点からの視線方向の少なくとも一方に基づいて、前記特定手段により特定された二以上の撮像装置の中から撮像装置を選択する選択手段と、
   を有することを特徴とする画像処理装置。
2. スポーツ競技の審判の判定を補助するための画像処理装置であって、
   撮像空間を複数の方向から撮像する複数の撮像装置のうち、前記撮像空間の所定の位置を撮像した撮像装置を特定する特定手段と、
   前記特定手段により特定された二以上の撮像装置に基づく複数の視点を設定する設定手段と、
   前記複数の撮像装置が撮像することにより得られた複数の撮像画像を用いて生成された三次元形状データに基づき、前記複数の視点に対応する複数の視点画像を生成する生成手段と、
   前記複数の視点画像のうちユーザが指定した視点画像に対応する視点に基づき、前記特定手段により特定された二以上の撮像装置の中から、前記判定に用いる撮像画像の撮像に用いられた撮像装置を選択する選択手段と、
   を有することを特徴とする画像処理装置。
3. 前記選択手段は、
   前記特定手段により特定された二以上の撮像装置の中から、前記ユーザが指定した視点画像に対応する視点に最も近い位置の撮像装置を選択する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記選択手段は、
   前記特定手段により特定された二以上の撮像装置の中から、前記ユーザが指定した視点画像に対応する視点から近い順に撮像装置を所定の数、選択する
   ことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記設定手段は、前記特定手段により特定された二以上の撮像装置に基づく視点を補間する視点を含む前記複数の視点を設定する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記設定手段は、前記特定手段により特定された二以上の撮像装置の視点を表すパラメータを調整して、調整後のパラメータが表す視点を含めて前記複数の視点を設定する
   ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記設定手段は、
   前記特定手段により特定された二以上の撮像装置の撮像範囲から、前記所定の位置が同じ座標に投影される領域を導出し、
   前記二以上の撮像装置が、夫々の撮像装置に対応する前記領域のある方向を向く姿勢になるように前記二以上の撮像装置の視点を表すパラメータを調整する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記設定手段は、前記特定手段により特定された二以上の撮像装置の視点から前記所定の位置までの距離が等しくなるように、前記特定手段により特定された二以上の撮像装置の視点のパラメータを調整する
   ことを特徴とする請求項６または７に記載の画像処理装置。
9. 前記生成手段が生成した視点画像を表示部に表示する制御をする第１の表示制御手段をさらに有し、
   前記ユーザが指定した視点画像は、前記ユーザが所定の入力をした際に前記表示部に表示されていた視点画像である
   ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記第１の表示制御手段は、前記特定手段により特定された二以上の撮像装置のうち、前記表示部に表示されている視点画像に対応する視点に最も近い撮像装置に係る情報を前記表示部に表示する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記複数の撮像装置が撮像して得られた撮像画像を管理する管理手段と、
    前記選択手段が選択した撮像装置が撮像して得られた撮像画像を、前記管理手段から取得する取得手段と、
    前記取得手段が取得した撮像画像を表示部に表示する第２の表示制御手段と、をさらに有する
    ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記特定手段は、前記所定の位置が撮像範囲の中央から所定の範囲内に含まれる撮像装置を、前記複数の撮像装置から特定する
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記複数の視点のうちいずれかの視点を指定する指定手段をさらに有し、
    前記生成手段は前記指定手段が指定した視点に対応する視点画像を生成し、
    前記指定手段が指定した視点に対応する視点画像を前記ユーザが指定しない場合、前記指定手段は前記複数の視点のうちから次の視点を指定し、前記生成手段が前記指定された視点に対応する視点画像を生成する処理を繰り返す
    ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記指定手段は、時刻をさらに指定し、
    前記生成手段は前記指定手段が指定した時刻の撮像画像を用いて生成された三次元形状データに基づき、前記指定手段が指定した視点に対応する視点画像を生成し、
    前記指定手段が指定した視点に対応する視点画像を前記ユーザが指定しない場合、前記指定手段は前回指定した時刻と異なる時刻を指定し、かつ、前記複数の視点のうちから次の視点を指定し、前記生成手段は前記指定された時刻の撮像画像を用いて生成された三次元形状データに基づき前記指定された視点に対応する視点画像を生成する処理を繰り返す
    ことを特徴とする請求項１３に記載の画像処理装置。
15. 前記生成手段は、前記複数の視点に対応する複数の視点画像を、同じ時刻の撮像画像を用いて生成された三次元形状データに基づき生成する
    ことを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記所定の位置は、ユーザの指示に基づき指定される
    ことを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
17. 撮像空間を複数の方向から撮像する複数の撮像装置のうち、前記撮像空間における所定の位置を撮像する二以上の撮像装置を特定する特定ステップと、
    前記特定ステップで特定された二以上の撮像装置に基づく複数の視点を設定する設定ステップと、
    前記複数の撮像装置が撮像することにより得られた複数の撮像画像を用いて生成された三次元形状データに基づき、前記複数の視点に対応する複数の視点画像を生成する生成ステップと、
    前記複数の視点画像のうちユーザにより指定された視点画像に対応する視点の位置及び視点からの視線方向の少なくとも一方に基づいて、前記特定ステップで特定された二以上の撮像装置の中から撮像装置を選択する選択ステップと、
    を含むことを特徴とする画像処理方法。
18. スポーツ競技の審判の判定を補助するための画像処理方法であって、
    撮像空間を複数の方向から撮像する複数の撮像装置のうち、前記撮像空間の所定の位置を撮像した撮像装置を特定する特定ステップと、
    前記特定ステップで特定された二以上の撮像装置に基づく複数の視点を設定する設定ステップと、
    前記複数の撮像装置が撮像することにより得られた複数の撮像画像を用いて生成された三次元形状データに基づき、前記複数の視点に対応する複数の視点画像を生成する生成ステップと、
    前記複数の視点画像のうちユーザが指定した視点画像に対応する視点に基づき、前記特定ステップで特定された二以上の撮像装置の中から、前記判定に用いる撮像画像の撮像に用いられた撮像装置を選択する選択ステップと、
    を有することを特徴とする画像処理方法。
19. コンピュータを、請求項１から１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images