JP2005244518A - 視点決定装置、撮影制御システム、撮影システム、視点決定プログラム、視点決定プログラムを記録したコンピュータ読み取り可能な記録媒体、及び視点決定方法 - Google Patents

Abstract

【課題】 物体の形状に関する特徴を効果的に表現できる映像を自動的に撮影することができる撮影システムを実現する。
【解決手段】 撮影システム１は、物体表面の形状を表す形状データに基づいて、物体表面を構成する各部分領域に関し、当該各部分領域における法線ベクトルの変化の激しさを示す値を算出し、この値を当該各部分領域の形状情報量とするボクセル形状情報量演算部２１と、ある視点に関し、当該視点の位置と、前記各部分領域の位置と、前記各部分領域の形状情報量とに基づいて、当該視点で受け取ることができる形状情報量を算出する視点形状情報演算部２２と、視点形状情報演算部２２の演算結果に基づいて、特定の視点を選択する視点選択部２３とを含む視点決定装置２０を備える。
【選択図】 図１０

Description

本発明は、撮影の自動化に好適に利用することができる、視点決定装置、撮影制御システム、撮影システム、視点決定プログラム、視点決定プログラムを記録したコンピュータ読み取り可能な記録媒体、及び視点決定方法に関するものである。

近年、通信技術の発達や動画圧縮技術の向上によりインターネットを通じた動画配信サービスや、ウェブカメラシステムのような街頭などに設置されたカメラを遠隔操作することで、その場の様子をリアルタイムに確認できるサービスなどが提供されるようになってきている。また、動画による通信は、ビデオチャットのような新たなコミュニケーションの手段として利用されており、遠隔講義やＴＶ会議などといった大規模なシステムとして実用化されている。しかし、これらのシステムで用いられる映像は固定カメラで撮影されたものが多く、必ずしも視聴者が満足できる映像であるとは言えない。また、遠隔講義やＴＶ会議などではカメラマンによって撮影された映像を用いられる場合もあるが、コストの問題から気軽に利用できないという問題がある。このように、様々な映像を提供できる基盤が整ってきているにもかかわらず、それに見合った高品質の映像を提供ができないという問題の解決を目指して、カメラマンに代わって自動的に撮影するシステムについて研究が行われている（たとえば非特許文献１−４参照）。

撮影を自動化する場合、まず、撮影対象となるシーンにおいて視聴者が見たいと思う領域や対象を的確に捉えられる視点を決定する必要がある。遠隔講義を対象に撮影の自動化を目指した研究（たとえば非特許文献１）では、受講者が注目する黒板の文字や講師の動きは空間的または時間的な色の変化で表現できると考え、シーンにおける色情報を用いて撮影領域の決定を行っている。また、音声情報に注目することで重要な部分を決定する研究（たとえば非特許文献３−５）も行われている。
大西正輝、泉正夫、福永邦雄、"情報発生量の分布に基づく遠隔講義撮影の自動化"信学論(D-II)、vol.J82-D-II, no.10,pp.1590-1597, Oct. 1999 尾関基行、中村裕一、大田友一、"机上作業シーンの自動撮影のためのカメラワーク"信学論(D-II)、vol.J86-D-II, no.11,pp.1606-1617, Nov. 2003 芦川平、菅沼明、谷口倫一郎、"黒板講義におけるチョーク音検出を利用した講義自動撮影システムの構築と評価"情報処理学会九州支部研究会報告, pp.60-67, March 2003. 大西正輝、影林岳彦、福永邦雄、"視聴覚情報の統合による会議映像の自動撮影"信学論(D-II)、vol.J85-D-II, no.3, pp.537-542, Mar. 2002 宮内進吾,馬場口登,北橋忠宏,"テキスト・音声・画像の協調的処理による放送型スポーツ映像におけるハイライト検出とインデクシング"信学論(D-II), vol.J85-D-II no.11, pp.1692-1700,November 2002

上記のように、自動撮影システムでは、様々な情報に注目することで撮影領域や視点の決定を行っており、本研究では、撮影対象である物体が持つ特徴に注目することで物体
の特徴を効果的に表現できる視点を決定することを目的とする。

撮影対象となる物体が持つ特徴には“形状に関する特徴”や“色に関する特徴”といった様々な特徴があり、人間がその物体を把握する場合、物体が持つこれらの特徴を知覚し、総合的に判断することによって認識している。しかし、ポリゴンやワイヤーフレームといった物体表現手法は、物体の“形状に関する特徴”のみを表現する手法であり、また、“形状に関する特徴”のみで表現された物体でも物体の概略的な把握が可能であることから、“形状に関する特徴”は“色に関する特徴”やその他の特徴に比べて重要な特徴であると考えられる。

一方、人間が物体形状を把握するとき、人間は３次元物体を網膜上に投影することによって得られる２次元情報を基に物体形状を知覚しており、物体自身の回転や視点の変化によって投影される２次元情報は大きく変化し、物体を把握において大きな影響を及ぼすと考えられる。つまり、物体の“形状に関する特徴”を捉えやすい、つまり、形状を把握しやすい視点というものが存在することから、人間は視点をいろいろ変えながら“形状に関する特徴”を捉えやすい視点を見つけ、その視点から物体を観測することで形状を把握していると考えられる。

このことから、本研究では、まず、物体表面の各点で物体の局所的な形状から形状把握における重要度を形状情報量として物体表面の法線ベクトルの分布に基づいて定義する。次に、形状情報量が多く捉えられる視点ほど“形状に関する特徴”を捉えやすい視点であり、形状把握において有利な視点であることから、形状情報量が多く捉えられる視点を探索することで、物体の“形状に関する特徴”を効果的に表現できる視点を決定し、映像化する手法を提案する。

また、直線運動や加速度運動のような動きの種類やその変化の様子といった物体の“動きに関する特徴”は、動物体の軌跡を用いて表現できる。本稿では、動物体が描く一連の軌跡を時空間における形状とみなすことで、時空間における“形状に関する特徴”を用いて“動きに関する特徴”を表現し、物体の動きを効果的に表現できる視点の決定手法に拡張する。

本発明に係る視点決定装置は、物体を撮影する際の視点を決定するための視点決定装置であって、上記の課題を解決するために、物体表面の形状を表す形状データに基づいて、物体表面を構成する各部分領域に関し、当該各部分領域における法線ベクトルの変化の激しさを示す値を算出し、この値を当該各部分領域の形状情報量とする第１演算手段と、ある視点に関し、当該視点の位置と、前記各部分領域の位置と、前記各部分領域の形状情報量とに基づいて、当該視点で受け取ることができる形状情報量を算出する第２演算手段と、前記第２演算手段の演算結果に基づいて、特定の視点を選択する視点選択手段とを備えることを特徴としている。

また、本発明に係る視点決定方法は、物体を撮影する際の視点を決定するための視点決定方法であって、上記の課題を解決するために、物体表面の形状を表す形状データに基づいて、物体表面を構成する各部分領域に関し、当該各部分領域における法線ベクトルの変化の激しさを示す値を算出し、この値を当該各部分領域の形状情報量とする第１演算処理と、ある視点に関し、当該視点の位置と、前記各部分領域の位置と、前記各部分領域の形状情報量とに基づいて、当該視点で受け取ることができる形状情報量を算出する第２演算処理と、前記第２演算処理の演算結果に基づいて、特定の視点を選択する視点選択処理とを含むことを特徴としている。

上記の構成又は方法では、物体表面を構成する各部分領域の形状から、形状把握における重要度をその部分領域の形状情報量として、物体表面の法線ベクトルの分布に基づいて定義する。また、ある視点に関し、その視点において受け取ることができる形状情報量を算出する。そして、複数の視点において受け取ることができる形状情報量に基づくことにより、物体の形状に関する特徴を捉えやすい視点を選択する。

このように、形状情報量が多く捉えられる視点を選択することにより、物体の形状に関する特徴を効果的に表現できる視点を撮影時の視点などとして決定することができる。これにより、物体の形状に関する特徴を効果的に表現できる映像を自動的に撮影することが可能となる。

なお、物体の形状に関する特徴を効果的に表現するためには、前記視点選択手段が、受け取ることができる形状情報量が極大となる視点を選択するようになっていることが特に望ましい。

本発明に係る視点決定装置は、上記の視点決定装置において、前記第２演算手段は、前記各部分領域の形状情報量に対して、前記視点と前記各部分領域との位置関係に応じた重みを加えて加重和を算出し、この加重和を前記視点で受け取ることができる形状情報量とするようになっていてもよい。

上記の構成では、視点と各部分領域との位置関係を考慮に入れて、視点で受け取ることができる形状情報量を算出することができる。

本発明に係る視点決定装置は、上記の視点決定装置において、前記視点選択手段は、選択し得る視点の位置を制限することができることを特徴とする請求項１から３の何れか１項に記載の視点決定装置。

上記の構成では、不自然な位置から物体を観るような視点を、選択し得る視点から排除することによって、不自然な視点を選択することを避けることができる。

本発明に係る視点決定装置は、上記の視点決定装置において、前記第１演算手段は、物体表面の代わりに、物体が動いた場合に物体が通過した領域の表面を用いてもよい。

上記の構成では、物体の動きに関する特徴を効果的に表現できる視点を撮影時の視点などとして決定することができる。

本発明に係る視点決定装置は、上記の視点決定装置において、物体表面の色を表す表色データに基づいて、物体表面を構成する各部分領域に関し、当該各部分領域における色の変化の激しさを示す値を算出し、この値を当該各部分領域の表色情報量とする第３演算手段と、ある視点に関し、当該視点の位置と、前記各部分領域の位置と、前記各部分領域の表色情報量とに基づいて、当該視点で受け取ることができる表色情報量を算出する第４演算手段とをさらに備え、前記視点選択手段は、さらに前記第２演算手段の演算結果にも基づいて、特定の視点を選択するようになっていてもよい。

上記の構成では、物体の形状に関する特徴のみならず色に関する特徴をも効果的に表現できる視点を撮影時の視点などとして決定することができる。

本発明に係る撮影制御システムは、上記何れかの視点決定装置と、前記視点決定装置によって決定された視点からの撮影を行うように撮影装置を制御する撮影制御手段とを備えることを特徴としている。

上記の構成では、物体の形状に関する特徴を効果的に表現できる映像を撮影装置において自動的に撮影することができる。

本発明に係る撮影制御システムは、上記の撮影制御システムにおいて、前記形状データを生成するための形状検出装置をさらに備えていてもよい。

上記の構成では、形状検出装置によって生成した形状データを用いて上記の演算を行うことができる。

本発明に係る撮影システムは、上記何れかの撮影制御システムと、前記撮影装置とを備えて構成される。

なお、上記何れかの視点決定装置の前記各手段は、コンピュータによって実現してもよく、このとき、コンピュータを視点決定装置の前記各手段として動作させる視点決定プログラム、及びこの視点決定プログラムを記録しているコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。

以上のように、本発明に係る視点決定装置は、物体表面の形状を表す形状データに基づいて、物体表面を構成する各部分領域に関し、当該各部分領域における法線ベクトルの変化の激しさを示す値を算出し、この値を当該各部分領域の形状情報量とする第１演算手段と、ある視点に関し、当該視点の位置と、前記各部分領域の位置と、前記各部分領域の形状情報量とに基づいて、当該視点で受け取ることができる形状情報量を算出する第２演算手段と、前記第２演算手段の演算結果に基づいて、特定の視点を選択する視点選択手段とを備えている。

また、本発明に係る視点決定方法は、物体表面の形状を表す形状データに基づいて、物体表面を構成する各部分領域に関し、当該各部分領域における法線ベクトルの変化の激しさを示す値を算出し、この値を当該各部分領域の形状情報量とする第１演算処理と、ある視点に関し、当該視点の位置と、前記各部分領域の位置と、前記各部分領域の形状情報量とに基づいて、当該視点で受け取ることができる形状情報量を算出する第２演算処理と、前記第２演算処理の演算結果に基づいて、特定の視点を選択する視点選択処理とを含んでいる。

これにより、物体の形状に関する特徴を効果的に表現できる映像を自動的に撮影することが可能となる。

本発明の一実施形態について図面に基づいて説明すると以下の通りである。

物体には、色や形状といった様々な特徴が存在するが、人は形状特徴のみでも物体を概略的に知覚することができるため、形状特徴は特に重要であると考えられる。

しかし、物体の形状特徴をうまく捉えられない視点では特徴の把握が困難な場合があることから、通常、人は特徴の把握に有利な視点を探索しながら物体を知覚している。

本実施形態では、このような形状特徴に注目し、物体が持つ形状に関する情報量を定義する。さらに、形状に関する情報量の分布を基に形状特徴を効果的に表現できる視点を決定する手法を提案する。

また、特徴表現に適切な視点を決定することによって、自動撮影システムに応用する。

１．形状に関する情報量
物体の形状は、物体を構成する表面の形状で表現できることから、表面の特徴を用いて物体の“形状に関する特徴”を表現する。表面の特徴表現には、表面を表す方程式のパラメータを用いたものがあるが、物体を構成する表面には様々な形状があり、一般に方程式で表面を表現することは困難である。

これに対して、物体を細かく分割し、局所的な形状特徴の組合せで物体の形状を表現することもできる。実際、ポリゴンによる形状表現手法は、物体の表面はすべて平面で表されるものとし、それらの組合せることによって物体全体を表現している。また、局所的な情報から形状を推定する手法が提案されている（たとえば、B. Rieger, F.J. Timmermans, L.J. van Vliet, P.W. Verbeek,“Curvature estimation of surfaces in 3D gray-value images”ICPR Vol. 1, Aug.11-15, 2002参照）。

本実施形態では、局所的な表面の状態から導出可能で、面の形状に連動して変化する法線ベクトルに注目し、物体表面における法線ベクトルの変化の様子を用いて物体の形状に関する特徴を表現する。

物体の形状把握において重要な形状について考えると、例えば、図１（ａ）のようにポリゴンで表現された物体では、各ポリゴンの形状を知覚し、それらの接続関係を把握することによって、物体全体の形状を認識している。このような特徴を取得する時に注目する部分はポリゴンのエッジ部分であり、形状把握において重要な形状の１つとして物体のエッジ部分が考えられる。また、図１（ｂ）のようにワイヤーフレームで表現された物体では、頂点間を結ぶ直線で囲まれた領域に平面があるとみなし、物体全体の表面を再構成することで形状を認識している。したがって、補うことができる平面よりも頂点やそれら
を結ぶ直線部分、つまり、物体のエッジ部分が形状把握において重要な形状であると考えられる。

以上のことから、物体表面の頂点やエッジ部分といったごく限られた部分が形状把握における重要度が高い部分である。

次に、このような部分における法線ベクトルの分布について考えると、図２（ａ）のような面Ａと面Ｂとによって構成されるエッジ部分における法線ベクトル方向の変化に注目すると、面Ａと面Ｂとの接合部分において法線ベクトルの方向は、平面Ａが持つ法線ベクトルの方向から平面Ｂが持つ法線ベクトルの方向へ急激に変化している。また、その変化量は両平面の法線ベクトルのなす角で表すことができ、面と面とのなす角が鋭角であると変化量は大きく、緩やかな曲面のような場合では変化量は小さい。

また、これらの法線ベクトルが点で表される空間を考え、その空間における法線ベクトルの分布に注目すると、図２（ｂ）のような分布となり、変化の大きさに対応した広がりを持った分布となる。

本実施形態では、このように法線ベクトルの分布の広がりと形状把握における重要度の対応関係から形状に関する情報量を定義する。

１−１．立方格子による物体表現
本実施形態では図３（ａ）のような格子間隔εの立方格子を用いて２次元空間を表現し、格子点が物体に属する場合は1、そうでない場合は0の値を持つものとする。すなわち、格子点の座標をx#=(x₁, x₂, x₃)^Tとすると、3次元空間上に式(1)のような関数f_s(x#)が定義される。

なお、本願の明細書及び特許請求の範囲においては、「#」の記号を、直前の文字又は記号がベクトルであることを示すための記号として用いている。つまり、たとえば「x#」は、式(1)における太字（ボルドーフェイス）の「x」と同一の記号とみなすことになる。

このとき、物体V_sは式(2)のように1の値を持った格子点の集合で表現できる。また、その表面∂V_sは、1の値を持つ格子点のうち0の値を持つ隣接格子点が存在する格子点の集合で表現できることから、第i成分が1である単位ベクトルe#_iで表されるh#_i=εe#_iを用いて、式(3)のように表される。

物体が持つ法線ベクトルは物体の表面部分において物体の内側から外側に向かうベクトルとみなすことができることから、図３（ａ）における矢印のように1の値を持つ格子点から0の値を持つ格子点へ向かうベクトルとして表現できる。本実施形態では、Sobelオペレータを3次元に拡張したオペレータを用いて法線ベクトルN#(x#)を定義する。ただし、法線ベクトルN#(x#)は物体表面∂V_sを表す格子点が持つものとする。

１−２．形状情報量
法線ベクトルの変化の激しさは、近傍領域における法線ベクトルの平均ベクトルとの違い、および、分布の広がりから評価し、その評価関数として本実施形態では、正規分布の確率密度関数を用いる。まず、座標x#で表される格子点において法線ベクトルの変化の激しさを評価する近傍領域として、式(5)で表されるような点x#を中心とした半径εr空間内における物体表面∂V_sの部分領域d(x#)を考える。

このように定義された近傍領域d(x#)における法線ベクトルの変化の激しさは式(6)でn=3とした3変量正規分布の確率密度関数P(x#)を用いて評価する。

ただし、式(6)におけるμ#，Σ#は、近傍領域d(x#)における法線ベクトルの平均ベクトルμ#および分散共分散行列Σ#であり、近傍領域d(x#)に含まれる格子点の個数を|d(x#)|を用いて式(7)と式(8)で表される。

さらに、式(9)を用いて形状情報量I_s(x#)を定義する。このように定義された形状情報量は、エッジのような法線ベクトルの変化が激しい部分で大きな値を持ち、平面のような変化がない部分では0となる。

１−３．動物体の情報量
“動きに関する特徴”は動物体の軌跡で表現できることから、本研究では、動物体の軌跡を時空間上における形状とみなし、時空間における“形状に関する特徴”を用いて“動きに関する特徴”表現する。したがって、１−３．で定義した形状情報量I_s(x#)を時間軸方向に拡張することで、動物体の情報量I_st(x#)を定義する。

まず、１−２．で考えた立方格子を時間軸方向に拡張した4次元格子を用いて動物体を表現する。格子点の座標系をx#=(x₁, x₂, x₃, x₄)^T、ただしx₄=tとし、4次元空間上に式(1)と同じような関数f_st(x#)を定義すると、動物体V_stは式(2)と同様に1の値を持った格子点の集合で表現でき、その表面∂V_stは式(3)と同様に物体を構成する格子点のうち、0の値を持った隣接格子が存在する格子点の集合で表現できる。

次に、時空間における法線ベクトルN#(x#)は、式(4)と同様にSobelオペレータを4次元に拡張したオペレータを用いて求める。

最後に、動物体の情報量I_st(x#)は、式(5)と同様に座標x#を中心とした時空間における近傍領域を考え、式(6)でn=4とした4変量正規分布の確率密度関数と式(9)を用いて定義する。

２．ボクセル空間における形状情報量と視点の決定
２−１．ボクセルによる物体表現
物体は、十分小さな格子間隔εを用いていることで格子点空間でも正確に表現することができるが、本手法を用いてシステムを構築する場合、計算量と記憶領域の制限から空間の表現に用いることができる格子間隔εには制限がある。そこで本実施形態では、ボクセルと呼ばれる大きさεLの立方体を用いて3次元空間をサンプリングし、ボクセルの集合で3次元空間を表現する。

3次元空間の座標X#=(X₁, X₂, X₃)^Tを重心としたボクセルC(X#)は、式(10)のようにボクセル内に含まれる格子点の集合で表され、各ボクセルは式(11)で表されるような物体に属する格子点の個数に応じた値を持ち、ボクセル空間上に式(12)で表されるような関数を定義する。

ただし、x#は格子点の座標を表し、x#=(x₁, x₂, x₃)^Tである。

例えば、2次元の格子空間においてL=3のボクセルでサンプリングすると図３（ｂ）のようになり、物体の表面∂Vを含むボクセルC(X#)では、物体の属する格子点の数に応じて0から1の値を持つ。これは、デジタル画像において曲線を滑らかに見せかけるアンチエイリアシング手法に相当し、大きさを持ったボクセルを用いて物体を表現することで発生する標本化誤差を軽減することができる。

法線ベクトルN#(X#)は１−１．と同様に、ボクセル空間において、ボクセルが持つ値F_s(X#)が1から0に減少する方向で表現できる。本稿では、まず、式(13)でn=3とした3次元のガウス関数G(x#)を用いて表される微分オペレータ∇G(x#)を考える。このオペレータはSobelオペレータのような勾配オペレータを連続関数を用いて表現したオペレータであり、次元および大きさを適応的な変更可能なオペレータであり、式(13)のガウス関数における分散σは、近傍領域の大きさを表している。

次に、式(14)のようにボクセル空間上に定義された関数F_s(X#)と微分オペレータ∇G(x#)を畳み込み積分を行うことで勾配ベクトルH#(X#)を導出する。

式(14)で導出される勾配ベクトルH#(X#)は近傍領域においてボクセル値F_s(X#)がわずかでも変化があればH#(X#)≠0#となり、表面部分以外においても勾配ベクトルH#(X#)が存在する。そこで、物体表面を中心とした近傍領域を取った時に勾配ベクトルH#(X#)が最大の大きさを持つことから、式(15)のように勾配ベクトルの大きさ|H#(X#)|に対して閾値thを用いて表面部分における勾配ベクトルのみを選択し、物体の法線ベクトルN#(X#)とする。

２−２．ボクセル空間における形状情報量
大きさを持ったボクセルで表現された物体のエッジ部分における法線ベクトルの変化について調べると、１−２．と同様に、エッジ部分において法線ベクトルの方向が急激に変化し、エッジを構成する面のなす角に対応した広がりを持った分布となった。

このことから、大きさを持ったボクセルで表現した物体においても法線ベクトルの分布の広がりと形状把握における重要度には密接な関係があると考えられるため、形状情報量I_s(X#)を１−２．と同様にして式(6)と式(9)を用いて評価する。

ただし、評価に用いる物体表面の部分領域Dは、式(16)で表されるような点X#を中心とした半径εrの空間領域において物体の法線ベクトルが存在するボクセルの集合を考え、物体表面の部分領域Dに含まれるボクセル数を|D|で表すものとする。

２−３．視点の決定
視点の決定は、２−２．で得られた形状に関する情報量I_s(X#)を多く受け取ることができる視点Z#=(Z₁, Z₂, Z₃)^Tを探索することで行う。このとき、図４（ａ）で表されるような物体を取り囲むような球面上の視点Z#を考え、それぞれの視点にZ#対して、図４（ｂ）のようにその視点Z#から物体方向に走査して最初に到達した物体を構成するボクセルX#_iの集合S(Z#)を考える。

集合S(Z#)で表される可視ボクセルに対して、式(17)のように座標X#_iのボクセルが持つ情報量I_s(X#_i)に座標X#_iにおける法線ベクトルN#(X#_i)と視点方向のなす角θ_iに応じた重みcosθ_iを加えた加重和を求めることによって視点Z#で受け取ることができる形状情報量Info_s(Z#)を定義する。

ただし、動物体の形状情報量I_st(X#)の場合では、法線ベクトルN#(X#_i)の時間軸方向に対する成分X_i4は無視する。

３．装置構成
３−１．形状に基づく視点決定装置
上記のような処理を実現する装置構成について説明する。図１０に、本実施形態の撮影システム１のブロック構成を示す。

撮影システム１は、撮影制御システム１０と、撮影用カメラシステム（撮影装置）１１とを備えている。撮影用カメラシステム１１は、撮影制御システム１０から送られてくる制御信号に基づいて撮影を行うものである。撮影用カメラシステム１１は、所定の位置にそれぞれ配置された複数台のカメラを備えており、制御信号に基づいて何れのカメラによる撮影を行うかを、切り替えるようになっている。また、撮影用カメラシステム１１は、制御信号に基づいて各カメラのパン、ティルト、ズームが制御されるようになっていてもよい。さらに、撮影用カメラシステム１１は、自動的に動くカメラを備えており、制御信号に基づいてカメラ位置が変更できるようになっていてもよい。このように、撮影用カメラシステム１１は、制御信号に基づいて様々な位置や角度からの撮影や、様々な倍率での撮影が可能なシステムである。

撮影制御システム１０は、制御信号を撮影用カメラシステム１１に対して送信することにより、撮影用カメラシステム１１における撮影を上記のように制御する。この撮影制御システム１０は、モニタシステム（形状検出装置）２４と、視点決定装置２０と、カメラコントローラ（撮影制御手段）２５とを備えている。

モニタシステム２４は、たとえばステレオカメラシステムによって構成されており、撮影対象となる物体を撮影することにより、立体形状を示す形状データを生成する。なお、モニタシステム２４は、ステレオカメラシステムに限らず、立体形状を示す形状データを生成できるものであればよい。

視点決定装置２０は、上述した演算に基づいて視点を決定する装置である。視点決定装置２０は、ボクセル形状情報量演算部（第１演算手段）２１と、視点形状情報演算部（第２演算手段）２２と、視点選択部（視点選択手段）２３とを備えている。

ボクセル形状情報量演算部２１は、形状データを用いて２−２．に記載した処理を行うことによって、各ボクセル（物体表面を構成する各部分領域）に関し、各ボクセルにおける法線ベクトルの変化の激しさを示す値を算出し、この値を各ボクセルの形状情報量I_s(X#)とする。

視点形状情報演算部２２は、２−３．に記載した処理を行うことによって、各視点で受け取ることができる形状情報量Info_s(Z#)を算出する。

視点選択部２３は、視点形状情報演算部２２の演算結果に基づいて、特定の視点を選択する。そのために、視点選択部２３は、物体の形状に関する特徴を効果的に表現するために、受け取ることができる形状情報量が極大となる視点を選択する。そして、視点選択部２３は、その選択した視点に関する情報（視点情報）を生成する。視点情報としては、たとえば、図４（ａ）に示した球面上の位置を示す情報を用いることができ、さらに、球面の半径が可変である場合には、その半径を示す情報をも含んでいてもよい。

なお、視点選択部２３は、選択し得る視点の位置を制限することができるようになっていてもよい。これにより、不自然な位置から物体を撮影するような視点を、選択し得る視点から排除することができる。

カメラコントローラ２５は、視点選択部２３から送られてくる視点情報に基づいて、この視点情報が示す視点からの撮影を撮影用カメラシステム１１において行うための制御信号を生成し、撮影用カメラシステム１１に対して送る。これにより、撮影用カメラシステム１１において上述したような撮影を行うことができる。

なお、ここでは、形状データを撮影対象となる物体の立体形状を示すものとして説明したが、物体が動く場合には、物体表面の代わりに、動いた物体が通過した領域の表面の立体形状を示すものとしてもよい。これにより、物体の動きに関する特徴を効果的に表現できる視点を選択することができる。

３−２．形状及び色に基づく視点決定装置
図１１に、本実施形態の他の撮影システム２のブロック構成を示す。なお、撮影システム１の有していた構成と同等の機能を有する構成については、同一符号を付記し、その説明を省略する。

撮影システム２は、撮影制御システム３０と、撮影用カメラシステム（撮影装置）１１とを備えている。

撮影制御システム３０は、制御信号を撮影用カメラシステム１１に対して送信することにより、撮影用カメラシステム１１における撮影を上記のように制御する。この撮影制御システム３０は、モニタシステム（形状検出装置）４４と、視点決定装置４０と、カメラコントローラ（撮影制御手段）２５とを備えている。

モニタシステム４４は、撮影システム１におけるモニタシステム２４に相当するものである。モニタシステム４４がモニタシステム２４とは異なる点は、立体形状を示す形状データに加えて、物体表面の色を表す表色データを生成する点である。

視点決定装置４０は、撮影システム１における視点決定装置２０に相当するものである。視点決定装置４０が視点決定装置２０とは異なる点は、形状情報に加えて、表色情報にも基づいて視点を決定する点である。視点決定装置４０は、ボクセル形状情報量演算部（第１演算手段）２１と、視点形状情報演算部（第２演算手段）２２と、ボクセル表色情報量演算部（第３演算手段）４１と、視点表色情報演算部（第４演算手段）４２と、視点選択部（視点選択手段）４３とを備えている。

ボクセル表色情報量演算部４１は、表色データを用いて２−２．に記載した処理と同等の処理を行うことによって、各ボクセルに関し、各ボクセルにおける色の変化の激しさを示す値を算出し、この値を各ボクセルの表色情報量とする。なお、色は、たとえばＲＧＢの３次元データで表すことができるため、法線ベクトルに対応する表色ベクトルを想定することができ、２−２．に記載した法線ベクトルに関する処理と同等の処理が可能である。

視点表色情報演算部４２は、２−３．に記載した処理と同等の処理を行うことによって、各視点で受け取ることができる表色情報量を算出する。

視点選択部４３は、撮影システム１における視点選択部２３に相当するものである。視点選択部４３が視点選択部２３とは異なる点は、視点形状情報演算部２２の演算結果に加え、視点表色情報演算部４２の演算結果にも基づいて、視点形状情報演算部２２の演算結果と、視点表色情報演算部４２の演算結果とに予め定めた重みを加えた上で加算した値（形状・表色情報量）を求める。そして、視点選択部４３は、各視点に関し、形状・表色情報量が極大となる視点を選択する。そして、視点選択部４３は、その選択した視点に関する情報（視点情報）を生成する。

なお、視点選択部４３においても、選択し得る視点の位置を制限することができるようになっていてもよい。

３−３．ソフトウェアによる構成
上述した視点決定装置２０・４０、カメラコントローラ２５は、ハードウェアによって構成することができるほか、その機能の一部又は全部を、コンピュータによって構成することもできる。このコンピュータは、プログラムを実行するためのＣＰＵ（central processing unit）や、プログラムを実行するためのワークエリアとして機能するＲＡＭ（random access memory）等を備えたものである。この場合、上記コンピュータにおいて視点決定プログラムを実行することにより、視点決定装置２０・４０、カメラコントローラ２５の各機能ブロックの一部又は全部が上記コンピュータ上で実現される。

視点決定プログラムは、そのプログラムを記録した記録媒体から上記コンピュータに供給されてもよく、通信ネットワークを介して上記コンピュータに供給されてもよい。

視点決定プログラムを記録する記録媒体は、上記コンピュータと分離可能に構成してもよく、上記コンピュータに組み込むようになっていてもよい。この記録媒体は、記録したプログラムコードをコンピュータが直接読み取ることができるようにコンピュータに装着されるものであっても、外部記憶装置としてコンピュータに接続されたプログラム読み取り装置を介して読み取ることができるように装着されるものであってもよい。

上記記録媒体としては、例えば、磁気テープ、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＭＯ、ＭＤ、ＤＶＤ、ＩＣカードなどを用いることができる。

４．実験
本手法の有効性を確認するためにボクセルで表現された物体を効果的に表現できる視点を決定する実験を行った。実験に用いるパラメータとして、まず、法線ベクトルの導出における微分オペレータの近傍領域の大きさσおよび閾値thはあらかじめ行った予備実験から法線ベクトルを十分な精度で求めることができるσ=2εL/3，th=0.63とした。

次に、情報量を導出する時の近傍領域の大きさεrは、法線ベクトルの変化を捉えられるように微分オペレータの近傍領域の大きさより大きくする必要があるが、極端に大きな近傍領域を取ると物体の局所的な形状特徴が得られなくなるため、微分オペレータの近傍領域の大きさに対応して2εLとした。

最後に、物体を表現するボクセルの大きさLは、法線ベクトルの変化から形状特徴が表現可能な大きさを経験的に決定した。

４−１．静止物体に対する視点
物体を取り囲むような視点Z#において受けとることができる形状情報量Info_s(Z#)を求め、視点Z#を極座標で表現した角度θ，φを水平軸に取り、受けとることができる形状情報量Info_s(Z#)を垂直軸に取ったヒストグラムを作成すると図５（ａ）のような結果が得られた。

このヒストグラムにおいて、得られる形状情報量が最大(極大)となる視点から物体を観測すると図５（ｂ）のA,Bとなり、逆に最小(極小)となる視点から物体を観測すると図５（ｂ）のC,Dとなった。C,Dの視点に比べてA,Bの視点の方が物体の形状特徴を表す特徴的な部分を多く含んでおり物体把握における優位な視点が得られることが分かった。ただし、図５（ｂ）のA-Dにおいて濃淡値が高い部分が形状情報量が多く存在する部分を表しており、複雑な形状をしている部分ほど形状情報量が多かった。

同様に、他の物体に対して実験を行った結果、図６（ａ）のようなヒストグラムが得られ形状情報量が最大(極大)および最小(極小)となる視点として図６（ｂ）のような視点が選ばれた。この物体では、物体を下から見上げるような視点において形状情報量が最大(極大)となった。これは、物体下部に極端に複雑な形状があったため、その部分における形状情報量が高く、その部分を多く捉えられる視点として以上のような視点が選択された。

しかし、実際の環境下においてこのような物体に対して下から見上げるような視点を取ることは稀であり、あまり考える必要のない視点であると考えられる。そこで、このような視点は探索範囲から除外し、再度、視点の決定を行った結果、図６（ｃ）のような視点が選ばれ、他の視点に比べて物体を特徴付ける形状を多く含む視点であった。

本実施形態では、視点の違いによって物体把握に大きな影響があると考えていたが、物体によっては、物体自身が回転する、あるいは視点が変化しても物体の把握において影響を及ぼさない場合もある。物体認識における視点依存性の有無に関する研究としては、たとえば「早坂太一、中内茂樹、臼井支朗、“サポートベクタマシンによる3次元物体認識における視点依存性の解析”信学論(D-II)、vol.J85-D-II, no.1, pp.112-120, Jan. 2002」がある。

実際、得られる形状情報量について視点間で大きな差が現れる物体とそうでない物体が存在し、この差が物体認識において視点依存性の有無を表しており、形状情報量の差が大きい物体は物体認識において視点依存性が強いと考えられる。逆に形状情報量の差が小さい物体は、どの視点においても同程度の物体把握が可能であることを意味し、視点の違いが物体認識に与える影響は小さく、その物体が視点非依存性であることを示していると考えられる。

４−２．動物体に対する視点
動物体の情報量が物体の動きに対応した値となることを確認するため、加速(15-40 frames)、方向転換(67, 107 frame)、カーブ(160-261 frames)および、減速(329-352 frames)といった動きをする物体に対して時空間における形状情報量I_stを求めると、各フレームにおける形状情報量の最大値および総量は図７のようになり、各フレームにおける動きに関する特徴を反映した結果が得られた。

次に、自動車がカーブするシーンを用意し、ボクセル時空間で表現された一連のシーンに対して、動物体の情報量、つまり時空間における形状情報量を求め、ヒストグラムを作成すると、図８のようになった。

動物体の情報量が最大となる視点は、図９（ａ）のような視点となり、ほぼ真上といった自動車の動きを平均的に捉えることができる視点であった。逆に、動物体の情報量が最小となる視点は、図９（ｂ）のような自動車が奥行き方向に動く視点となり、映像にすると変化が少ないため動いていることを判断するのが困難な視点であった。

また、サイコロが転がるシーンについては、動物体の情報量が最大となる視点と最小となる視点において優位な違いが現れなかった。これは、物体の動きを捉える場合において、視点に依存しないことを表しており、実際、自動車のシーンと比べてサイコロが転がるシーンでは各視点で得られる情報量が一様なヒストグラムが得られた。

５．まとめ
本実施形態では、物体の形状および、動きに関する情報量を定義し、シーンを効果的に表現できる視点を決定する手法を提案した。本稿で導入した形状情報量と視点の有効性は、形状情報量が最大(極大)となる映像と最小(極小)となる映像の与える印象の差に示されているといえる。

本実施形態は、テクスチャから得られる色に関する情報量と統合し、舞台上で行われる演劇などの複雑なシーンの撮影の自動化に応用することも可能である。

また、視聴者が自由に視点を設定できる放送システムにおいて視点決定サポートの働きができると考えられる。

６．補足
６−１．補足１
以下では、本発明の内容を上記実施形態よりもやや簡略化して説明する。

（１）まえがき
近年、ＴＶ放送のデジタル化や通信技術の発達により多種多様な映像の配信が可能になり、遠隔講義やＴＶ会議といったシステムが実用化されている。

しかし、講義や会議の様子を撮影するためにはカメラマンの経費が必要となることから撮影の自動化を目的とした研究が行われている。また、撮影の自動化によってＴＶ番組の制作費が削減できれば、これまで撮影に費用がかけられないため放送できなかった番組の放送が可能になる。

撮影を自動化する場合、視点を自動的に決定することで、視聴者が見たい領域を映像化する必要がある。遠隔講義を対象とした撮影の自動化を目指した研究「大西正輝、泉正夫、福永邦雄、“情報発生量の分布に基づく遠隔講義撮影の自動化”信学論(D-II)、vol.J82-D-II, no.10, pp.1590-1597, Oct. 1999」では、映像中の近傍領域における色情報の複雑さから各画素が持つ情報量を定義し、情報を多く発生している領域を受講者が注目する領域であると考えている。

一方、物体には色情報以外にも形状情報が存在し、物体の見え方と3次元形状の知覚のしやすさとは密接な関係があることから、物体の形状に注目することで3次元形状を知覚しやすい視点での映像化が可能になると考えられる。

本発明では、物体の形状に関する特徴を定量的に定義し、3次元形状を効果的に表現できる視点の決定手法を提案する。さらに、物体の動きを時空間における形状として捉えることで、形状だけではなく動きの特徴も考慮した視点の決定手法に拡張する。

（２）形状情報量に基づく視点の探索
人間が物体の形状を知覚するとき、物体を構成する面の形状特徴や面の占める領域および接続関係などに注目すると考えられ、このような特徴を多く捉えることができる視点が物体形状を知覚しやすい視点である。

本発明では、車のような人工物が動くシーンを撮影対象としており、シーンに登場する物体は滑らかな面で構成されていると仮定する。この仮定の下では、凹凸の激しい面や面の境界部分である頂点や稜線部分に物体の形状に関する特徴が強く現れる。このような形状に関する特徴の強度を情報量として定量的に定義し、多くの情報を受け取ることができる視点を探索することで、視点を決定する。

（２−１）形状に関する情報量
法線ベクトルは面の形状と連動して変化するため、法線ベクトルの分布を用いた面の特徴表現が可能で、面の境界部分は法線ベクトルが不連続に変化する部分として表現できる。

本発明では、凹凸の激しい面や面の境界部分に形状に関する情報が多く分布すると考えており、このような部分における法線ベクトルの変化が激しいことを考慮して、形状に関する情報量I_s(x#)を定義する。

本手法で扱う空間は、2値ボクセルの集合で表現され、式(18)のように、座標x#=(x, y, z)^Tに対応するボクセルが物体を構成する場合は1、それ以外の場合は0の値を持つものとする。

座標x#におけるボクセルが持つ法線ベクトルN#(x#)(以下、「N#」と記す。)は、式(19)のようにn=3とした3次元のガウス関数G(x#)を用いて求める。ただし、∇はベクトル微分演算子を表し、式(19)においてGとfとの間に記した記号（×を○で囲った記号）は重畳積分を表す。

次に、物体は滑らかな面で構成されているという仮定から、近傍領域における法線ベクトルの変化は小さく、同じ方向を向いている可能性が高いと言える。このことから、近傍領域における法線ベクトルの分布から座標x#における法線ベクトルN#の発生確率P(N#)をn=3とした3変量正規分布の確率密度関数を用いて式(20)で定義する。ただし、μ#，Σ#は、座標x#を中心とした半径rボクセルの近傍領域における法線ベクトルの平均と分散共分散行列を表す。

座標x#における形状に関する情報量I_s(x#)は、Shannonの情報理論から法線ベクトルN#の発生確率P(N#)を用いて式(21)で表す。

（２−２）動きに関する情報量
人間は物体の動きを観察するとき、物理法則から物体は同じ動きを続けるものと予測し、予測が困難な動きを行った瞬間を特に注目すると考えられる。本発明では、物体の動きを時空間における形状と捉えることで、動きの特徴を表現する。

物体が等速度や等加速度で動いている場合、時空間における形状は平面や放物面となり、面の形状で動きの特徴表現が可能で、動きが変化した瞬間は面の境界として特徴表現が可能である。注目すべき動きに対応する形状は、（２−１）で考えた特徴的な形状と一致するので、形状に関する情報量I_s(x#)を時間軸方向に拡張することで、動きに関する情報量I_st(x#)を定義する。

まず、（２−１）で扱ったボクセル空間を拡張してボクセル時空間とする。ボクセル時空間の座標をx#=(x, y, z, t)^Tで表し、座標x#における法線ベクトルN#は、式(19)でn=4とした4次元のガウス関数G(x#)を用いて導出する。次に、法線ベクトルN#の発生確率P(N#)は、（２−１）と同様に座標x#を中心とした半径rボクセルの時空間の近傍領域を考え、式(20)でn=4とした4変量正規分布の確率密度関数で表す。物体の動きに関する情報量I_st(x#)は、式(21)と同様にして定義する。

（２−３）視点の決定
視点の決定は、（２−１），（２−２）で得られた情報量I_s(x#)，I_st(x#)(以下、「I(x#)」と記す。)を多く受け取ることができる視点V#=(x, y, z)^Tを探索することで行う。このとき、視点V#で受け取ることができる情報量Info_s(V#)，Info_st(V#)(以下、「Info(V#)」と記す。)は、式(22)のように座標x#_iの情報量I(x#_i)に座標x#_iにおける法線ベクトルN#_iと視点の方向(V#-x#_i)のなす角θ_iに応じた重みcosθ_iを加えた加重和平均で求める。ただし、重みcosθ_iが負となる点は視点V#から見えない点であることから無視し、残りのm個の可視点に対する加重和平均を考える。また、動きを考慮した情報量I_st(x#)の場合では、法線ベクトルN#_i=(x, y, z, t)^Tの時間軸成分tは無視する。

（３）実験
（３−１）形状に関する情報量に基づく視点
動きを考慮しない場合の情報量について椅子の形状をした物体のボクセルデータf(x#)を与え、物体から十分離れた視点V#で受け取ることができる形状に関する情報量Info_s(V#)を求めた。横軸および縦軸には物体に対する視点の方向を極座標系で表現した角度θ，φ、高さ軸に情報量Info_s(V#)をとったヒストグラムを作成すると、図１２のようになった。

このヒストグラムにおいて、受けとれる情報量Info_s(V#)が最大(極大)および最小(極小)となる視点から物体を見ると、図１３のようになった。図１３において輝度値は各ボクセルが持つ情報量を表しており、最大(極大)となる視点では、物体の特徴的な形状を多く含んでいた。

次に、形状に関する情報量Info_s(V#)と3次元形状の知覚のしやすさについて物体像エントロピーHを用いて評価する。物体像エントロピーHは物体の可視面の数Nと可視面iが物体全体に占める面積の割合r_iから式(23)で与えられる一次元の値で、心理実験により3次元形状の知覚のしやすさを表せることが知られている（石川尋代、佐藤幸男、“多面体認識における心理量と物体像エントロピーの関係について”信学論(D-II)、vol.J86-D-II, no.1, pp.111-118, Jan. 2003）。

視点V#において受け取ることができる情報量Info_s(V#)と物体像エントロピーHとの相関係数は、椅子の場合では0.44であったが、立方体のような単純な形状の場合では0.82となり、強い相関があることから、情報量が多く受け取れる視点ほど、物体の3次元形状を知覚しやすい視点であることがわかった。

（３−２）動きに関する情報量に基づく視点
加速や減速およびカーブや方向転換といった動きをする立方体に対して動きに関する情報量I_stを求めた結果、受けとれる情報量Info_stの最大値の変化は図１４のようになった。この結果から、静止状態よりも動いている状態、特に、速度が変化している瞬間に情報量が高くなり、動きの特徴を反映した情報量が得られた。また、動きの方向に対して垂直な方向、カーブに対して内側と外側で情報量が高くなっており、物体の動きの特徴を効果的に表現できる視点の決定ができた。

６−２．補足２
本発明は、次のように説明することもできる。

従来の撮影自動化システムは、シーンのシナリオが予め与えられている場合を想定し、シナリオに沿ったカメラワークを予め求めておき、これに沿ったカメラワークの設定法、また講義風景のように説明する講師の動きを黒板の前に限定した場合の撮影自動化システムが提案されている。

デジタルテレビが広く普及していくに伴い、デジタル多チャンネルの時代に入ってきている。これらの映像ソフトを多くの人手を要することなく集める撮影自動化システムを提案することにより、スポーツ映像、ステージ映像、講義映像など幅広い映像ソフトを収録放映するシステムを提案する。また災害現場など危険を伴うシーンの撮影自動化への応用を提案する。

本手法は時間的に変化する3次元空間のシーンを予めシナリオとか動きを拘束することなく、人間が一般的に関心を持つ領域を情報発生分布をもとに求め、この発生分布が最大になる領域を探索することによりカメラアングルを決める撮影自動化法を提案する。

3次元シーン中で情報が発生すると考えられる形状と色調、ならびにその時間的変化から空間上で発生する情報量を定義する。この情報量の発生分布の大きいところに人間の関心が集まる量を表していることを示し、この情報発生量が大きい部分を撮影する方法を提案している。

物体(ここでは椅子とか、動物の馬など)の見る位置による情報発生分布を求め、最大情報発生分布の領域を視点とすることによるカメラアングル決定法を示すとともに、自動車の動きまたサイコロを振ったとき、人間にとって最も情景がわかりやすいと考えられるカメラアングル設定の実験を行い、その有効性を示している。

ステレオカメラなどにより、3次元対象空間に現れるすべての物体の表面形状とその色調、ならびに物体表面の3次元的移動による時間的変化を調べ空間上の情報発生量をシャノンの情報理論に基づいて定義するとともに、この情報発生量の分布をもとめる。そして対象とするシーンの情報発生分布の大きい領域を撮影することにより、人間が関心を持つ領域を撮影できることを示す。そして一定時間ごとにこの情報発生分布を求めるシステムを用いて、情報発生量の空間分布が大きい部分をカメラアングルとして捉えるためのカメラワーク(撮影位置とパン、ティルト、ズームなど)を設定するシステム、ならびにこれを一定時間ごとに、撮影カメラとして用意されている各カメラに指示を出すシステム、さらには指示に基づいて撮影するカメラシステムを用意することにより撮影自動化を実現している。

本発明に係る撮影自動化システムは、形状情報量最大化視点決定法に基づく撮影自動化システムであって、撮影対象シーンの3次元形状認識を行うステレオカメラシステムと、シーンの3次元形状情報量を最大にする視点を求める視点決定システムと、最大形状情報量を得るカメラアングルを求めるためのカメラ位置、パン、ティルト、ズーム値を決定するシステムと、与えられたカメラアングルを得るためのカメラ位置ならびにカメラパラメータを決める可動カメラと、このカメラを用いて撮影するカメラからなっている。

また、本発明に係る撮影自動化システムは、シーン上に動く物体があるとき、時間的形状変化ならびに色調変化をもとに一定時間ごとに形状情報量を算出する時空間形状情報量算出システムと、一定時間ごとにカメラアングルを算出する動的最適カメラアングル決定システムと、このカメラアングルを実現する可動カメラシステムと、可動カメラを用いて撮影する動的シーン撮影自動化システムである。

また、本発明に係る撮影自動化システムは、シーンに現れている各物体の表面の凹凸ならびに色調の変化をもとに、物体表面の形状情報量を求めるシステムと、視点を決めたときのシーン全体の形状情報量を求めるシステムからなっている。

デジタル多チャンネル時代における映像ソフトの収集は、撮影する映像の本数が増えばかりではなく、自然災害現場の中継など危険な場所における撮影など厳しい条件での映像の撮影自動化への対応、またコスト面では一つの映像収集に対して多くの撮影クルー(カメラマン、ディレクタなど)を要するため制作コストが増大する。本システムはこれらを解消する一つの解決法であり、映像生成における新たな手法を提案するものである。

本発明は、たとえば映像を自動的に撮影する自動撮影システムに適用できる。

（ａ）は物体の形状をポリゴンによって表現した図面であり、（ｂ）は物体の形状をワイヤフレームによって表現した図面である。 （ａ）物体表面の各部における法線ベクトルを示す図面であり、（ｂ）は法線ベクトルの分布を示すグラフである。 （ａ）は立方格子空間において物体を表現した図面であり、（ｂ）はボクセル空間において物体を表現した図面である。 （ａ）は物体と視点との関係を示す斜視図であり、（ｂ）は視点と物体表面と物体表面の法線ベクトルとの関係を示す斜視図である。 （ａ）は視点を極座標で表現した角度θ，φを水平軸に取り、視点で受けとることができる形状情報量を垂直軸に取ったヒストグラムであり、（ｂ）は形状情報量が極値となる視点から観察した物体の状態を示す図面である。 （ａ）は視点を極座標で表現した角度θ，φを水平軸に取り、視点で受けとることができる形状情報量を垂直軸に取ったヒストグラムであり、（ｂ）は形状情報量が極値となる視点から観察した物体の状態を示す図面であり、（ｃ）は探索範囲を制限した場合に形状情報量が極値となる視点から観察した物体の状態を示す図面である。 動物体に対して時空間における形状情報量を求めた結果を示すグラフである。 動物体に関し、視点を極座標で表現した角度θ，φを水平軸に取り、視点で受けとることができる形状情報量を垂直軸に取ったヒストグラムである。 （ａ）は動物体の形状情報量が最大となる視点から観察した動物体の状態を示す図面であり、（ｂ）は動物体の形状情報量が最小となる視点から観察した動物体の状態を示す図面である。 本発明の一実施形態に係る撮影システムの構成を示すブロック図である。 本発明の他の実施形態に係る撮影システムの構成を示すブロック図である。 視点を極座標で表現した角度θ，φを水平軸に取り、視点で受けとることができる形状情報量を垂直軸に取ったヒストグラムである。 形状情報量が極値となる視点から観察した物体の状態を示す図面である。 動物体に対して時空間における形状情報量を求めた結果を示すグラフである。

符号の説明

１ 撮影システム
２ 撮影システム
１０ 撮影制御システム
１１ 撮影用カメラシステム（撮影装置）
２０ 視点決定装置
２１ ボクセル形状情報量演算部（第１演算手段）
２２ 視点形状情報演算部（第２演算手段）
２３ 視点選択部（視点選択手段）
２４ モニタシステム（形状検出装置）
２５ カメラコントローラ（撮影制御手段）
３０ 撮影制御システム
４０ 視点決定装置
４１ ボクセル表色情報量演算部（第３演算手段）
４２ 視点表色情報演算部（第４演算手段）
４３ 視点選択部（視点選択手段）
４４ モニタシステム（形状検出装置）

Claims (12)

1. 物体を撮影する際の視点を決定するための視点決定装置であって、
   物体表面の形状を表す形状データに基づいて、物体表面を構成する各部分領域に関し、当該各部分領域における法線ベクトルの変化の激しさを示す値を算出し、この値を当該各部分領域の形状情報量とする第１演算手段と、
   ある視点に関し、当該視点の位置と、前記各部分領域の位置と、前記各部分領域の形状情報量とに基づいて、当該視点で受け取ることができる形状情報量を算出する第２演算手段と、
   前記第２演算手段の演算結果に基づいて、特定の視点を選択する視点選択手段とを備えることを特徴とする視点決定装置。
2. 前記視点選択手段は、受け取ることができる形状情報量が極大となる視点を選択することを特徴とする請求項１に記載の視点決定装置。
3. 前記第２演算手段は、前記各部分領域の形状情報量に対して、前記視点と前記各部分領域との位置関係に応じた重みを加えて加重和を算出し、この加重和を前記視点で受け取ることができる形状情報量とすることを特徴とする請求項１又は２に記載の視点決定装置。
4. 前記視点選択手段は、選択し得る視点の位置を制限することができることを特徴とする請求項１から３の何れか１項に記載の視点決定装置。
5. 前記第１演算手段は、物体表面の代わりに、物体が動いた場合に物体が通過した領域の表面を用いることを特徴とする請求項１から４の何れか１項に記載の視点決定装置。
6. 物体表面の色を表す表色データに基づいて、物体表面を構成する各部分領域に関し、当該各部分領域における色の変化の激しさを示す値を算出し、この値を当該各部分領域の表色情報量とする第３演算手段と、
   ある視点に関し、当該視点の位置と、前記各部分領域の位置と、前記各部分領域の表色情報量とに基づいて、当該視点で受け取ることができる表色情報量を算出する第４演算手段とをさらに備え、
   前記視点選択手段は、さらに前記第２演算手段の演算結果にも基づいて、特定の視点を選択することを特徴とする請求項１から５の何れか１項に記載の視点決定装置。
7. 請求項１から６の何れか１項に記載の視点決定装置と、
   前記視点決定装置によって決定された視点からの撮影を行うように撮影装置を制御する撮影制御手段とを備えることを特徴とする撮影制御システム。
8. 前記形状データを生成するための形状検出装置をさらに備えることを特徴とする請求項７に記載の撮影制御システム。
9. 請求項７又は８に記載の撮影制御システムと、
   前記撮影装置とを備えることを特徴とする撮影システム。
10. 請求項１から６の何れか１項に記載の視点決定装置の前記各手段としてコンピュータを動作させることを特徴とする視点決定プログラム。
11. 請求項１０の視点決定プログラムを記録していることを特徴とするコンピュータ読み取り可能な記録媒体。
12. 物体を撮影する際の視点を決定するための視点決定方法であって、
    物体表面の形状を表す形状データに基づいて、物体表面を構成する各部分領域に関し、当該各部分領域における法線ベクトルの変化の激しさを示す値を算出し、この値を当該各部分領域の形状情報量とする第１演算処理と、
    ある視点に関し、当該視点の位置と、前記各部分領域の位置と、前記各部分領域の形状情報量とに基づいて、当該視点で受け取ることができる形状情報量を算出する第２演算処理と、
    前記第２演算処理の演算結果に基づいて、特定の視点を選択する視点選択処理とを含むことを特徴とする視点決定方法。

Images