JP2006190129A - 画像処理システム - Google Patents

Abstract

【課題】人物に負担をかけずに当該人物の視野画像を簡易に生成できる画像処理システムを提供する。
【解決手段】画像処理システム１は、人物ＳＢの顔部ＳＢｆを撮影するカメラＡ１〜２と、人物ＳＢの想定される視野ＥＳをカバーした撮影を行うカメラＢ１〜３と、画像処理装置２とを備えており、人物ＳＢの頭部に近赤外光を照射する照明装置が設けられている。カメラＡ１〜２で取得した画像に基づき人物ＳＢの顔位置・顔向きが検出され、近赤外光で照明された眼周辺の画像から瞳孔の位置を取得して基準視線の方向が検出される。そして、検出された顔位置・顔向きおよび基準視線に基づき人物ＳＢに設定した仮想カメラで撮影される視野ＥＳの画像を、カメラＢ１〜３で取得した多視点の画像に基づき生成する。その結果、人物に負担をかけずに当該人物の視野画像を簡易に生成できる。
【選択図】図１

Description

本発明は、人物に関する視野画像を生成する画像処理システムに関する。

人物の視線を検出する技術としては、例えば特許文献１に開示されるものがある。この技術よれば、視線検出の対象となる人物(被験者)の頭部に取り付けた赤外線照射装置から赤外線を眼に照射し、その反射光を被験者の頭部に取り付けた眼球カメラで検出することによって視線が検出でき、被験者の頭部に取り付けたカメラで視野内の画像(視野画像)を取得できる。

特開２００２−１４３０９４号公報

しかしながら、上記の特許文献１の技術では、被験者の頭部に各種の装置を取り付けなければならないため、各装置が小型のものであっても被験者の行動を制約したり、被験者自身や周囲の人に違和感を与えるなどの弊害を生じることとなる。すなわち、被験者に負担をかけずに、その視野画像を簡易に生成するのは困難である。

本発明は、上記課題に鑑みてなされたものであり、人物に負担をかけずに当該人物の視野画像を簡易に生成できる画像処理システムを提供することを目的とする。

上記の課題を解決するため、請求項１の発明は、画像処理システムであって、(a)人物に関する顔の位置と顔の向きと視線とを、前記人物から離隔した離隔位置で検出する検出手段と、(b)前記人物に関する視野をカバーする多視点の画像を取得する画像取得手段と、(c)前記多視点の画像に基づき、前記検出手段で検出された顔の位置と顔の向きと視線とに対応した視野画像を生成する画像生成手段とを備える。

また、請求項２の発明は、請求項１の発明に係る画像処理システムにおいて、前記離隔位置には、前記人物を撮像する撮像手段が設けられており、前記検出手段は、(a-1)前記撮像手段で取得した人物の撮像画像に対して所定の処理を行うことにより、前記顔の位置と前記顔の向きと前記視線とを検出する手段を有する。

また、請求項３の発明は、請求項２の発明に係る画像処理システムにおいて、前記画像取得手段は、(b-1)複数の撮像装置によって前記多視点の画像を取得する手段と、(b-2)前記複数の撮像装置それぞれに関する光学パラメータ情報と、前記複数の撮像装置に関する相互の相対位置情報とを取得する情報取得手段とを有する。

また、請求項４の発明は、請求項３の発明に係る画像処理システムにおいて、前記画像生成手段は、(c-1)前記情報取得手段で取得した前記光学パラメータ情報と前記相互の相対位置情報とに基づき、前記多視点の画像において前記視野画像の各画素に対応した位置を検知して当該位置の周辺画素で補間することにより前記視野画像の各画素データを生成する手段を有する。

また、請求項５の発明は、請求項１ないし請求項４のいずれかの発明に係る画像処理システムにおいて、(d)前記画像生成手段で生成された視野画像に対して、前記視線に対応した位置に所定のマークを重畳させる処理を行う手段をさらに備える。

請求項１ないし請求項５の発明によれば、人物に関する視野をカバーする多視点の画像を取得し、多視点の画像に基づき、人物から離隔した離隔位置で検出された顔の位置と顔の向きと視線とに対応した視野画像を生成するため、人物に負担をかけずに当該人物の視野画像を簡易に生成できる。

特に、請求項２の発明においては、離隔位置に設けられた撮像手段で取得した人物の撮像画像に対して所定の処理を行うことにより、顔の位置と顔の向きと視線とを検出するため、顔の位置等を離隔位置から簡易に検出できる。

また、請求項４の発明においては、複数の撮像装置に関する光学パラメータ情報と相互の相対位置情報とに基づき、多視点の画像において視野画像の各画素に対応した位置を検知して当該位置の周辺画素で補間することにより視野画像の各画素データを生成するため、視野画像を精度良く生成できる。

また、請求項５の発明においては、視野画像に対して視線に対応した位置に所定のマークを重畳させる処理を行うため、人物の視線方向を容易に把握できる。

＜画像処理システムの要部構成＞
図１は、本発明の実施形態に係る画像処理システム１の要部構成を示す図である。

画像処理システム１は、２つのカメラ群Ａ、Ｂと、画像処理装置２とを有しており、対象となる人物ＳＢの視線方向を中心とした視野画像を生成できる。図示は省略しているが、人物ＳＢの頭部は照明装置による近赤外光の照明が行われているものとする。

カメラ群Ａは、人物ＳＢから離隔した離隔位置に設けられる撮像手段として機能し、例えばデジタルビデオカメラとして構成される２台のカメラ(撮像装置)Ａ１〜２を備えている。これら２台のカメラＡ１〜２によって異なる２つの視点位置から人物ＳＢの顔部ＳＢｆを撮影して得られた各画像については、無線または有線で画像処理装置２に送信される。

カメラ群Ｂは、例えばデジタルビデオカメラとして構成される３台のカメラＢ１〜３を備えており、異なる３つの視点位置から人物ＳＢの想定される視野ＥＳをカバーした撮影が可能となっている。これらのカメラＢ１〜３で取得した多視点の画像については、無線または有線で画像処理装置２に送信される。

画像処理装置２は、例えばパーソナルコンピュータとして構成されており、本体部２０と、画像表示が可能な表示部２１と、マウス２２１およびキーボード２２２からなる操作部２２とを備えている。

本体部２０は、コンピュータとして働くＣＰＵおよびメモリを内蔵し、画像処理装置２の各部を統括的に制御する。この本体部２０においては、上記のＣＰＵにおいて画像処理プログラムが実行されることで、後述する画像処理動作が行われることとなる。

また、本体部２０は、例えば特開２００３−２５６８０４号公報に記載される方法により、各カメラＡ１〜２、Ｂ１〜３の光学パラメータ（例えば撮影レンズの焦点距離、光軸中心画像座標、画素サイズなど）と、基準の三次元座標系に対する各カメラの位置・姿勢とを計算する。このように取得された各カメラに関する光学パラメータ情報とカメラに関する相互の相対位置情報とは、各カメラの校正データとして例えば本体部２０内のハードディスクに保存される。

＜画像処理システム１の動作＞
画像処理システム１においては、各カメラＡ１〜２、Ｂ１〜３を起動するとともに画像処理装置２を起動し、画像処理装置２で上記の画像処理プログラムを実行する。これにより、以下で説明する動作が実施されることとなる。

図２は、画像処理システム１の基本的な動作を示すフローチャートである。

ステップＳ１では、各カメラＡ１〜２、Ｂ１〜３を同期させ、人物ＳＢの顔部ＳＢｆ(図１)をカメラＡ１〜２で撮影して２枚の画像を取得するとともに、人物ＳＢの想定される視野ＥＳをカメラＢ１〜３で撮影して３枚の画像(入力画像)を取得する。そして、カメラＡ１〜２、Ｂ１〜３それぞれで取得された各画像を、画像処理装置２に転送する。

ステップＳ２では、ステップＳ１で転送されたカメラ群Ａによる２枚の撮影画像に対して画像処理を行うことにより、画像処理装置２において人物ＳＢに関する顔の位置・顔の向きおよび基準の視線Ｄｏ(図３)を検出する。具体的には、２台のカメラＡ１〜２で取得された画像を解析することで三次元的な人物ＳＢの顔位置・顔向きが検出されるとともに、近赤外線で照明された人物ＳＢの眼周辺の画像から瞳孔の位置を取得して基準視線Ｄｏの方向が検出される。ここで、基準視線Ｄｏは、両眼の中心の平均位置Ｐｏを起点として両眼の視線の平均方向に向かう１本の直線として与えられる。また、上記の顔位置・顔向きおよび基準視線Ｄｏの方向については、例えば特開２００３−１５８１６号公報に記載される方法により検出できる。

ステップＳ３では、ステップＳ２で検出された基準視線Ｄｏの起点Ｐｏを視点とし、人物ＳＢの顔向きと同一方向に光軸を有する仮想カメラＶｃ(図３)を人物ＳＢについて設定する。なお、仮想カメラＶｃは、標準の画角および解像度を有しているものとする。

ステップＳ４では、ステップＳ３で設定された仮想カメラＶＣによって撮影される人物ＳＢの視野ＥＳ(図３)を示す画像を、カメラＢ１〜３で取得した各画像を合成することで生成する。すなわち、カメラＢ１〜３で取得した多視点の画像に基づき、ステップＳ２で検出された顔の位置と顔の向きと視線とに対応した人物ＳＢの視野画像が生成される。

この視野画像については、例えば山本ほかによる論文「ボリュームレンダリングを利用したイメージベーストレンダリングの試み」（画像電子学会誌、第３０巻、第４号、２００１）で開示されるイメージベーストレンダリング手法を用いて、各カメラＢ１〜３による撮影画像(入力画像)群から仮想カメラＶＣで撮影されるべき画像が合成される。具体的には、人物ＳＢの想定される視野に対応した三次元空間内の各点(ボクセル)について、各入力画像に対する一致度を計算し、仮想カメラＶＣによる撮影画像の各画素値に関して各画素が対応する三次元空間内の点における上記一致度に応じて適応的に入力画像の画素を選択することにより、視野画像が生成されることとなる。ここでは、周辺の画素による補完処理、つまり補間して求めようとする画素について入力画像中の各画素のうち最も近いＮ個の、視線に対応した周辺画素を選び出し、その重み付け平均した画素値を求める処理が行われる。

以上のように、各カメラに関する光学パラメータ情報とカメラ相互の相対位置情報とに基づき、カメラＢ１〜３で取得した多視点の画像において視野画像の各画素に対応した画素位置を検知して当該位置の周辺画素で補間することにより、視野画像の各画素データが生成され、これらを合成することで視野画像が作成されることとなる。

ステップＳ５では、ステップＳ４で生成された人物ＳＢの視野画像に対して、基準視線Ｄｏ(図３)に対応した位置に”＋”印を重畳させる合成処理を行う。この基準視線Ｄｏに対応する視野画像上の位置については、仮想カメラＶＣの撮像面と基準視線Ｄｏとの交点として算出できる。

以上のようなステップＳ１〜Ｓ５の動作を時刻ｔ、ｔ＋１、ｔ＋２、・・・で繰り返し、基準視線Ｄｏのマークが合成された映像を順次に、送信用の画像形式に変換して映像サーバ(不図示)に転送する。そして、映像サーバから映像が転送された放送用機器により、放送用映像に合成されて配信されることとなる。これにより、注目すべき人物の視線に追従したインパクトのある映像を視聴者に提供できる。

以上のような画像処理システム１の動作により、人物ＳＢの想定される視野ＥＳをカバーする多視点の画像を各カメラＢ１〜３で取得し、これらの画像に基づき各カメラＡ１〜２によって遠隔から検出された人物ＳＢの顔位置と顔向きと視線とに対応した視野画像を生成するため、人物に負担をかけずに当該人物の視野画像を簡易に生成できる。

本実施形態においては、人物の頭部の位置がほぼ同一位置に静止する場合を想定しているが、人物の頭部が移動する場合には、想定される全ての範囲をカバーする多数のカメラを設置するか、カメラの方向や画角等を例えばモータ駆動により変更可能とするようにする。ここで、後者のようにカメラを駆動する場合には、各カメラの光学パラメータと、各カメラの相対的位置関係とが動的に変更されることとなるが、モータの制御信号に応じた光学パラメータ等の変化を予めテーブル化しておいたり、光学パラメータ等の変化を近似した変換式を予め設定しておくことで、カメラが駆動されても光学パラメータ等の検出を適切に行えることとなる。

本発明の実施形態に係る画像処理システム１の要部構成を示す図である。 画像処理システム１の基本的な動作を示すフローチャートである。 仮想カメラＶＣを説明するための図である。

符号の説明

１ 画像処理システム
２ 画像処理装置
Ａ１〜２、Ｂ１〜３ カメラ
Ｄｏ 基準視線
ＥＳ 視野
ＳＢ 人物
ＳＢｆ 顔部

Claims (5)

1. 画像処理システムであって、
   (a)人物に関する顔の位置と顔の向きと視線とを、前記人物から離隔した離隔位置で検出する検出手段と、
   (b)前記人物に関する視野をカバーする多視点の画像を取得する画像取得手段と、
   (c)前記多視点の画像に基づき、前記検出手段で検出された顔の位置と顔の向きと視線とに対応した視野画像を生成する画像生成手段と、
   を備えることを特徴とする画像処理システム。
2. 請求項１に記載の画像処理システムにおいて、
   前記離隔位置には、前記人物を撮像する撮像手段が設けられており、
   前記検出手段は、
   (a-1)前記撮像手段で取得した人物の撮像画像に対して所定の処理を行うことにより、前記顔の位置と前記顔の向きと前記視線とを検出する手段、
   を有することを特徴とする画像処理システム。
3. 請求項２に記載の画像処理システムにおいて、
   前記画像取得手段は、
   (b-1)複数の撮像装置によって前記多視点の画像を取得する手段と、
   (b-2)前記複数の撮像装置それぞれに関する光学パラメータ情報と、前記複数の撮像装置に関する相互の相対位置情報とを取得する情報取得手段と、
   を有することを特徴とする画像処理システム。
4. 請求項３に記載の画像処理システムにおいて、
   前記画像生成手段は、
   (c-1)前記情報取得手段で取得した前記光学パラメータ情報と前記相互の相対位置情報とに基づき、前記多視点の画像において前記視野画像の各画素に対応した位置を検知して当該位置の周辺画素で補間することにより前記視野画像の各画素データを生成する手段、
   を有することを特徴とする画像処理システム。
5. 請求項１ないし請求項４のいずれかに記載の画像処理システムにおいて、
   (d)前記画像生成手段で生成された視野画像に対して、前記視線に対応した位置に所定のマークを重畳させる処理を行う手段、
   をさらに備えることを特徴とする画像処理システム。

Images