JP2004220179A - 画像生成装置、画像生成方法、及び画像生成プログラム - Google Patents

画像生成装置、画像生成方法、及び画像生成プログラム Download PDF

Info

Publication number
JP2004220179A
JP2004220179A JP2003004617A JP2003004617A JP2004220179A JP 2004220179 A JP2004220179 A JP 2004220179A JP 2003004617 A JP2003004617 A JP 2003004617A JP 2003004617 A JP2003004617 A JP 2003004617A JP 2004220179 A JP2004220179 A JP 2004220179A
Authority
JP
Japan
Prior art keywords
guidance
image
effect
target
audience
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003004617A
Other languages
English (en)
Other versions
JP3959354B2 (ja
Inventor
Shingo Yanagawa
新悟 柳川
Kenji Shirakawa
健治 白川
Yasuaki Yamauchi
康晋 山内
Shinko Sekine
真弘 関根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2003004617A priority Critical patent/JP3959354B2/ja
Publication of JP2004220179A publication Critical patent/JP2004220179A/ja
Application granted granted Critical
Publication of JP3959354B2 publication Critical patent/JP3959354B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】観客の注目位置を特定の誘導対象に誘導するように効果を加えた画像を生成することを可能にする。
【解決手段】画像生成装置10は、予めコンテンツ製作者の設定した、観客の注目位置を誘導させたい対象の情報や、観客の注目を誘導対象にむけて誘導する効果に関する情報を誘導情報記憶部13に登録しておき、注目位置計算部11で観客の画面上の注目位置を決定し、次に誘導効果決定部121で、観客の注目を誘導対象にむけて誘導する効果を決定する。画像処理部122は素材情報記憶部140からの画像入力に対して誘導効果を加え画像を生成する。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、データ放送テレビジョン装置、リアルタイムコンピュータグラフィックス(CG)などで静止画像、動画像、立体映像など各種の画像生成を行う画像生成装置、画像生成方法、及び画像生成プログラムに関する。
【0002】
【従来の技術】
一般に、テレビジョン装置やコンピュータなどにおいて、静止画像、動画像、立体映像など各種の画像(映像)を表示させる際、これらの画像を見ている観客に対して特に注目させたい対象がある場合には、何らかの誘導を意図した効果を画像中に加えていた。従来では、画像(映像)内の誘導させたい対象、あるいはその周辺に前もって効果を加えてコンテンツを作成する方法がとられていた。
【0003】
しかし、この手法だと観客が既に誘導対象に注目していた場合、効果が煩わしく感じて逆効果であった。他にも、観客の現在の注目位置がわからないまま誘導効果を施さなければならなかったので、効果的な注目位置誘導を行うことができなかった。また、観客の注目が意図している通りに誘導対象に誘導されたかどうかを判断することもできなかった。
【0004】
また、アイカメラや、特許文献3に記載された視線検出装置(観客の顔画像中から切り出した観客の瞳近傍のパターンとあらかじめ登録しておいた画面上のある箇所(アイコン等の指標)を見ている観客の瞳近傍のパターンから作成した辞書とを比較して、観客の実際に見ている注目位置を算出する装置)などを用いて、観客の視線移動といった注目動作をリアルタイムに検出し、利用できるようになって、観客の視線方向から求められる焦点に応じたぼやけ画像を生成する装置が発明された(特許文献1参照)。
【0005】
ただし、特許文献1における視点誘導では、焦点を視線方向からではなく誘導対象に焦点を設定することでユーザの目を焦点に誘導することを狙うものであり、観客の注目位置から誘導対象に観客の注目を誘導させる効果はなかった。他にも観客の注目位置を検出し、その注目位置に基づいて適切なぼやけ効果を加えることにより観客の疲労を低減する画像表示装置もあったが、視点誘導を行うものではなかった(特許文献2参照)。
【0006】
【特許文献1】
特開平11−161814号公報(第2頁、請求項12)
【0007】
【特許文献2】
特開平06−215092号公報(第2頁、請求項1)
【0008】
【特許文献3】
特開平11−175246号公報(第1頁、代表図)
【0009】
【発明が解決しようとする課題】
このように従来では、画像(映像)内の誘導させたい対象やその周辺に前もって効果を加えてコンテンツを作成する方法では、効果的な注目位置誘導を行うことができなかった。また、観客の注目が意図している通りに誘導対象に誘導されたかどうかを判断することもできなかった。
【0010】
また従来では、観客の視線方向から求められる焦点に応じたぼやけ画像を生成する(特許文献1)、誘導対象に焦点を設定することでユーザの焦点を誘導する、注目位置に基づいてぼやけ効果を加える(特許文献2)といったことができるものの、観客の現在の注目位置に応じて、リアルタイムに観客の視線を例えばコンテンツ製作者の意図した誘導対象など、特定の誘導対象に対して効果的に誘導することができなかった。
【0011】
本発明の目的は、観客の注目位置を特定の誘導対象に誘導する画像を生成する画像生成装置、画像生成方法、及び画像生成プログラムを提供することである。
【0012】
【課題を解決するための手段】
本発明は、画面に表示させる画像を生成する画像生成装置において、画面に表示される画像に対する観客の注目位置に関する情報をもとに、前記画像中の誘導対象に前記注目位置を誘導するための誘導効果を決定する誘導効果決定手段と、前記誘導効果決定手段によって決定された誘導効果を施した画像を生成する画像処理手段とを具備したことを特徴とする。
【0013】
また本発明は、画面に表示させる画像を生成する画像生成装置において、画面に表示される画像に対する観客の注目位置に関する情報を求める注目位置計算手段と、前記観客の注目位置の誘導先とする画像中の誘導対象の情報と画像に施す誘導効果に関する情報を記憶する誘導情報記憶手段と、画像を生成するために必要な画像データを記憶する素材情報記憶手段と、前記注目位置計算手段によって求められた注目位置に関する情報と前記誘導情報記憶手段により記憶された誘導対象の情報とから、観客の注目位置を誘導対象に誘導するための誘導効果を決定する誘導効果決定手段と、前記誘導効果決定手段により決定された誘導効果を、前記素材情報記憶手段に記憶された画像データに施して画像を生成する画像処理手段とを具備したことを特徴とする。
【0014】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図1は本実施形態に係わる画像生成装置10の構成を示すブロック図である。画像生成装置10は、例えば半導体メモリ、CD−ROM、DVD、磁気ディスク等の記録媒体に記録されたプログラムを読み込み、このプログラムによって動作が制御されるコンピュータによって実現される。コンピュータには、画像などが表示される表示装置、キーボードや各種ポインティングデバイスなどを含む入力装置、プログラムやデータなどを記憶するための記憶装置などの装置を含む。画像生成装置10は、画像を見ている観客の注目位置を検出し、この注目位置を画像中の誘導対象に誘導する効果を加えた画像を生成する機能を提供する。
【0015】
図1に示すように、画像生成装置10は、注目位置計算部11、画像生成制御部12、誘導情報記憶部13、素材情報記憶部14の機能を含んで構成されている。また、画像生成制御部12は、誘導効果決定部121及び画像処理部122を含んでいる。
【0016】
注目位置計算部11は、観客の画面に表示される画像に対する注目位置をリアルタイムに求めるもので、例えば後述する図3のアイカメラ31等を用いて構成する。また、注目位置計算部11は、注目位置だけでなく観客の画面上における視界範囲の情報を検出することができるものとしても良い。画像生成装置10がゲームなどの画像を生成する場合には、注目位置計算部11をコントローラなどの入力装置とし、観客がコントローラの操作によって画面中で位置を移動させることができるキャラクタの位置情報を観客の注目位置として利用しても良い。
【0017】
画像生成制御部12は、誘導情報記憶部13に予め記憶された例えばコンテンツ製作者が設定した誘導対象(観客の注目位置の誘導先)の情報をもとに、注目位置計算部11により検出される観客の画像に対する注目位置と誘導対象との位置関係に応じて、素材情報記憶部14に記憶された画像に対して、誘導情報記憶部13に記憶された画像効果を加えて画像を生成する。
【0018】
誘導効果決定部121は、CPU、メモリ等から構成されており、図示しない入力手段(キーボード、ポインティングデバイスなど)、メモリ中に記憶される所与のプログラムに基づき、誘導情報記憶部13に記憶されている誘導対象の位置情報と注目位置計算部11で計算された観客の注目位置との距離及び向き(以降、注目位置誘導ベクトルと称する)を計算して、その距離に応じて注目位置の誘導を行うかどうかを判断する。あるいは、誘導効果決定部121は、誘導効果を施す時間の経過に応じて注目位置の誘導を行うかどうかを判断しても良い。さらに、誘導効果決定部121は、注目位置から誘導対象の位置までの距離、方向、あるいは時間の少なくとも2つの組み合わせにより誘導効果を決定しても良い。そして誘導を行うものについては、注目位置誘導ベクトルに応じて、例えばコンテンツ製作者の設定する誘導情報記憶部13に記憶された誘導効果情報の中から一つまたは複数の誘導効果を決定する。ゲームやリアルタイムCGなどのように、複数の異なる種類の画像データ、例えば複数の2次元ピクチャや3次元オブジェクトを含んでシーンが構成されるものは、それぞれに対して誘導効果を決定する。ここで3次元オブジェクトとは、オブジェクトの形状を表すデータが(X、Y、Z)の3次元の要素で定義されているものであり、例えばポリゴンオブジェクトや自由曲面で形成されたオブジェクト等である。また2次元ピクチャとは、ピクチャの形状を表すデータが(X、Y)の2次元の要素で定義されているものであり、例えばアニメーションのセル画やCGでのスプライト、テレビ映像、動画のフレームデータ等である。
【0019】
画像処理部122は、CPU、メモリ等から構成されており、図示しない所与の入力手段、メモリ中に記憶される所与のプログラムに基づき、観客の注自位置とコンテンツ作成者の設定する誘導対象及び誘導効果決定部121で計算された注目位置誘導ベクトルをパラメータとして、素材情報記憶部14の画像データ、例えば静止画像データあるいは動画データ内の現在のフレームデータに対して、誘導効果決定部121で決定された誘導効果を施す。ゲームやリアルタイムCGなどでは、シーンを構成する2次元ピクチャ及び3次元オブジェクトそれぞれに対して誘導効果決定部121で決定された誘導効果を施す。
【0020】
誘導情報記憶部13は、コンテンツ製作者の設定する誘導対象に関する情報を記憶するものであり、誘導対象が点ならば画面内の位置情報が、誘導対象が領域ならば画面内の領域情報を記憶している。誘導対象は複数であってもかまわない。
【0021】
素材情報記憶部14は、画像を生成するために必要な素材となる画像データ、すなわち3次元オブジェクトや2次元ピクチャなどを含む情報を記憶するものである。テレビジョン画面の映像を生成する場合には、素材情報記憶部14には、動画データ、現在のフレームデータが記憶される。また、リアルタイムCG、ゲーム画像(映像)などを生成する場合には、3次元オブジェクトや2次元ピクチャのデータを含んでいても良い。
【0022】
次に、本実施形態における画像生成装置10の動作の概略について説明する。
【0023】
図2は、観客21と画像生成装置10によって生成された画像を表示するテレビジョン画面22を示している。
【0024】
画面22では、商品と商品の説明をする人物と商品の注文に用いられる電話番号と電話機27が表示されている。また、観客21は画面22上の注目位置24に注目している。
【0025】
コンテンツ製作者側は観客21に商品を注文する電話番号を誘導対象25とし、注目させたいとする。既存の手法では、観客21が画面のどの位置に注目しているかに関係なく、前もって誘導対象を拡大、縮小、変形などの効果を加えてアニメーションさせる、あるいは色を絶え間なく変化させ光らせるなどといったアピール効果を、映像ソースを製作する段階で行っていた。しかし、これでは既に誘導対象に注目している観客にとっては見づらいだけで逆効果の場合が多い。また、誘導対象をアピールすることはできても、観客の注目位置を誘導対象の方向に誘導できるかどうかはわからない。
【0026】
そこで、画像生成装置10は、現在の観客21の注目位置24と、コンテンツ製作者の設定した誘導対象(電話番号)から的確な誘導効果を選択し、画面上の的確な場所、あるいは対象に対して誘導効果を施した画像を生成する。テレビジョン放送やリアルタイムCGにおいて、これらを実施するためには、画面22を見ている観客21の注目位置24をリアルタイムに検出する必要がある。
【0027】
次に、本実施形態において、観客の注目位置を検出することにより、リアルタイム検出するための手法について説明する。
【0028】
図3は、注目位置計算部11としてアイカメラ31を装着した観客32が画面33の映像を見ている様子を示している。アイカメラ31は、例えば角膜反射方式で観客32の注視点を検出するよう構成されている。角膜反射方式とは、眼球に対して光(近赤外光)をあて、眼球の角膜内部に生じる虚像(反射光)を捕らえる方式であり、眼球の回転中心と角膜の曲率中心がずれていることを利用して虚像点の動きから観客の実際に見ている注目位置を算出する。さらに、観客32の視界範囲を検出する。
【0029】
また、特開平11−175246(特許文献3参照)のように、観客の顔画像中から切り出した観客の瞳近傍のパターンとあらかじめ登録しておいた画面上のある箇所(アイコン等の指標)を見ている観客の瞳近傍のパターンから作成した辞書とを比較して、観客の実際に見ている注目位置を算出するという手法を用いることもできる。
【0030】
次に、図4に示すフローチャートを参照しながら、誘導効果決定部121における処理動作について説明する。
【0031】
誘導効果決定部121は、注目位置計算部11から得られる注目位置24(注目位置情報)、誘導対象25の位置、及び誘導情報記憶部13に記憶されている情報から誘導効果のパラメータを計算して求める。
【0032】
最初に、誘導効果決定部121は、注目位置計算部11からの入力(注目位置情報)により観客21による注目位置24の設定を行う。注目位置計算部11からの入力が観客21の視点位置であれば、観客21の画面上の注目位置24を注目位置(x1,y1)に設定する。ゲームなどで観客の操作する2次元ピクチャ及び3次元オブジェクトを注目対象とする場合、その位置を注目位置{(x1,y1)または(x1,y1,z1)}に設定する(ステップA1)。
【0033】
次に、誘導効果決定部121は、以降の処理で用いる注目位置誘導ベクトル26{(x2,y2)または(x2,y2,z2)}を、注目位置24と誘導情報記憶部13に記憶されている誘導対象25の位置{(x3,y3)または(x3,y3,z3)}の差より計算する(ステップA2)。
【0034】
次に、誘導効果決定部121は、注目位置誘導ベクトル206のスカラー量から注目位置24と誘導対象25との距離を計算する(ステップA3)。
【0035】
次に、誘導効果決定部121は、画像を生成するのに必要な2次元ピクチャ、3次元オブジェクト毎に、注目位置24と誘導対象25との距離に応じて誘導効果を施すか否かを決定する(ステップA4,A5)。なお、誘導効果を施すか否かを決定するための閾値は誘導情報記憶部13に予め記憶させておくものとする。
【0036】
以下の表1には、誘導効果決定部121が誘導効果を施すか否かを判別する条件を分類して示している。
【0037】
【表1】
Figure 2004220179
【0038】
すなわち、誘導対象に観客の注目を誘導させたい場合には、注目位置24と誘導対象25との距離が予め設定された閾値以下であれば、観客は既に誘導対象に注目しているものと判別して誘導効果を施さず、距離が閾値を越えていれば、観客は誘導対象に注目していないものと判別して誘導効果を施すものとする。
【0039】
また、誘導対象に観客の注目をそらせたい場合には、注目位置24と誘導対象25との距離が予め設定された閾値以下であれば、観客は既に誘導対象に注目しているものと判別して誘導効果を施し、距離が閾値を越えていれば、観客は誘導対象に注目していないものと判別して誘導効果を施さないものとする。
【0040】
次に、誘導効果決定部121は、画像を生成するのに必要な2次元ピクチャ、3次元オブジェクト毎に、誘導情報記憶部13に記憶されている何れの誘導効果を施すかを決定する。誘導情報記憶部13には、何れの誘導対象に対して何れの誘導効果を施すかを示す誘導情報が記憶されているものとする。また、誘導情報記憶部13には、注目位置誘導ベクトル206の向き、大きさ、また効果を施す2次元ピクチャ及び3次元オブジェクトの種類に応じて選択的に誘導効果の種類や強度を決定するための誘導情報が記憶されていても良い。また、注目位置誘導ベクトル206の向きと大きさだけでなく、誘導効果を発生させる地点と観客の注目位置までの距離あるいは方向、さらには注目位置誘導ベクトル206との組み合わせに応じて誘導効果を決定できるようにしても良い。なお、誘導効果決定部121は、1つの2次元ピクチャ、または3次元オブジェクトに関して複数の誘導効果を決定しても良い(ステップA6)。
【0041】
誘導効果決定部121は、これら一連の誘導効果を施すかどうかの判別と誘導効果の決定を、画像を生成するのに必要な2次元ピクチャ、3次元オブジェクト全てに対して行ったかを判別し(ステップA7)、全てに対して処理が完了していれば処理対象とする全ての2次元ピクチャ、3次元オブジェクトに対して決定された誘導効果の情報を画像処理部122に提供して処理を終了する。
【0042】
次に、画像処理部122の動作の詳細について説明する。画像処理部122は、誘導効果決定部121から提供された誘導効果の情報に応じて、素材情報記憶部14に記憶された誘導効果に用いる素材情報を用いて画像に対して誘導効果を施す。
【0043】
図2に示すテレビジョン画面での例では、入力動画像のフレームデータ、誘導対象(電話番号)25の2次元ピクチャ、電話機27の2次元ピクチャの情報から画面22が合成されており、これらの情報は素材情報記憶部14に記憶されている。
【0044】
以下の表2には、図2の画面に表示される画像に対して誘導情報決定部121で決定された誘導効果の例を表している。
【0045】
【表2】
Figure 2004220179
【0046】
例えば、入力動画像のフレームデータ(2次元ピクチャ)に対しては、集中線効果と色の変化を用いた誘導効果を施し、誘導対象(電話番号)25(2次元ピクチャ)に対しては、色の変化を用いた誘導効果を施し、注目位置の誘導に用いるオブジェクトである電話機27についてはアニメーションと拡大縮小を用いた誘導効果を施すものとしている。
【0047】
画像合成部122は、これら画像を生成するのに必要な2次元ピクチャ及び3次元オブジェクト毎に決定した誘導効果に応じて、それぞれに対して画像処理を施して合成する。これにより、誘導効果を施して合成された画像が生成される。
【0048】
次に、画像処理部122によって施される誘導効果(画像処理)の具体例について、図5〜図11を参照しながら説明する。
【0049】
図5(a)(b)は、入力動画像のフレームデータ(2次元ピクチャ)に対して、観客の注目位置を、現在の注目位置から誘導対象に誘導するための効果として集中線効果を施した例である。画像処理部122は、現在の注目位置から誘導対象の間の何れかの位置を効果線(集中線)が集まる中心、すなわち焦点として効果線を素材情報記憶部14の画像データ、あるいは動画データ内の現在のフレームデータの一部あるいは全体に対して描画した例を示している。
【0050】
図5(a)は、焦点63a(効果の中心)を誘導対象62aの位置に設定し、焦点63aを中心とした効果線の向きと注目位置誘導ベクトル64aとの角度が±180度周辺の方向の効果線に対して、特に他とは異なる色の効果を施したものである(図6(a)参照)。また、1本の効果線の太さを、効果の中心(焦点63a)からの距離に比例してしだいに太くしている(図6(b)参照)。こうして、注目位置誘導ベクトル64aの方向の効果線が他と異なる色に変化させることで誘導対象62aの方向に観客の意識が向かい、また効果線の中心(焦点63a)に観客の意識が向かうことを利用して、観客の注目位置誘導を行うものである。
【0051】
図6(a)には効果線の向きと色変化の効果の関係を示し、図6(b)には効果の中心からの距離と効果線の太さの関係を示している。
【0052】
図5(b)は、図5(a)とは異なり、誘導効果の中心(焦点63b)を注視位置61bと誘導対象62bとの位置関係に応じて動かすことで注目位置誘導を行う例である。焦点63bを注目位置61bから誘導対象62bの方向に、図6(c)のグラフの関係に示す距離に応じて近づけた位置に設定しながら注目位置誘導を行う。次のステップ(あるいは単位時間後)に注目位置61bが焦点63bに誘導されていれば、焦点63bが誘導対象62bに近づいているので、さらに図6(c)のグラフの距離分近づけた位置に設定する。注目位置61bが誘導対象62bのごく近くになるまで(誘導情報決定部121で距離が閾値以下になり効果を施さないと判断されるまで)、一連の焦点63bの位置の移動を繰り返し、画像効果を施すことで、少しずつかつスムースな注目位置誘導を行う。なお、図6(c)に示すグラフの関係以外にも、観客の視野角、モニターと観客の距離や向きなどの情報を収集し、この情報を利用して焦点63bの移動距離を求めてもよいし、画面の実際の大きさから決めてもよい。なお、効果線の太さは、図5(a)の場合と同じように図6(b)に示す関係に従って決めるものとする。
【0053】
なお、図5に示す誘導効果の例では、焦点に向かう効果線による集中線効果を用いているが、画像処理がある焦点を中心とし、注自位置誘導ベクトルに応じた画像効果、あるいは画像処理であれば、例えば対象の2次元ピクチャあるいは3次元オブジェクトの一部ないし全部を、ある点を中心に光らせて観客を注目させたり、注目位置誘導ベクトルに応じて矢印のようなものを描画してもよい。また、波紋効果のように変形処理を施すものでもかまわない。図7には波紋効果を施した画像の例を示している。注目位置81と誘導対象82を設定して、誘導対象82から注目位置81の方向に波紋効果による変形を行っている。
【0054】
また、3Dゲームなどのように、誘導対象、注目位置、処理の対象となる画像情報の位置が3次元(x、y、z)で定義される場合には、3次元の注目位置誘導ベクトルに応じて誘導効果を施す。この場合、パースをかける等、3次元での処理を行う。なお、誘導対象から観客の注目をそらさせたい効果を施す場合は、誘導対象と反対の方向に効果の中心を設定することで実現する。
【0055】
次に、他の画像効果の例として、誘導対象(電話番号)25に対する画像効果について説明する。
【0056】
図8は、時間tの変化に応じた誘導対象(電話番号)25の色の変化について図示したものある。図8に示すように、時間の経過(t→0,1,2…)に応じて、誘導対象(電話番号)25を表示する際の色を、例えば赤色表示、緑色表示、青色表示…のように順次変化させて、観客の注目位置を誘導対象に注目させる。この色の変化をR,G,B成分でそれぞれ分けてグラフに表したものを図9に示している。なお、色の変化は、このように時間に応じて連続的に変化させても、時間に応じて高速に色値を入れ替えて誘導対象をフラッシュさせてもかまわない。
【0057】
また、時間の変化に応じた誘導効果を施す例としては、ぼやけ処理を施したもの、図7の波紋効果を施したものなどがある。ぼやけ処理の例では、人間の目がくっきり見える部分を注視しやすいことを利用して、焦点の部分をくっきり見えるように、焦点から遠ざかるごとにぼけて見えるように、素材情報記憶部14に記憶された画像データ、あるいは動画データ内の現在のフレームデータの一部あるいは全体に対して、ぼやけフィルタリング処理を施して描画する。この際、時間tの変化に応じて、例えばぼやけて見える範囲を次第に拡大して、焦点(誘導対象)の部分だけが明瞭に見えるようにしていく。これにより、観客の注目位置を誘導対象に誘導することができる。
【0058】
また、図7の波紋効果の例のように、例えば図5を用いて説明したように決められる焦点をゆがみの中心に設定し、素材情報記憶部14の画像データ、あるいは動画データ内の現在のフレームデータの一部あるいは全体をゆがませる。この際、時間tの変化に応じて、例えばゆがみの量を次第に大きくしていく。これにより、観客の注目位置を誘導対象82に誘導することができる。
【0059】
次に、他の画像効果の例として、アニメーション、拡大縮小の画像効果を施す場合について説明する。
【0060】
図10には、アニメーションの画像効果を施している画像の例を示している。図10に示す画像では、観客の注目位置112の位置に誘導に用いるオブジェクトとして電話機114を表示することで、観客の注目位置を電話機114に集中させている。そして、図11に示すように、電話機114の表示位置を注目位置誘導ベクトル115の方向、すなわち誘導対象(電話番号)113の方向に時間tの変化に応じて移動(アニメーション)させる。このように、電話機114という2次元ピクチャを使い、注目位置112から誘導対象113へのアニメーションを繰り返すことで観客の注目位置誘導を行う。なお、電話機114に対しては、誘導対象113と電話機114の現在の表示位置との距離に応じた拡大率に従って拡大縮小を施して表示する。図12には、誘導対象113と電話機114の表示位置との距離に応じた拡大率の関係の一例を示している。図12に示す例では、誘導対象113と電話機114の距離が所定以上にある時には、2倍の大きさに拡大して電話機114を表示し、その距離が所定未満となったら距離が短くなるに従って元の大きさ(1倍)となるように順次縮小して表示するように定義されている。なお、誘導対象113と電話機114の距離と拡大率の関係については、図12に示す関係以外にも誘導効果のある関係を任意に設定することができる。
【0061】
なお、前述した説明では、オブジェクト(電話機114)に対す句角田成立を変更して大きさを変えるものとして説明しているが、その他の表示属性を変更してオブジェクトを表示するようにしても良い。例えばオブジェクトの姿勢、色情報、透過率などを、観客の注目位置から誘導対象までの距離あるいは方向に応じて変更するようにしても良い。また、複数の異なる表示属性の組み合わせによってオブジェクトを変更させるようにしても良い。
【0062】
以上のように、画像処理部122は、誘導効果決定部121の決定に基づいて、個々の誘導効果をシーンを構成する2次元ピクチャ及び3次元オブジェクトに施して合成することで、誘導効果を施した画像を生成する。
【0063】
図13には、表2のように決定された誘導効果に基づいて合成した画像を表示する画面141の例を示している。図13に示すように、誘導対象とする電話番号に観客の視点を誘導するため、誘導対象の位置を焦点として集中線効果を施すと共に、電話機を現在の観客の注目位置から誘導方向に移動させるアニメーションを合成している。
このようにして、本実施形態における画像生成装置10では、観客の注目位置を特定の誘導対象に誘導する画像をリアルタイムに生成することができる。
【0064】
なお、前述した説明では、説明を簡単にするために、誘導対象をコンテンツ製作者が意図している電話番号とし、その位置が画面中の特定の位置(画面右上)にあるものとしているが、誘導対象をコンテンツ製作者が予め意図できない場合、誘導対象の位置が変動する場合、注目位置の誘導経路が直線的でない場合などにも応用することができる。以下には、これら応用の具体例(1)〜(5)について説明する。
【0065】
(1)ユーザの興味対象(興味情報)を利用した誘導について説明する(ユーザの興味対象を見やすくするための画像効果について)。
【0066】
ここでは、スポーツ中継などで、観客が主に注目している選手や、観客が動きや行動に注目したいと設定した選手を誘導対象とし、この誘導対象とする選手に観客の注目位置を的確に誘導する効果の具体例について説明する。
【0067】
例えば、観客が前もって動きや行動に注目したいと設定した選手、あるいは観客の注目位置の履歴情報から観客が主に注目している選手が、急に速い動きをした場合、観客がその選手を目で追うのが難しくなる。このような場合、注目したいと設定した主に注目している選手の画面中の位置と、現在の観客の注目位置がある一定距離以上離れていれば、観客が目で追えていないとみなして、速やかに注目できるように誘導効果を施す。
【0068】
他の例として、観客が注目したいと設定した選手や、主に注目している選手が、画面内にいなかった状態から、選手の移動やカメラの移動、シーンチェンジなどにより、急に画面に入ってきた場合を考える。このような場合、何時どこから注目している選手が画面内に出現するかわからないため、観客がその注目したい選手の行動を見逃すといった場合がある。観客としては、注目したい選手が画面内に表示されていない場合は普通に観戦して、注目したい選手が画面内に登場している間はその選手に注目したいという要求が多い。そのため、突然画面内に注目したい選手が出現し、且つ観客の現在の視点が注目したい選手のある一定距離内にない場合には、観客が注目したい選手に気づいていないとみなして、速やかに注目できるように誘導効果を施す。
【0069】
こうした場合に画像に対して施す誘導効果としては、前述した集中線効果やアニメーションするポインタなどによって観客の視点位置を誘導対象に誘導する他に、注目したい選手を他に比べてより明確に表示することで誘導する誘導効果を施すことができる。例えば注目したい選手を他に比べて明るくしたり、くっきりしたり、輪郭線を表示するなど目立つ表示をさせて、その他の選手や背景を暗めにしたりぼやけ処理を施したりしても良い。
【0070】
図14(a)(b)は、画面外から誘導対象とする注目したい選手が画面内に入った場合を説明するための画面の表示例である。時間の経過に伴って画面150では画面外にいた選手152が画面153では画面内に表れている(注目したい選手155)。なお、図14(a)(b)の画面外は仮想的に描いており、画面外の情報を保持しても保持しなくても良い。
【0071】
ユーザの興味対象(興味情報)を利用した誘導を行なう場合、誘導対象を複数の中から選択することができる場合、例えば複数の選手が参加するスポーツにおいて特定の選手を誘導対象として選択することができる場合には、各選手についての誘導情報を誘導情報記憶部13に記憶させておく。この場合、誘導情報記憶部13には、時系列的な選手と選手の位置(位置情報)との対応付けがされた誘導情報を記憶させておく。
【0072】
画像生成装置10は、観客によって予め複数の選手のうち注目したい選手を選択させておき、その選択された情報を誘導情報記憶部13に記憶させておく。誘導効果決定部121は、誘導情報記憶部13に記憶されている観客によって指定された注目したい選手の位置情報を、誘導対象の位置として選択する。
【0073】
画面150の時点では、画面内に注目したい選手152がいないため、注目位置誘導がおこなわれていない。画面153の時点で、注目したい選手155が画面内に出現しているので、注目したい選手155を誘導対象と設定する。
【0074】
次に、誘導効果決定部121は、誘導対象(注目したい選手155)の位置と現在の観客の注目位置154から求まる注目位置誘導ベクトル156を求めて、この注目位置誘導ベクトル156の距離、向きに応じて、前述したような誘導効果を決定する。画像処理部122は、誘導効果決定部121により決定された誘導効果に応じた画像処理を実行する。
【0075】
なお、前述した説明では、複数の選手の中から注目したい選手を観客に予め選択させるものとしているが、観客の注目位置の履歴情報をもとにして、観客が注目している選手(誘導対象)を自動的に判別して、この選手に対して誘導効果を施すようにしても良い。この場合、誘導効果決定部121では、観客の注目位置の情報と誘導情報記憶部13の選手の位置情報から観客が何れの選手に注目しているかを判別し、観客が注目している選手とその注目時間を履歴情報をとして順次記録していく。そして、例えば履歴情報から何れの選手について最も注目しているかを、各選手についての注目時間の合計を比較することで判別し、この判別された選手に対して誘導効果を施す。
【0076】
また、履歴情報をもとにして注目対象とする選手の優先順位を決めて(例えば注目時間の長い順、注目回数の多い順など)、その優先順位に従って誘導対象を切り替えるようにしても良い。例えば、優先順位が1位と2位の選手が画面内に現れている場合には1位の選手を誘導対象とし、1位の選手が画面外となった時点で2位の選手を誘導対象に切り替える。
【0077】
(2)次に、電子ゲームや多人数参加型会話ソフトウェアなど、インタラクティブ性が高く、且つリアルタイム性を要するアプリケーションでの誘導効果の具体例について説明する(対話型アプリケーションにおけるインタフェースとしての誘導効果について)。
【0078】
多人数参加型会話ソフトウェアのような、不特定多数の他のユーザが参加していて、且つ複数の他のユーザと会話できるような会話ソフトで、観客の注目位置を会話相手(誘導対象)に的確に誘導する効果について説明する。
【0079】
ここでは、画面内に多くのユーザが表示され、表示されている相手と画面を通じて会話することができるものとする。この場合、観客が他のあるユーザと会話している際に、観客の注目が会話しているユーザに向くように誘導効果を施したり、他のあるユーザから話しかけられた際に、観客の注目が話しかけてきたユーザに向くように誘導効果を施す。画面内に多くのユーザが表示されていると、観客が会話しているユーザを見失ったり、他のユーザから話しかけられても、どのユーザから話しかけられたのかわからないような問題がよく起こる。更に、広範囲、大画面のスクリーンなどに表示する場合は、観客の視界範囲内に画面の全てが見えるわけではないため、視界外のユーザから話しかけられた場合には、余計に対応が難しくなる。
【0080】
このような場合、観客の注目位置と観客が会話しているユーザ、あるいは観客に話しかけてきたユーザとの間が一定距離以上離れている場合に、速やかに注目できるように誘導効果を施す。
【0081】
この具体例の場合、誘導情報記憶部13に記憶される誘導情報は、観客の会話対象となっているユーザの位置情報と、観客に向かって話しかけてきたユーザの画面における位置情報に応じて逐次更新されるものとする。観客の会話対象となっているユーザは、予め決められていても良いし、画面に表示されたユーザを観客が例えばポインティングデバイスを用いて指定することで特定しても良い。また、観客に向かって話しかけてきたユーザは、例えばユーザ毎に発言の内容を解析することで特定するようにしても良い。画像生成装置10は、素材情報記憶部14に記憶される画像データから、前述のように特定された観客の会話対象となっているユーザあるいは観客に向かって話しかけてきたユーザの位置を検出して、誘導情報として誘導情報記憶部13に記憶させる。
【0082】
誘導効果としては、例えば、会話しているユーザのキャラクタ情報を他の会話していないユーザに比べて明るめにしたりくっきり表示させ、そのほかのユーザや背景を暗めにしたりぼやけ処理を施したりする。あるいは、集中線効果やぼかしフィルター、ブラー処理などを用いた誘導効果を施してもよい。さらに、観客の注目位置と誘導対象、すなわち話しかけてきたユーザとの位置関係や距離に応じて、誘導効果の種類や強度などを変化させることで、より効果的な注目位置誘導をすることができる。
【0083】
また、この具体例では、誘導対象が観客の視界内にいない場合と視界内にいる場合で、別の誘導効果を使い分けることもできる。誘導対象が観客の視界内にいない場合は、まず先に誘導対象が視界内に見えるように注目位置を誘導することが好ましく、例えばアニメーションするポインタなどで直接的な誘導を行って、誘導対象が観客に見える位置まで誘導する。そして、誘導対象が見える位置まで誘導できたら、それ以降、他の上記したような誘導対象をくっきりと表示させる方法や、集中線やぼかしフィルターを使って、注目位置を誘導対象に誘導する誘導効果を施す。このように誘導効果を切り替えて施すこともできる。
【0084】
図15(a)(b)は、視界を越える広い画面上での注目位置誘導について説明したものである。
【0085】
図15(a)に示す画面160の時点では、ユーザ162が観客に話しかけた場合、ユーザ162は観客の視界外にいるため観客には認識できない。なお、観客の視界に関する情報は注目位置計算部11から取得されるものとし、誘導効果決定部121は、ユーザ162が視界内にいるかどうかを、ユーザ162の位置情報と観客の注目位置161から求まる注目位置誘導ベクトル163によって判断する。ユーザ162が観客の視界外にあると判断した場合、誘導効果決定部121は、観客の注目位置をユーザ162が見える位置に誘導するための誘導効果を施すものと決定する。
【0086】
この場合は、速やかに観客の視点をユーザ162が見える位置まで誘導する必要があるので、視界内に誘導対象がある場合に用いた前述した各種の誘導効果を用いるほかにも、より直接的な誘導効果を用いるようにしても良い。例えば、図16に示すような矢印のような視界を変更すべき方向を明示するオブジェクトを、注目位置誘導163ベクトルに沿ってアニメーションさせるような誘導効果を用いる。
【0087】
こうした誘導効果を施すことにより、図15(b)に示す画面165のように、ユーザ167が視界内に含まれるまで注目位置166を誘導することができたら、注目位置誘導ベクトル168の距離、向きに応じて、誘導効果を決定する。その際の誘導効果は、誘導対象が視界外あった時の誘導効果よりも、直接的でない種類の誘導効果を用いたり、誘導効果の強度を落としたものを適用するようにしても良い。
【0088】
なお、前述した説明では、会話の相手を例えば話しかけてきたユーザとして特定しているが、話しかけるという行動を検出とするだけでなく、会話を行う場面以外で画像に表示されるオブジェクトの変化を検出して誘導対象とすることもできる。例えば、オブジェクトの動き、大きさの変化などを検出して、誘導対象として特定することも可能である。
【0089】
(3)次に、電子ゲームや構内案内システムなどにおいて表示される画面中で、画面中で表示されるオブジェクトの位置関係により他のオブジェクトの奥にあるため陰になって見えない(画面に表示されていない)誘導対象へ誘導する場合の具体例について説明する(3Dタイプのアプリケーションにおける誘導効果について)。
【0090】
電子ゲームや、構内案内システムなどでは、観客の仮想空間内の位置、あるいは視点位置によっては誘導対象が他のオブジェクトの陰になって表示できない場合が多くある。例えば、図17に示すように、視点位置172から視線向き173の方向に視点変換を行ない生成する投影面174には、誘導対象178が階段171の陰になり表示できない。
【0091】
その際に、視点位置172と視点向き173を、それぞれ視点位置175、視点向き177に移動させて投影面176による画像を表示することで、誘導対象178が階段171などほかのオブジェクトによって隠れないようにする誘導効果を施すことが可能となる。この場合、視点位置を移動させるために修正した視点変換モデルのパラメータや、これらを移動させるための補正分を誘導効果決定部121で決定された誘導効果の情報として、画像処理部122に送り、画像を生成することで実現する。
【0092】
他にも、視点位置を変更する以外にも、誘導対象の前にある物体を半透明にした後に誘導効果を施す、あるいは現在の観客の注目位置から誘導対象へ陰になっている他のオブジェクトを避けたパスを設定して、そのパスに沿った誘導効果を施すなどしてもよい。
【0093】
図18は誘導対象185が階段181の陰になっていて見えない場合の注目位置誘導について、図17の視点位置172から見た投影面174の図である。図18に示す注目位置183とは、観客が投影面174に対して注目している位置である。
【0094】
この場合、階段181を一部もしくは全部を半透明化して描画し、誘導対象185が見えるような状態にして、注目位置誘導ベクトル184に応じて注目位置184の誘導を行うといった方法が適用できる。この注目位置誘導方法では、誘導対象185を観客が直に見ることができる上、直線の注目位置誘導ベクトル184に沿った誘導を行うため、速やかに誘導対象185そのものへの注目位置誘導ができる効果がある。
【0095】
具体的な誘導手段としては、例えば、直線の注目位置誘導ベクトル184に沿って、図5に示す集中線効果による誘導効果やそのほかの誘導効果を適用することができる。
【0096】
他にも、階段181を半透明で表示しないで、誘導対象185を隠している階段181を避けて奥へ向かう経路を、注目位置誘導ベクトル185として求め、この位置誘導ベクトル185に応じた誘導効果を施して注目位置誘導を行う方法も適用できる。この注目位置誘導方法は、上記の注目位置誘導ベクトル184に沿った方法とは違い、誘導対象185が直に見えない状況のままで誘導することを目的としている。観客の注目位置183を誘導対象185が見える位置への経路である注目位置誘導ベクトル185に沿って誘導することで、観客に誘導対象185への経路を意識させ、階段181を迂回する経路とその先にある誘導対象185との位置関係などを把握させるといった効果が期待できる。また、直接誘導対象185を直接見えるようにしなくてもよいため、空間上のオブジェクトを半透明にする処理を必要としない。
【0097】
具体的な誘導効果としては、例えば、ぼやけフィルタやブラー効果の中心を注目位置誘導ベクトル185に沿って繰り返し移動させながら、ぼやけフィルタやブラー効果を適用する方法が適用できる。
【0098】
(4)2次元、あるいは3次元の仮想上の空間(例えばショールーム)内を利用者(観客)がウォークスルーして、ショールーム内のコンテンツを閲覧するようなアプリケーションでの誘導効果の具体例について説明する。
【0099】
例えば、広い仮想空間上を利用者がウォークスルーするようなアプリケーションにおいて、利用者が設定された複数の誘導対象を通るように誘導効果を施す。この場合、誘導対象は、例えば、利用者の過去の履歴から興味を示しているジャンルのコンテンツ群に設定する、あるいはユーザが興味のあるジャンルを直接設定できるようにしても良い。また、ショールームのコンテンツ製作者が、誘導対象を設定してもかまわない。
【0100】
図19(a)は利用者がウォークスルーする仮想空間を上から見た図である。現在の利用者の現在位置191と向きを基点として、誘導対象192、誘導対象193のコンテンツを通る誘導経路194を作成する。その後、利用者が仮想空間を進んで、分岐点などに来るたびに、利用者が作成した経路の方向に進むように誘導効果を施した画像を生成する。誘導方法としては、分岐点などで誘導を行うところで、利用者の現在の注目位置が作成した経路のほうを向くように誘導する。
【0101】
図19(b)は、利用者が仮想空間上の現在位置191にいて誘導経路194の方向を向いているときの、仮想空間を投影した画面出力である。目の前に分岐点が見えており、誘導経路196が右側に進んでいることを表している。ここでは、ユーザの現在の注目位置が画面上部の注目位置198にあるので、右側の通路に誘導対象197を設定し、注目位置誘導ベクトル199に応じた誘導効果を施すことで、ユーザの注目位置を右側の通路に誘導する。この際の具体的な誘導効果は、前述した場合と同様にして、波紋効果、集中線効果、ぼかし効果などが適用できる。
【0102】
利用者が経路に沿って移動して、誘導対象のコンテンツが見える位置まできたら、利用者の注目位置を誘導対象のコンテンツに誘導する。この際の具体的な誘導効果も、同様にして、波紋効果、集中線効果、ぼかし効果などが適用できる。
【0103】
(5)電子ゲームなどで、プレイヤのミスを誘発させたり、対戦型のゲームにおいて敵の攻撃をうまく避ける操作をさせるための誘導効果の具体例について説明する(ゲームの特殊効果としての注目位置の誘導について)。
【0104】
シューティングゲームやアクションゲームのような対戦型のゲームにおいて、敵、敵弾が観客の操作する自機に向かってくる瞬間に、観客の操作する自機(注目位置)から、向かってくる敵とは違う方向に誘導効果を施すことでプレイヤーのミスを誘発させることができる。
【0105】
例えば、図20(a)に示す画面200のような、敵機203が自機202に向かってく直前の場面で、現在の観客の注目位置21から敵機203から関係のない方向に誘導対象204を設定し、注目位置21から注目位置誘導ベクトル205の方向に誘導する。敵機203から関係のない方向に観客の注目位置を誘導して敵機203から注意を逸らすことで、例えば画面210のような敵機213が自機212と衝突しやすい状況を発生しやすくできる。このような場合の誘導効果としては、例えば緩い波紋効果を加えたり、部分的にフラッシュさせたり、ゲーム画面上の背景が変化するなどといったイベントを発生させたりすることで実現する。
【0106】
また、反対に、敵や敵弾が観客の操作する自機に向かってくる少し前に、向かってくる方向に観客の注目位置を誘導することで注意を促し、観客を敵の攻撃に身構えさせることができる。これらの具体例の場合、注目位置計算部11(例えばコントローラ)から、観客の操作する自機の位置情報をも注目位置情報として取得し、利用する。
【0107】
なお、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【0108】
また、本願発明は、前述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0109】
【発明の効果】
以上詳述したように本発明によれば、画面に表示される画像に対する観客の注目位置に関する情報をもとに、画像中の誘導対象に前記注目位置を誘導するための誘導効果を決定し、この決定された誘導効果を施した画像を生成することができるので、画像中の誘導対象に観客の注目位置を誘導することが可能になる。
【図面の簡単な説明】
【図1】本実施形態に係わる画像生成装置の構成を示すブロック図。
【図2】観客と画像生成装置によって生成された画像を表示するテレビジョン画面22の一例を示す図。
【図3】注目位置計算部としてアイカメラを装着した観客が画面の映像を見ている様子を示す図。
【図4】誘導効果決定部における処理動作について説明するためのフローチャート。
【図5】入力動画像のフレームデータに対して、観客の注目位置を、現在の注目位置から誘導対象に誘導するための効果として集中線効果を施した例を示す図。
【図6】効果線の向きと色変化の効果の関係、効果の中心からの距離と効果線の太さの関係、及び注視位置と誘導対象との距離と誘導効果の中心位置の関係を示す図。
【図7】誘導効果として波紋効果を施した画像の一例を示す図。
【図8】時間tの変化に応じた誘導対象の色の変化について説明するための図。
【図9】色の変化をR,G,B成分でそれぞれ分けて表した図。
【図10】アニメーションの画像効果を施している画像の一例を示す図。
【図11】アニメーションの画像効果を施している画像の一例を示す図。
【図12】誘導対象と電話機の表示位置との距離に応じた拡大率の関係の一例を示す図。
【図13】表2に示す誘導効果に基づいて合成した画像を表示する画面の一例を示す図。
【図14】画面外から誘導対象とする注目したい選手が画面内に入った場合を説明するための画面の一例を示す図。
【図15】視界を越える広い画面上での注目位置誘導について説明するための図。
【図16】視界を変更すべき方向を明示するオブジェクトの一例を示す図。
【図17】観客の視点位置から誘導対象が他のオブジェクトの陰になって表示できない状況を示す図。
【図18】誘導対象185が階段181の陰になっていて見えない場合の注目位置誘導を示す図。
【図19】利用者がウォークスルーする仮想空間と仮想空間を投影した画面出力の一例を示す図。
【図20】ゲームの特殊効果としての注目位置の誘導について説明するための図。
【符号の説明】
10…画像生成装置、11…注目位置計算部、12…画像生成制御部、121…誘導効果決定部、122…画像処理部、13…誘導情報記憶部、14…素材情報記憶部。

Claims (12)

  1. 画面に表示させる画像を生成する画像生成装置において、
    画面に表示される画像に対する観客の注目位置に関する情報をもとに、前記画像中の誘導対象に前記注目位置を誘導するための誘導効果を決定する誘導効果決定手段と、
    前記誘導効果決定手段によって決定された誘導効果を施した画像を生成する画像処理手段と
    を具備したことを特徴とする画像生成装置。
  2. 画面に表示させる画像を生成する画像生成装置において、
    画面に表示される画像に対する観客の注目位置に関する情報を求める注目位置計算手段と、
    前記観客の注目位置の誘導先とする画像中の誘導対象の情報と画像に施す誘導効果に関する情報を記憶する誘導情報記憶手段と、
    画像を生成するために必要な画像データを記憶する素材情報記憶手段と、
    前記注目位置計算手段によって求められた注目位置に関する情報と前記誘導情報記憶手段により記憶された誘導対象の情報とから、観客の注目位置を誘導対象に誘導するための誘導効果を決定する誘導効果決定手段と、
    前記誘導効果決定手段により決定された誘導効果を、前記素材情報記憶手段に記憶された画像データに施して画像を生成する画像処理手段と
    を具備したことを特徴とする画像生成装置。
  3. 前記誘導効果決定手段は、前記観客の注目位置から誘導対象の位置までの距離または方向、あるいは誘導効果を施す時間の少なくとも1つに基づいて誘導効果を決定する手段を含むことを特徴とする請求項1または請求項2記載の画像生成装置。
  4. 前記誘導効果決定手段は、さらに誘導効果の種類や強度を決定することを特徴とする手段を含むことを特徴とする請求項3記載の画像生成装置。
  5. 前記誘導効果決定手段によって決定される誘導効果には、表示属性を変化させるオブジェクトを移動させる誘導効果を含むことを特徴とする1または請求項2記載の画像生成装置。
  6. 誘導対象を設定する設定手段を有し、
    前記誘導効果決定手段は、前記設定手段によって設定された誘導対象についての誘導効果を決定することを特徴とする請求項1または請求項2記載の画像生成装置。
  7. 画像中のオブジェクトの変化を検出する検出手段と、
    前記検出手段によって変化が検出されたオブジェクトを誘導対象として特定する特定手段とを有し、
    前記誘導効果決定手段は、前記特定手段によって特定された誘導対象についての誘導効果を決定することを特徴とする請求項1または請求項2記載の画像生成装置。
  8. 前記観客の注目位置に関する情報には視界に関する情報を含み、
    前記誘導効果決定手段は、前記選択手段によって選択された誘導対象が、前記観客の視界内に含まれるか否かに基づいて誘導効果を決定することを特徴とする請求項7記載の画像生成装置。
  9. 前記画像が仮想空間を表すものであって、
    前記誘導効果決定手段は、前記仮想空間中の画面に表示されないオブジェクトを誘導対象として誘導効果を決定することを特徴とする請求項1または請求項2記載の画像生成装置。
  10. 前記誘導効果決定手段は、前記画像中のオブジェクトと前記注目位置との位置関係に応じて決定される誘導対象への誘導効果を決定することを特徴とする請求項1または請求項2記載の画像生成装置。
  11. 画面に表示させる画像を生成する画像生成方法において、画面に表示される画像に対する観客の注目位置に関する情報をもとに、前記画像中の誘導対象に前記注目位置を誘導するための誘導効果を決定し、
    この決定された誘導効果を施した画像を生成することを特徴とする画像生成方法。
  12. 画面に表示させる画像を生成する画像生成プログラムであって、
    コンピュータを、
    画面に表示される画像に対する観客の注目位置に関する情報をもとに、前記画像中の誘導対象に前記注目位置を誘導するための誘導効果を決定する誘導効果決定手段と、
    前記誘導効果決定手段によって決定された誘導効果を施した画像を生成する画像処理手段とに機能させるための画像生成プログラム。
JP2003004617A 2003-01-10 2003-01-10 画像生成装置、画像生成方法、及び画像生成プログラム Expired - Fee Related JP3959354B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003004617A JP3959354B2 (ja) 2003-01-10 2003-01-10 画像生成装置、画像生成方法、及び画像生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003004617A JP3959354B2 (ja) 2003-01-10 2003-01-10 画像生成装置、画像生成方法、及び画像生成プログラム

Publications (2)

Publication Number Publication Date
JP2004220179A true JP2004220179A (ja) 2004-08-05
JP3959354B2 JP3959354B2 (ja) 2007-08-15

Family

ID=32895544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003004617A Expired - Fee Related JP3959354B2 (ja) 2003-01-10 2003-01-10 画像生成装置、画像生成方法、及び画像生成プログラム

Country Status (1)

Country Link
JP (1) JP3959354B2 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008011067A (ja) * 2006-06-28 2008-01-17 Fuji Xerox Co Ltd 遠隔指示システム及び遠隔指示方法
JP2009134508A (ja) * 2007-11-30 2009-06-18 Alpine Electronics Inc 映像表示システム
WO2010089989A1 (ja) * 2009-02-05 2010-08-12 パナソニック株式会社 情報表示装置及び情報表示方法
JP2010244186A (ja) * 2009-04-02 2010-10-28 Access Co Ltd コンテンツ表示端末、コンテンツ表示方法およびプログラムならびに配信サーバ
JP2013069118A (ja) * 2011-09-22 2013-04-18 Nec Corp 情報表示方法、情報処理装置及びプログラム
JP2013254080A (ja) * 2012-06-06 2013-12-19 Sharp Corp 表示装置
JP2014532206A (ja) * 2011-09-08 2014-12-04 インテル・コーポレーション インタラクティブな画面閲覧
JP2015230560A (ja) * 2014-06-04 2015-12-21 大日本印刷株式会社 表示端末装置、プログラム、及び、表示方法
JP2016096513A (ja) * 2014-11-17 2016-05-26 株式会社ゼンリンデータコム 情報処理システム、情報処理方法及びプログラム
JP2016143159A (ja) * 2015-01-30 2016-08-08 富士通株式会社 表示装置、表示プログラム及び表示方法
JP2016149067A (ja) * 2015-02-13 2016-08-18 株式会社ニコン 視線誘導システム、および視線誘導装置
JP2017016657A (ja) * 2015-06-30 2017-01-19 トムソン ライセンシングThomson Licensing 没入型ビデオ・コンテンツの一部分を参照部分の位置に従って処理する方法及び装置
JP2017059212A (ja) * 2015-09-14 2017-03-23 株式会社コロプラ 視線誘導のためのコンピュータ・プログラム
JP2017068689A (ja) * 2015-09-30 2017-04-06 富士通株式会社 視野誘導方法、視野誘導プログラム、及び視野誘導装置
JP2018032348A (ja) * 2016-08-26 2018-03-01 アイシン・エィ・ダブリュ株式会社 ポインタ制御システムおよびポインタ制御プログラム
JP2018077417A (ja) * 2016-11-11 2018-05-17 コニカミノルタ株式会社 表示システム、プログラムおよび表示制御方法
WO2019107507A1 (ja) * 2017-11-30 2019-06-06 国立大学法人東京工業大学 視線誘導システム
JP2019526103A (ja) * 2016-06-13 2019-09-12 ソニー・インタラクティブエンタテインメント エルエルシー 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
JP2020035249A (ja) * 2018-08-31 2020-03-05 日本放送協会 視線誘導装置及びそのプログラム
JP2020201980A (ja) * 2016-11-18 2020-12-17 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
WO2023119901A1 (ja) * 2021-12-20 2023-06-29 株式会社Psychic VR Lab 仮想現実表示装置、仮想現実表示システム、仮想現実表示プログラム、仮想現実表示プログラムが記録された記憶媒体、及び仮想現実表示方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008011067A (ja) * 2006-06-28 2008-01-17 Fuji Xerox Co Ltd 遠隔指示システム及び遠隔指示方法
US8587677B2 (en) 2006-06-28 2013-11-19 Fuji Xerox Co., Ltd. Remote instruction system, remote instruction method, and program product therefor
JP2009134508A (ja) * 2007-11-30 2009-06-18 Alpine Electronics Inc 映像表示システム
WO2010089989A1 (ja) * 2009-02-05 2010-08-12 パナソニック株式会社 情報表示装置及び情報表示方法
JPWO2010089989A1 (ja) * 2009-02-05 2012-08-09 パナソニック株式会社 情報表示装置及び情報表示方法
JP5286371B2 (ja) * 2009-02-05 2013-09-11 パナソニック株式会社 情報表示装置及び情報表示方法
JP2010244186A (ja) * 2009-04-02 2010-10-28 Access Co Ltd コンテンツ表示端末、コンテンツ表示方法およびプログラムならびに配信サーバ
JP2014532206A (ja) * 2011-09-08 2014-12-04 インテル・コーポレーション インタラクティブな画面閲覧
JP2013069118A (ja) * 2011-09-22 2013-04-18 Nec Corp 情報表示方法、情報処理装置及びプログラム
JP2013254080A (ja) * 2012-06-06 2013-12-19 Sharp Corp 表示装置
JP2015230560A (ja) * 2014-06-04 2015-12-21 大日本印刷株式会社 表示端末装置、プログラム、及び、表示方法
JP2016096513A (ja) * 2014-11-17 2016-05-26 株式会社ゼンリンデータコム 情報処理システム、情報処理方法及びプログラム
JP2016143159A (ja) * 2015-01-30 2016-08-08 富士通株式会社 表示装置、表示プログラム及び表示方法
JP2016149067A (ja) * 2015-02-13 2016-08-18 株式会社ニコン 視線誘導システム、および視線誘導装置
JP2017016657A (ja) * 2015-06-30 2017-01-19 トムソン ライセンシングThomson Licensing 没入型ビデオ・コンテンツの一部分を参照部分の位置に従って処理する方法及び装置
JP2017059212A (ja) * 2015-09-14 2017-03-23 株式会社コロプラ 視線誘導のためのコンピュータ・プログラム
JP2017068689A (ja) * 2015-09-30 2017-04-06 富士通株式会社 視野誘導方法、視野誘導プログラム、及び視野誘導装置
US10901571B2 (en) 2015-09-30 2021-01-26 Fujitsu Limited Visual field guidance method, computer-readable storage medium, and visual field guidance apparatus
JP2019526103A (ja) * 2016-06-13 2019-09-12 ソニー・インタラクティブエンタテインメント エルエルシー 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
JP2018032348A (ja) * 2016-08-26 2018-03-01 アイシン・エィ・ダブリュ株式会社 ポインタ制御システムおよびポインタ制御プログラム
JP2018077417A (ja) * 2016-11-11 2018-05-17 コニカミノルタ株式会社 表示システム、プログラムおよび表示制御方法
JP2020201980A (ja) * 2016-11-18 2020-12-17 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
WO2019107507A1 (ja) * 2017-11-30 2019-06-06 国立大学法人東京工業大学 視線誘導システム
JP2020035249A (ja) * 2018-08-31 2020-03-05 日本放送協会 視線誘導装置及びそのプログラム
JP7153508B2 (ja) 2018-08-31 2022-10-14 日本放送協会 視線誘導装置及びそのプログラム
WO2023119901A1 (ja) * 2021-12-20 2023-06-29 株式会社Psychic VR Lab 仮想現実表示装置、仮想現実表示システム、仮想現実表示プログラム、仮想現実表示プログラムが記録された記憶媒体、及び仮想現実表示方法

Also Published As

Publication number Publication date
JP3959354B2 (ja) 2007-08-15

Similar Documents

Publication Publication Date Title
JP3959354B2 (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
US11478709B2 (en) Augmenting virtual reality video games with friend avatars
US10078917B1 (en) Augmented reality simulation
JP3442270B2 (ja) 画像生成装置及び情報記憶媒体
US20170032577A1 (en) Real-time virtual reflection
CN116209505A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
JP6112878B2 (ja) ウェアラブル型表示装置及びプログラム
CN107210949A (zh) 利用角色的消息服务方法、执行所述方法的用户终端、包括所述方法的消息应用程序
EP2394710A2 (en) Image generation system, image generation method, and information storage medium
JP2019020908A (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
JP2021002288A (ja) 画像処理装置、コンテンツ処理システム、および画像処理方法
US20190347864A1 (en) Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression
WO2021015035A1 (ja) 画像処理装置、画像配信システム、および画像処理方法
WO2018216402A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2023095862A (ja) プログラム及び情報処理方法
KR102029201B1 (ko) 멀미가 감소된 가상현실 게임 제공 방법 및 가상현실 게임 단말기
WO2021039346A1 (ja) プログラム、方法、および情報処理端末
CN114625468A (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质
JP6999538B2 (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
JP7191181B2 (ja) プログラム、方法、および情報端末装置
JPH0955959A (ja) 画像表示装置
Cavazza et al. User interaction in mixed reality interactive storytelling
CN113646733A (zh) 辅助表情
JP2019192259A (ja) 表示制御装置、表示制御システム、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070514

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees