JP2023019088A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2023019088A JP2023019088A JP2021123565A JP2021123565A JP2023019088A JP 2023019088 A JP2023019088 A JP 2023019088A JP 2021123565 A JP2021123565 A JP 2021123565A JP 2021123565 A JP2021123565 A JP 2021123565A JP 2023019088 A JP2023019088 A JP 2023019088A
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- image processing
- marker
- image
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims 3
- 238000003860 storage Methods 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 4
- 239000003550 marker Substances 0.000 description 287
- 238000000034 method Methods 0.000 description 33
- 238000007726 management method Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
図1(A)及び図1(B)を用いて、本実施形態に係る画像処理システム100の構成例について説明する。画像処理システム100は、複数のセンサシステム(図1(A)の例ではn台のセンサシステム101-1~センサシステム101-n)を含む。各センサシステムは、少なくとも1台の撮像装置(例えばカメラ)を含む。なお、以下では、特に区別する必要がない場合には、センサシステム101-1~センサシステム101-nを総称して「センサシステム101」と呼ぶ。この画像処理システム100では、複数のセンサシステム101によって取得された画像データに基づいて、仮想視点画像データを生成してユーザに提供する。
続いて、図2(A)及び図2(B)を用いて、画像処理装置104の構成について説明する。図2(A)は、画像処理装置104の機能構成例を示している。画像処理装置104は、その機能構成として、例えば、仮想視点制御部201、モデル生成部202、画像生成部203、マーカ制御部204、及び、マーカ管理部205を含む。なお、これらは一例であり、示されている機能の少なくとも一部が省略されてもよいし、別の機能が追加されてもよい。また、後述の機能を実行可能な限りにおいて、図2(A)に示す機能の全てが別の機能ブロックによって置き換えられてもよい。また、図2(A)に示す2つ以上の機能ブロックが1つの機能ブロックにまとめられてもよいし、1つの機能ブロックが複数の機能ブロックに分割されてもよい。
続いて、図3(A)~図3(D)を用いて、仮想視点110について説明する。仮想視点110や、その動作は1つの座標系を用いて指定される。本実施形態では、座標系として、図3(A)に示すような、X軸、Y軸、及びZ軸から構成される一般的な三次元空間の直交座標系が用いられるものとする。なお、これは一例であり、三次元空間の位置を示すことができる任意の座標系が用いられてもよい。この座標系を用いて、被写体の座標が設定されて使用される。被写体は、例えば、スタジアムのフィールドやスタジオ等、及びそのフィールドやスタジオ等の空間に存在する人物や、ボール等の物体を含む。例えば、図3(B)の例では、被写体として、スタジアムのフィールド全体391と、その上に存在するボール392や選手393等が含まれる。なお、フィールド周辺の客席等が被写体に含まれてもよい。図3(B)の例では、フィールド391の中心の座標を、原点(0、0、0)として設定し、X軸をフィールド391の長辺方向、Y軸をフィールド391の短辺方向、Z軸をフィールドに対する鉛直方向としている。このようにして、フィールド391の中心を基準として各被写体の座標を設定することによって、被写体から生成される三次元モデルを、三次元の仮想空間へ配置することができる。なお、座標の設定方法は、これらに限定されない。
図4(A)及び図4(B)を用いて、仮想視点とマーカの操作方法について説明する。図4(A)は、画像処理装置104によって表示される画面を説明するための図である。ここでは、タッチパネルディスプレイを有するタブレット型の端末400を用いる場合について説明する。なお、端末400は、タブレット型の端末である必要はなく、他の形式の任意の情報処理装置が端末400として使用されうる。端末400が画像処理装置104である場合、端末400は、仮想視点画像を生成して表示すると共に、仮想視点やタイムコードの指定およびマーカ入力等の操作を受け付けるように構成される。一方、例えば端末400が通信ネットワークを介して画像処理装置104に接続する装置である場合、端末400は、仮想視点やタイムコードを指定する情報を画像処理装置104へ送信して仮想視点画像の提供を受ける。また、端末400は、仮想視点画像に対するマーカ入力操作を受け付けて、その受け付けたマーカ入力を示す情報を画像処理装置104へ送信する。
本実施形態では、二次元で表示されている仮想視点画像に対してユーザが入力した二次元のマーカを、三次元のマーカオブジェクトに変換する。三次元に変換されたマーカオブジェクトは、仮想視点と同じ三次元の仮想空間に配置される。まず、マーカオブジェクトの変換方法について、図5(A)~図5(E)を用いて説明する。
図6を用いて、画像処理装置104によって実行される処理の流れの例について説明する。本処理は、S602~S611の処理を繰り返すループ処理(S601、S612)によって構成され、このループは、所定のフレームレートで実行される。例えば、フレームレートが60FPSの場合、約16.6[ms]の間隔で、1ループ(1フレーム)の処理が実行される。この結果、後述のS611において、そのフレームレートで仮想視点画像を出力することになる。フレームレートは、画像処理装置104の画面表示における更新レートに同期するように設定されうるが、多視点画像を撮像した撮像装置のフレームレートや、データベース103に格納される三次元モデルのフレームレートに合わせて設定されてもよい。なお、以下の説明では、ループの処理が実行されるごとに、タイムコードが1フレーム分だけカウントアップされるものとするが、タイムコードのカウントアップの間隔はユーザ操作等に応じて変更されてもよい。例えば、1/2の再生速度が指定された場合、2回のループ処理に対して1回のタイムコードのフレームのカウントアップが行われうる。また、例えば、一時停止が指定された場合は、タイムコードのカウントアップが停止されうる。
図7(A)~図7(D)を用いて、上述のような処理を実行した場合と実行しなかった場合の画面表示の例について説明する。図7(A)は、マーカが入力される前の仮想視点画像を画像処理装置104が表示した状態を示している。この状態では、例えばタッチ操作701によって、ユーザは、仮想視点を任意に移動・回転させることができる。ここで、一例として、ユーザ操作によってタイムコードが一時停止され、その状態でマーカ入力が受け付けられうる。なお、マーカ入力は、一定期間の仮想視点画像に対応してもよく、例えば操作が受け付けられているフレームから所定フレーム数にわたってマーカ入力が維持されてもよい。また、例えばユーザからのマーカの消去の明示的な指示があるまで入力されたマーカが維持されてもよい。図7(B)は、ユーザによるマーカ操作の受け付け中の状態を示している。ここでは、ペンシルによって2つのマーカ入力(円711および曲線712)が受け付けられた例を示している。このようなマーカ入力が受け付けられると、画像処理装置104は、それらのマーカ入力を、注目面上の三次元モデルのマーカオブジェクトへ変換し、そのマーカオブジェクトを、仮想視点画像と合わせて描画する。なお、仮想視点に変更がない状態では、ユーザによるマーカ入力が行われた場合と同様の表示がなされ、ユーザからは単にマーカが入力された状態と認識されうる。なお、マーカオブジェクトへの変換処理を実行中の間は、受け付けられた二次元のマーカ入力がそのまま表示され、マーカオブジェクトへの変換処理が完了したことに応じて、三次元のマーカオブジェクトに基づく再描画が行われるようにしてもよい。
なお、上述の手法によって生成されたマーカオブジェクトは、他のデバイスとの間で共有することができる。図8に、そのような共有を行うシステムの構成例を示している。図8において、仮想視点画像生成システム100は、図1(A)に関して説明した機能の少なくとも一部を実行可能に構成され、被写体の撮影から、多視点画像や三次元モデルの生成を行う。管理サーバ801は、被写体の三次元モデルや、後述の共有されたマーカオブジェクトを、タイムコードごとに管理して記憶する記憶装置であり、また、マーカオブジェクトをタイムコードごとに配信する配信装置でもありうる。画像処理装置811~画像処理装置813は、それぞれ、例えば画像処理装置104と同様の機能を有し、管理サーバ801から三次元モデルを取得して仮想視点画像を生成して表示する。また、画像処理装置811~画像処理装置813のそれぞれは、ユーザからマーカの入力を受け付けてマーカオブジェクトを生成し、生成したマーカオブジェクトを管理サーバ801へアップロードして記憶させうる。第1の画像処理装置は、第2の画像処理装置によってアップロードされたマーカオブジェクトをダウンロードすることにより、第2の画像処理装置のユーザが入力したマーカと被写体の三次元モデルとを合わせた仮想視点画像を生成することができる。
画像処理装置104は、マーカ管理部205によって、一例において図9(A)~図9(C)の構成でマーカオブジェクトを保持する。そして、画像処理装置104は、例えば、そのマーカオブジェクトのデータを同じデータ構成のまま管理サーバ801へアップロードしうる。また、画像処理装置104は、管理サーバ801から、同じデータ構成のマーカオブジェクトのデータをダウンロードする。なお、図9(A)~図9(C)のデータ構成は一例であり、マーカオブジェクトの仮想空間内での位置及び形状を特定可能な任意の形式のデータが用いられうる。また、管理サーバ801と画像処理装置104との間で、異なるデータ形式が用いられ、所定のルールに従ってマーカオブジェクトのデータが必要に応じて再生されるようにしてもよい。
図10(A)~図10(C)を用いて、マーカオブジェクトの共有、及び、表示の例について説明する。ここでは、図8に示した画像処理装置811~画像処理装置813の間でマーカオブジェクトが共有される場合について説明する。なお、ここでは、図10(A)が画像処理装置811に表示される操作画面を示し、図10(B)が画像処理装置812に表示される操作画面を示し、図10(C)が画像処理装置813に表示される操作画面を示すものとする。一例として、図10(A)に示すように、画像処理装置811において、あるタイムコードの仮想視点画像に対して円1001の形状のマーカが受け付けられたものとする。画像処理装置811は、例えば、ユーザによるマーカの共有指示(不図示)を受け付けたことに基づいて、入力されたマーカから上述のようにして変換されたマーカオブジェクトのデータを、管理サーバ801へ送信する。また、図10(B)に示すように、画像処理装置812において、図10(A)と同じタイムコードの仮想視点画像に対して曲線1002の形状のマーカが受け付けられたものとする。画像処理装置812は、ユーザによるマーカの共有指示(不図示)を受け付けたことに基づいて、入力されたマーカから上述のようにして変換されたマーカオブジェクトを管理サーバ801へ送信する。なお、マーカオブジェクトはタイムコードと関連付けられて、管理サーバ801に記憶させるために送信される。画像処理装置811~画像処理装置813は、このために、タイムコードとマーカオブジェクトとを関連付けて管理サーバ801に記憶させるための記憶制御機能を有する。
上述のようにして表示されたマーカオブジェクトは、時間が経過して被写体が移動した場合などには、被写体との位置関係がずれてしまう。このような場合に、マーカオブジェクトが表示されたままとすると、ユーザに違和感を与えてしまいうる。これに対して、マーカオブジェクトが入力されたタイムコードから時間が経過するにつれて、マーカオブジェクトの透過度を高くすることによって、元の注目ポイントからの変化の様子をユーザに伝え、かつ、違和感を軽減することができる。上述のように、マーカオブジェクトはタイムコードと関連付けられて保持されている。ここで、図10(C)の例において、ユーザが、タイムコードに対する操作751を実行したものとする。この場合、画像処理装置813は、図11(A)に示すように、マーカオブジェクトが生成されたタイムコードから離れたタイムコードへ遷移するにつれ、マーカの透過度(α値)を変更しうる。これにより、実際にマーカが入力されたタイミングからずれるほど、マーカが薄く表示されるような描画が行われ、ユーザの違和感を軽減することが可能となる。なお、ユーザがタイムコードを戻した場合には、図10(C)のように元の透明度へ戻すような制御が行われてもよい。なお、マーカオブジェクトが生成されたタイムコードより前のタイムコードに対応する仮想視点画像においてもマーカオブジェクトが描画されるようにしてもよい。この場合も、マーカオブジェクトが生成されたタイムコードと、描画する仮想視点画像のタイムコードとの差が大きいほど、透過度を高くするように(薄く表示されるように)制御が行われうる。また、マーカオブジェクトが生成されたタイムコードより前の場合の透過度が、マーカオブジェクトが生成されたタイムコードより後の場合の透過度より高くなるように(表示が薄くなるように)制御が行われてもよい。
なお、上述の実施形態に加えて、又はこれに代えて、画像処理装置は、前景の三次元モデルに対してマーカを付する操作を受け付けてもよい。例えば、図11(B)のように、前景(人物)の三次元モデルに対して、マーカ追加指示1101が受け付けられる。この場合、画像処理装置は、例えば、図11(C)に示すように、その三次元モデルの注目面におけるXY座標を中心とした所定サイズの半径を有する円形のマーカオブジェクト1102を生成する。これによれば、図5(A)~図5(E)を用いて説明したマーカオブジェクトと同様のマーカオブジェクトを生成することができる。なお、前景の三次元モデルに対するマーカオブジェクトの追加指示(マーカ付与)を受け付けた場合に生成されるマーカオブジェクトの形状は円形に限定されない。この場合のマーカオブジェクトの形状は、例えば、矩形等であってもよいし、三次元モデルが注目を集めることができる他の形状であってもよい。
上述の実施形態では、仮想視点画像に表示させる付加情報として、マーカオブジェクトを表示させる例について説明した。しかしながら、仮想視点画像に表示される付加情報はこれに限定されない。例えば、ユーザにより指定されたマーカ、アイコン、アバター、イラスト等のうち少なくともいずれかの付加情報が仮想視点画像に表示されるように構成されてもよい。また、事前にこれらの付加情報が複数用意され、ユーザにより任意のものが選択されて、仮想視点画像上に配置されるように構成されてもよい。また、ユーザがタッチパネルディスプレイにおいてアイコン等をドラッグして任意の位置に配置することを可能とするように構成されてもよい。配置されたアイコン等の付加情報は、上述の実施形態と同様の方法により3次元データに変換される。なお、この方法に限られず、あらかじめ2次元データの付加情報と3次元データの付加情報とが対応付けられ、2次元データの付加情報が配置されたタイミングで、対応する3次元データの付加情報に置換されるように構成されてもよい。このように、本実施形態は、種々の付加情報を仮想視点画像に表示させる場合に適用可能である。
Claims (18)
- 仮想視点および三次元の仮想空間に基づく二次元の仮想視点画像に対する付加情報の入力を取得する取得手段と、
入力された前記付加情報を前記仮想空間における三次元位置に配置されるオブジェクトに変換する変換手段と、
前記オブジェクトが前記三次元位置に配置された前記仮想空間に基づく前記仮想視点画像を表示手段に表示させる表示制御手段と、
を有することを特徴とする画像処理装置。 - 前記変換手段は、前記仮想空間における所定の面に前記オブジェクトが生成されるように前記変換を行う、ことを特徴とする請求項1に記載の画像処理装置。
- 前記変換手段は、前記付加情報が入力された際の前記仮想視点画像に対応する仮想視点と当該付加情報が入力された点とを通る直線の前記所定の面に対する交点に、当該付加情報が入力された点に対応する前記オブジェクトの点が生成されるように、前記変換を行う、ことを特徴とする請求項2に記載の画像処理装置。
- 前記表示制御手段は、前記変換手段によって変換された前記オブジェクトが前記仮想視点に基づく視野の範囲内に存在しない場合は当該オブジェクトを含まない前記仮想視点画像を表示させ、前記変換手段によって変換された前記オブジェクトが前記範囲内に存在する場合は当該オブジェクトを含んだ前記仮想視点画像を表示させる、ことを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記付加情報が入力された際の前記仮想視点画像に対応するタイムコードと、前記オブジェクトとが関連付けられ、
前記表示制御手段は、前記オブジェクトが関連付けられたタイムコードに対応する前記仮想視点画像が表示される場合に、前記オブジェクトが配置された前記仮想空間に基づいて前記仮想視点画像を表示させる、
ことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。 - 前記タイムコードと前記オブジェクトとを関連付けて記憶手段に記憶させる記憶制御手段をさらに有する、ことを特徴とする請求項5に記載の画像処理装置。
- 前記表示制御手段は、他の画像処理装置により入力された他の付加情報に基づく他のオブジェクトが三次元位置に配置された前記仮想空間に基づいて前記仮想視点画像を表示させる、ことを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
- 前記取得手段は、ユーザにより指定された前記仮想視点を表す情報を取得する、ことを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。
- 前記仮想視点を表す情報は、仮想視点の位置及び仮想視点からの視線方向を表す情報を含むことを特徴とする請求項8に記載の画像処理装置。
- 前記取得手段は、ユーザにより第1の操作が行われた場合、に当該第1の操作に対応する前記付加情報の入力を取得し、ユーザにより前記第1の操作と異なる第2の操作が行われた場合、当該第2の操作に応じて指定された前記仮想視点を表す情報を取得する、ことを特徴とする請求項8又は9に記載の画像処理装置。
- 前記第1の操作および前記第2の操作はタッチパネルへの操作であり、前記第1の操作は、前記タッチパネルへのユーザの指による操作であり、前記第2の操作は、描画用デバイスによる操作である、ことを特徴とする請求項10に記載の画像処理装置。
- 前記表示制御手段は、前記付加情報が入力された前記仮想視点画像に対応するタイムコードと、表示される前記仮想視点画像のタイムコードとの差が大きいほど前記オブジェクトが薄く表示されるように制御する、ことを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。
- 前記表示制御手段は、前記オブジェクトの透過度、明度、彩度、及び、色度の少なくともいずれかを変化させることにより、前記オブジェクトが薄く表示されるように制御することを特徴とする請求項12に記載の画像処理装置。
- 前記仮想視点画像において前記付加情報が付された位置に対応する特定のオブジェクトの三次元モデルを特定する特定手段をさらに有し、
前記表示制御手段は、前記仮想空間における前記特定のオブジェクトの三次元モデルに対応する三次元位置に、前記付加情報に対応する前記オブジェクトが配置された前記仮想視点画像を表示させる、
ことを特徴とする請求項1から13のいずれか1項に記載の画像処理装置。 - 前記付加情報は、マーカ、アイコン、アバター、及び、イラストのうち少なくともいずれかを含むことを特徴とする請求項1から14のいずれか1項に記載の画像処理装置。
- 前記仮想視点画像は、複数の撮像装置が撮像することにより取得された多視点画像に基づいて生成される、ことを特徴とする請求項1から15のいずれか1項に記載の画像処理装置。
- 画像処理装置によって実行される画像処理方法であって、
仮想視点および三次元の仮想空間に基づく二次元の仮想視点画像に対する付加情報の入力を取得することと、
入力された前記付加情報を前記仮想空間における三次元位置に配置されるオブジェクトに変換することと、
前記オブジェクトが前記三次元位置に配置された前記仮想空間に基づく前記仮想視点画像を表示手段に表示させることと、
を含むことを特徴とする画像処理方法。 - コンピュータを、請求項1から16のいずれか1項に記載の画像処理装置として機能させるためのプログラム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021123565A JP7406528B2 (ja) | 2021-07-28 | 2021-07-28 | 画像処理装置、画像処理方法、及びプログラム |
US17/865,662 US20230033201A1 (en) | 2021-07-28 | 2022-07-15 | Image processing apparatus, image processing method, and storage medium |
EP22186684.1A EP4125044A3 (en) | 2021-07-28 | 2022-07-25 | Image processing apparatus, image processing method, and program |
BR102022014625-0A BR102022014625A2 (pt) | 2021-07-28 | 2022-07-25 | Aparelho de processamento de imagem, método de processamento de imagem e suporte de armazenamento |
KR1020220092141A KR20230017745A (ko) | 2021-07-28 | 2022-07-26 | 화상 처리장치, 화상 처리방법, 및 기억매체 |
CN202210891013.7A CN115686295A (zh) | 2021-07-28 | 2022-07-27 | 图像处理设备、图像处理方法和存储介质 |
JP2023210281A JP2024019537A (ja) | 2021-07-28 | 2023-12-13 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021123565A JP7406528B2 (ja) | 2021-07-28 | 2021-07-28 | 画像処理装置、画像処理方法、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023210281A Division JP2024019537A (ja) | 2021-07-28 | 2023-12-13 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023019088A true JP2023019088A (ja) | 2023-02-09 |
JP7406528B2 JP7406528B2 (ja) | 2023-12-27 |
Family
ID=82702808
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021123565A Active JP7406528B2 (ja) | 2021-07-28 | 2021-07-28 | 画像処理装置、画像処理方法、及びプログラム |
JP2023210281A Pending JP2024019537A (ja) | 2021-07-28 | 2023-12-13 | 画像処理装置、画像処理方法、及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023210281A Pending JP2024019537A (ja) | 2021-07-28 | 2023-12-13 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230033201A1 (ja) |
EP (1) | EP4125044A3 (ja) |
JP (2) | JP7406528B2 (ja) |
KR (1) | KR20230017745A (ja) |
CN (1) | CN115686295A (ja) |
BR (1) | BR102022014625A2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11842444B2 (en) * | 2021-06-02 | 2023-12-12 | Streem, Llc | Visualization of camera location in a real-time synchronized 3D mesh |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4449183B2 (ja) | 2000-07-11 | 2010-04-14 | ソニー株式会社 | 画像編集システム及び画像編集方法、並びに記憶媒体 |
US8049750B2 (en) * | 2007-11-16 | 2011-11-01 | Sportvision, Inc. | Fading techniques for virtual viewpoint animations |
JP5295416B1 (ja) | 2012-08-01 | 2013-09-18 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2017151491A (ja) | 2014-07-07 | 2017-08-31 | 株式会社リコー | 画像表示装置、画像処理システム、画像処理方法及び画像処理プログラム |
EP3499897B1 (en) * | 2016-08-10 | 2021-05-19 | Panasonic Intellectual Property Corporation of America | Camerawork generating method and video processing device |
US10569172B2 (en) * | 2017-09-19 | 2020-02-25 | Canon Kabushiki Kaisha | System and method of configuring a virtual camera |
-
2021
- 2021-07-28 JP JP2021123565A patent/JP7406528B2/ja active Active
-
2022
- 2022-07-15 US US17/865,662 patent/US20230033201A1/en active Pending
- 2022-07-25 BR BR102022014625-0A patent/BR102022014625A2/pt unknown
- 2022-07-25 EP EP22186684.1A patent/EP4125044A3/en active Pending
- 2022-07-26 KR KR1020220092141A patent/KR20230017745A/ko active Search and Examination
- 2022-07-27 CN CN202210891013.7A patent/CN115686295A/zh active Pending
-
2023
- 2023-12-13 JP JP2023210281A patent/JP2024019537A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2024019537A (ja) | 2024-02-09 |
CN115686295A (zh) | 2023-02-03 |
EP4125044A3 (en) | 2023-03-01 |
KR20230017745A (ko) | 2023-02-06 |
JP7406528B2 (ja) | 2023-12-27 |
BR102022014625A2 (pt) | 2023-02-07 |
US20230033201A1 (en) | 2023-02-02 |
EP4125044A2 (en) | 2023-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11663785B2 (en) | Augmented and virtual reality | |
JP7042644B2 (ja) | 情報処理装置、画像生成方法およびコンピュータプログラム | |
US20210120224A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2013183249A (ja) | 動画提示装置 | |
JP7458889B2 (ja) | 画像表示装置、制御方法、およびプログラム | |
US11244423B2 (en) | Image processing apparatus, image processing method, and storage medium for generating a panoramic image | |
KR102484197B1 (ko) | 정보 처리장치, 정보 처리방법 및 기억매체 | |
JP2024019537A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP2020042362A (ja) | 制御装置及びその制御方法 | |
US10803652B2 (en) | Image generating apparatus, image generating method, and program for displaying fixation point objects in a virtual space | |
US20230353717A1 (en) | Image processing system, image processing method, and storage medium | |
JP2022131777A (ja) | 情報処理装置、それを含むシステム、情報処理方法およびプログラム | |
JP2022012900A (ja) | 情報処理装置、表示方法、及び、プログラム | |
JP7498209B2 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
WO2023145571A1 (ja) | 情報処理装置、情報処理方法、データ構造及びプログラム | |
WO2024084943A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2022230718A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
WO2024070762A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2022230715A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
WO2024070761A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2023132320A (ja) | 画像処理システム、画像処理方法及びコンピュータプログラム | |
JP2023163133A (ja) | 画像処理システム、画像処理方法及びコンピュータプログラム | |
JP2024079736A (ja) | 画像表示装置、制御方法、およびプログラム | |
CN116962660A (zh) | 图像处理系统、图像处理方法和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231215 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7406528 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |