JP2016143321A - 画像処理システム、視線計測システム、画像処理方法、視線計測方法及びプログラム - Google Patents
画像処理システム、視線計測システム、画像処理方法、視線計測方法及びプログラム Download PDFInfo
- Publication number
- JP2016143321A JP2016143321A JP2015020247A JP2015020247A JP2016143321A JP 2016143321 A JP2016143321 A JP 2016143321A JP 2015020247 A JP2015020247 A JP 2015020247A JP 2015020247 A JP2015020247 A JP 2015020247A JP 2016143321 A JP2016143321 A JP 2016143321A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image projection
- plane
- projection plane
- observation target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 230000000007 visual effect Effects 0.000 title abstract description 28
- 238000005259 measurement Methods 0.000 claims abstract description 77
- 238000009877 rendering Methods 0.000 claims abstract description 71
- 238000013507 mapping Methods 0.000 claims description 26
- 238000000691 measurement method Methods 0.000 claims description 7
- 230000007547 defect Effects 0.000 abstract description 4
- 238000003384 imaging method Methods 0.000 description 65
- 238000013500 data storage Methods 0.000 description 28
- 239000013598 vector Substances 0.000 description 25
- 239000003550 marker Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 22
- 238000006243 chemical reaction Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000009826 distribution Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
Description
この場合、視線計測と同時に、視点座標系に対して固定された視野ビデオカメラによって、観察者の視点前方を捉えた視野ビデオ画像を撮影する。このとき、視線計測データが示す視線方向と、視野ビデオ画像の画素座標は一意に対応する。
このような視線計測装置及び解析用ソフトウェアとしては、例えば、株式会社ナックイメージテクノロジー社のアイマークレコーダEMR−9(登録商標)、アイマークアプリケーション・ソフトウェアEMR−dTarget(登録商標)それぞれが販売されている。
以下、本発明の第1の実施形態について、図面を参照して説明する。
図1は、第1の実施形態による視線計測システムの構成例を示すブロック図である。図1において、視線計測システムは、画像処理装置1、撮像装置2、利用者観測装置3、視線計測装置4及び表示装置5の各々を備えている。画像処理装置1は、3次元空間再構成部11、画像投影面作成部12、撮像方向ベクトル変換部13、レンダリング条件設定部14、レンダリング処理部15、画像出力部16、撮像データ記憶部17、グローバル座標系データ記憶部18、撮影画像データ記憶部19の各々を備えている。
撮像装置2は、CCD(Charge Coupled Device)あるいはCMOS(Complementary Metal Oxide Semiconductor)などのイメージセンサを用いたカメラなどであり、陳列空間における観察対象を含む静止画像を異なる視点から、事前撮像画像として撮像するために用いられる。
図3は、第1の実施形態における画像投影面作成部12による画像投影面の生成処理を説明する概念図である。図3においては、3次元形状データの観察対象面と、画像投影面との位置関係が明確となるように、画像投影面と3次元形状データの観察対象面とを上部から俯瞰した図としている。図3(a)は、操作者の3次元空間における画像投影面の初期設定を説明する図である。図3(b)は、観察者の観察視点に対応した3次元形状データの観察対象面に対し、この観察面に対して最も適切な位置に画像投影面の配置処理を説明する図である。観察対象面とは、観察者が観察する視点である観察視点から見た3次元形状データの表面である。画像投影面とは、観察対象面の凹凸を低減して近似した仮想的な面であり、観察者が観察する視点から見た3次元形状データのテクスチャデータとして、事前撮像画像の画像データをマッピングしてレンダリングを行う面を示している。これにより、3次元形状データの観察対象面に対して事前撮像画像の画像データをマッピングする場合に比較して、観察者が観察する表示画像における画像歪みや画素の欠損などの発生を防止し、表示画像の品質を向上させることができる。
なお、観察視点602および画像投影面601に対する3次元形状データ600の位置および角度は相対的なものであるため、観察視点602をグローバル座標系に対して固定して3次元形状データ600および画像投影面601を移動あるいは回転する場合、逆に3次元形状データ600をグローバル座標系に対して固定して観察視点602および画像投影面601を移動あるいは回転する場合、のいずれの方法でも処理は可能であり、表示上は両者に違いはない。本実施例では3次元形状データ600をグローバル座標系に対して固定し、観察視点602および画像投影面601を移動あるいは回転させることによって相互の位置関係を設定するものとして説明する。
一般に、平面と見なせる陳列棚などの上に注視箇所を示す注視点マーカーを表示する場合、観察対象面になるべく正対して撮像した事前撮像画像を、報告用画像を作成する際のテクスチャマッピングに用いる。
例えば、レンダリング条件設定部14では、観察対象面が観察視点602に正対し、観察対象範囲が観察視野603に収まるように、観察視点602の角度と位置を調整し、3次元形状データ600’が観察視点602に対して図3(b)の位置となるように調整する。
そして、画像投影面作成部12では、画像投影面601と観察視点602との距離を調整し、調整後の3次元形状データ600’における観察対象面と一致するように調整する。
また、撮像方向ベクトル変換部13は、求めたカメラ座標系における3次元空間において検出されたカメラ撮像方向ベクトルを、カメラ姿勢角を用いてカメラ座標系からグローバル座標系に座標変換する。そして、撮像方向ベクトル変換部13は、カメラ撮像方向ベクトルを、撮像した撮像画像の撮像画像識別情報に対応させて、撮像データ記憶部17の事前撮像画像テーブルに書き込んで記憶させる。
また、画像出力部16は、3次元形状データと事前撮像画像がレンダリング(後述のテクスチャマッピング)された観察対象面とを、表示装置5の2次元平面である表示画面に投影した2次元画像として表示する。
また、画像出力部16は、レンダリング条件における注視点マーカーの有無を示すフラグが注視点マーカー有りである場合、後述する視線計測装置4が求めた3次元形状データの表面上における観察者の注視箇所を注視点マーカーとして、同様の投影変換行列を用いて、3次元形状データ及び画像投影面とともに上記表示画面上の2次元画像に投影する。
グローバル座標系データ記憶部18は、グローバル座標系における3次元形状データが書き込まれて記憶されている。
投影画像データ記憶部19は、図4に示すレンダリング条件テーブルと、3次元形状データの観察対象面の表示画像とが書き込まれて記憶されている。
利用者撮像部31は、例えば、CCD(charge coupled device)またはCMOS(complementary metal oxide semiconductor)のイメージセンサなどを用いたビデオカメラであり、陳列空間を移動する観察者の顔の向いている方向(観察者の頭部前方)の動画(映像)、すなわち陳列空間における観察者の視野の画像データ(視野画像)を撮像する。この利用者撮像部31としては、観察者の視野の映像が得られる手段であれば、ビデオカメラではなく視線計測データから求めた停留点に対応する視野の画像データを撮像するスチルカメラを用いても良い。
図5(b)は、撮像装置503が撮像した事前撮像画像507と、観察対象面500に対して設けられた画像投影面領域501との対応関係を示している。
図5(c)は、撮像装置504が撮像した事前撮像画像509と、観察対象面500に対して設けられた画像投影面領域501との対応関係を示している。
ここで、歪みや欠損が従来に比較して目立たない報告書画像を作成するためには、なるべく観察対象面に対応する画像投影面500に対して正対して撮像された事前撮像画像を選択して用いることが望ましい。
ここで、レンダリング処理部15は、観察者視点602からの観察視野602の観察ベクトル方向と近い、カメラ撮像方向ベクトルを有する事前撮像画像を、撮像データ記憶部17の事前撮像画像テーブルから検索する。
次に、レンダリング処理部15は、カメラ座標位置、カメラ姿勢角、投影変換行列を用いて、観察視野502の座標における画像投影面領域501の画像投影面領域501A(四角形)の頂点座標を求める。同様に、レンダリング処理部15は、カメラ座標位置、カメラ姿勢角、投影変換行列を用いて、観察視野502の座標における画像投影面領域501の画像投影面領域501B(四角形)の頂点座標を求める。
図6から判るように、凹凸を有するポリゴンの上に直接に事前撮像画像をマッピングした場合、観察視点から見た際に凹凸における影となる部分の画素データが報告書画像に反映されないため、領域1000にある白抜きの部分として観察される画素データの欠損や、領域1001における画像の歪みなどが散見され、報告用画像の品質が低い状態である。このため、図6の画像を報告用画像として用いるには、品質的に問題があり、実際には使用することができない。
図7から判るように、本実施形態においては、図5で説明した処理を用いて画像投影面に事前撮像画像をマッピングすることにより、図6における領域1000における画素データの欠損や、領域1001における画像の歪みなどが観察される問題が無くなり、報告用画像の品質を向上させることができる。このため、図7の画像が報告用画像として十分な品質を有しており、有効に使用することができる。
調整方法A.テクスチャマッピングした画像投影面と観察対象面との比較表示
調整方法B.画像投影面と観察対象面との距離を表示画像の濃淡(階調度)で表示
調整方法C.画像投影面と観察対象面との距離を表示画像の色で表示
調整方法D.画像投影面と観察対象面との表示色を異ならせて表示
上記4種類の調整方法を順次説明する。調整方法Aは主として画像投影面と観察対象面との距離調整に用い、調整方法B、調整方法C及び調整方法Dの各々は主として画像投影面と観察対象面とを平行とする調整に用いる。
3次元形状データの観察対象面に対して事前撮像画像をテクスチャマッピングした参照画像と、この観察対象面に対応する画像投影面に対して事前撮像画像をテクスチャマッピングした報告用画像とを重畳表示して比較する。ここで、参照画像と報告用画像との各々は、半透明の画像として重畳表示とする。この参照画像と報告用画像との半透明とした重畳表示は、レンダリング条件における表示モードで設定する。
3次元形状データの観察対象面に事前撮像画像がマッピングされた参照画像は、観察対象面に対応して設けられた画像投影面とは無関係に、注視箇所と同一の座標系で対応付けられている。一方、画像投影面に事前撮像画像がマッピングされた報告用画像は、画像投影面と観察視点との距離により、表示上の大きさが変化するため、画像投影面が観察対象面に対して一致していない場合、注視箇所を示す注視マーカーの位置ずれが発生する。
この図8においては、画像投影面と観察対象面との位置が大きくずれている、すなわち画像投影面と観察対象面との距離が離れているため、参照画像と報告用画像とが2重像として観察されている。
この図9においては、画像投影面と観察対象面との位置が一致している、すなわち画像投影面と観察対象面との距離がほぼ0に近いため、参照画像と報告用画像とが2重像として観察されない。
3次元形状データの観察対象面と、この観察対象面に対応する画像投影面との距離差を階調画像として画像表示する(濃淡画像の表示)。ここで、画像投影面作成部12は、表示画素毎に、観察対象面と画像投影面との距離を求め、階調度の範囲において中央値の階調度を観察対象面と画像投影面との距離が観察対象面中央での距離に等しい点、または観察対象面と画像投影面とが一致した点(距離が0)に付与する。また、観察対象面が画像投影面に対して奥側に移動するほど高い階調度(淡色)を付与する。一方、観察対象面が画像投影面に対して手前側に移動するほど低い階調度(濃色)を付与する。
したがって、操作者は、濃淡画像の全面における画像の濃淡が階調度の範囲の中央の階調度の近傍でバランスが取れるように、操作者が観察視点と3次元形状データを相互に平行移動あるいは回転させることにより、画像投影面に対する観察対象面の位置と角度を調整する。
3次元形状データの観察対象面と、この観察対象面に対応する画像投影面との距離差をカラー画像として画像表示する。ここで、画像投影面作成部12は、観察対象面の画素に対応する画像投影面の画素との距離を求め、所定の第1の色(例えば黄色)を観察対象面と画像投影面とが一致した点(距離が0)に付与する。また、観察対象面が画像投影面に対して奥側となる領域に対して、上記第1の色と異なる所定の第2の色(例えば赤色)を付与する。一方、観察対象面の特徴点が画像投影面に対して手前側となる領域に対して、上記第1の色及び第2の色と異なる所定の第3の色(例えば青色)を付与する。
したがって、操作者は、濃淡画像の全面における画像の黄色の領域が主要な観察対象と一致するように、操作者が観察視点と3次元形状データを互いに平行移動あるいは回転させることにより、画像投影面に対する観察対象面の位置を調整する。
3次元形状データの観察対象面と、この観察対象面に対応する画像投影面とを異なる色で表示する(カラー画像の表示)。ここで、画像投影面作成部12は、観察対象面の画素を所定の第1の色(例えば青色)により表示する。また、画像投影面の画素を所定の第2の色(例えば赤色)で表示する。これにより、観察対象面が画像投影面に対して手前側にあれば、観察対象面が手前にあるため青色が表示される。一方、観察対象面が画像投影面に対して奥側にあれば、画像投影面が手前にあるため赤色が表示される。
すなわち、操作者は、カラー画像の全面における青色の領域及び赤色の領域の各々の分布のバランスが取れるように、操作者が観察視点と3次元形状データを互いに平行移動あるいは回転させることにより、画像投影面に対して観察対象面が平行となるように、3次元形状データの位置を調整する。
画像投影面作成部12は、操作者が入力するレンダリング条件に基づき、報告用画像の作成に用いる3次元形状データ及び注視箇所の座標点(3次元空間)を読み込む。
ここで、レンダリング条件とは、図4に示す観察視点座標、表示モード、回転角度、注視点マーカ有無などである。表示モードは、3次元形状データの表示方法と、いずれの調整方法を用いるかを示す条件である。本説明において、例えば、操作者は、3次元形状データの観察対象面をポリゴンで表示し、かつ観察対象面と画像投影面との距離を画像投影面中央部での距離を中間値として濃淡で表示する表示モードとする。
画像投影面作成部12は、読み込んだ3次元形状データを画像出力部16に対して出力する。
そして、画像出力部16は、上記3次元形状データを表示装置5の表示画面に対して表示する。
操作者は、表示装置5の表示画面に表示されている3次元形状データに対して、不図示の入力手段(キーボード或いはマウス)により観察視点、観察視点の視点方向を示す回転角度及び表示モードを設定する。
レンダリング条件設定部14は、設定された観察視点の3次元空間における座標である観察視点座標に対し、報告書画像情報を付加する。そして、レンダリング条件設定部14は、報告書画像情報とともに観察視点座標と回転角度を、撮像データ記憶部17のレンダリング条件テーブル(図4)に対して書き込んで記憶させる。
また、画像投影面作成部12は、観察視点座標及び観察方向角度の各々に対応する、3次元形状データの観察対象面を、画像出力部16を介して表示装置5の表示画面に表示させる。
また、画像投影面作成部12は、観察対象面に対応させ画像投影面を生成し、生成した画像投影面を画像出力部16を介して表示装置5の表示画面に表示させる(図3(a))。このとき、画像投影面作成部12は、画像投影面を観察視点に対して正対するように設ける。
次に、画像投影面作成部12は、操作者の入力したレンダリング条件に基づき、画像投影面及び観察対象面の濃淡画像を表示する。すなわち、画像投影面作成部12は、操作者の入力したレンダリング条件に基づき、画像出力部16を介して、表示装置5の表示画面において観察対象面と画像投影面との距離を画像投影面中央部での距離を中間値として画像投影面の各画素を濃淡で表示する。
操作者は、表示画面に表示された濃淡画像を観察し、濃淡で表示された階調全面における濃淡分布のバランスが取れるように、観察視点と3次元形状データを互いに回転させる。すなわち、画像投影面に対して観察対象面が平行となるように、観察視点座標と回転角度を調整する。ここで、操作者は、濃淡分布のバランスが取れた場合、調整終了の入力を入力手段から行う。
これにより、レンダリング条件設定部14は、観察視点座標と回転角度を、撮像データ記憶部17のレンダリング条件テーブルに書き込んで記憶させる。
そして、操作者は、画像投影面に対する観察対象面の角度調整が終了したため、画像投影面に対する観察対象面の距離調整を行うため、表示モードを調整方法Aに対応したモードに再設定する。すなわち、3次元形状データの観察対象面をポリゴンで表示させ、かつ観察対象面及び画像投影面の各々を半透明表示する表示モードとする。
レンダリング処理部15は、テクスチャマッピングされた観察対象面及び画像投影面の各々の画像を重畳表示させる。
このとき、レンダリング処理部15は、3次元形状データにおける観察対象面のポリゴンに対して、抽出された事前撮像画像の画像データをテクスチャマッピングする。また、レンダリング処理部15は、画像投影面に対して事前撮像画像の画像データをテクスチャマッピングする。
そして、レンダリング処理部15は、レンダリング条件に基づき、テクスチャマッピングされた観察対象面及び画像投影面との各々の画像を、半透明画像(あるいは所定の透明度に調節した画像)として重畳させ、画像出力部16を介して、表示装置5の表示画面の2次元平面に対して2次元画像として投影させて表示する。
表示装置5の表示画面において、観察対象面及び画像投影面の各々の画像が重畳表示されると、操作者は、この重畳表示を用いて、画像投影面と観察対象面との距離の調整を行う。このとき、画像投影面と観察対象面とは平行となっているため、操作者は、観察対象面に対する画像投影面の観察視線方向の距離を調整する制御を行う。
例えば、操作者は、図8の観察対象面及び画像投影面の各々の画像が重畳表示された画像が2重画像として観察された場合、入力手段により、観察対象面に対する画像投影面の距離を、画像投影面を観察対象面に対して観察視線方向に移動させて調整する。このとき、操作者は、観察対象面に対して、画像投影面を手前方向あるいは奥方向に、所定の距離単位で移動させて、2重表示がなくなり画像が重なる距離となるように調整する。
操作者が観察対象面及び画像投影面間の距離の調整を終了する処理を行うと、レンダリング処理部15は、3次元形状データを非表示として、画像投影面のみ、すなわち画像投影面に対して事前撮像画像がテクスチャマッピング(レンダリング)された報告用画像のみを表示する。
次に、画像出力部16は、レンダリング条件に基づき、報告書画像に対して、視線計測装置4が求めた注視箇所を示す注視点マーカーを付加して表示する。
すなわち、画像出力部16は、視線計測装置4が求めた注視箇所の3次元空間における座標である注視箇所座標のなかから、3次元形状データの観察対象面上の座標に対応する注視箇所座標を抽出する。そして、画像出力部16は、3次元空間における観察対象面に対して抽出した注視箇所座標に対して注視点マーカーを配置し、表示装置5の表示画面の2次元平面において、注視点マーカーを画像投影面に対して投影する。
操作者は、表示装置5の表示画面において、注視点マーカーと報告用画像における画像(例えば、図9に示された報告用画像における商品の外観であるペットボトルの画像などの対象画像)との位置関係を確認するチェックを行う。
そして、操作者は、画像の注視点マーカーと位置関係に問題がない場合、すなわち注視点マーカーが対象画像と重なっている場合、入力手段から処理を終了させる制御を行う。一方、操作者は、画像の注視点マーカーと位置関係に問題がある場合、すなわち注視点マーカーが対象画像と重なっていない場合、入力手段から再処理をさせる制御を行う。
画像出力部16は、処理が終了された場合、報告書画像情報とともに投影画像データ記憶部19に対して書き込んで記憶させる。
これにより、本実施形態によれば、従来に比較して容易に報告用画像の品質を向上させることができる。
以下、本発明の第2の実施形態による視線計測システムについて説明する。第2実施形態による視線計測システムの構成は、図1の第1の実施形態と同様である。以下、第2の実施形態の第1の実施形態と異なる動作について説明する。
図13は、第2の実施形態における画像投影面作成部12による画像投影面の生成処理を説明する概念図である。
図13においては、3次元形状データの観察対象面と、画像投影面との位置関係が明確となるように、画像投影面と3次元形状データの観察対象面とを上部から俯瞰した図としている。
画像投影面作成部12は、第1の施形態で説明したように、画像投影面601_2に対して観察対象面の凸頂部面670が平行となるように、調整方法Bで制御する。
そして、レンダリング処理部14は、画像投影面601_1及び画像投影面601_2の各々に対して、観察視点602に対応する事前撮像画像をテクスチャマッピングする。また、レンダリング処理部14は、観察対象面の凹底部面660及び凸頂部面670に対しても同様に、観察視点602に対応する事前撮像画像をテクスチャマッピングする。
次に、操作者は、画像投影面601_2を観察視線方向に移動させて、観察対象面の凸頂部面670の画像と、画像投影面601_2の画像とが2重像とならないように一致させる調整を行う。
これにより、本実施形態によれば、観察対象面が段差の面を有している場合でも、従来に比較して容易に報告用画像の品質を向上させることができる。
以下、本発明の第3の実施形態による視線計測システムについて説明する。第3実施形態による視線計測システムの構成は、図1の第1の実施形態と同様である。以下、第3の実施形態の第1の実施形態と異なる動作について説明する。本実施形態においては、画像投影面と観察視点との距離、および、3次元形状データの角度調整を、操作者の操作によらず、画像投影面作成部12及びレンダリング条件設定部14の各々自身が行う構成となっている。
以下の説明においては、3次元形状データの観察対象面と画像投影面との各々の距離の二乗和を最小化するように、画像投影面作成部12及びレンダリング条件設定部14の各々が3次元形状データ及び画像投影面の各々の位置を調整する構成について説明する。
図14には、操作者の入力手段からの入力操作により、報告用画像に適するように3次元形状データと観察視点との位置関係を設定した状態における3次元形状データのレンダリング結果が示されている。この図14に示す段階においては、3次元形状データと画像投影面との位置合わせは行われていない状態である。
3次元形状データには、床面A02、天井A03及び壁A04などの位置合わせの対象とはならない領域が含まれているため、この位置合わせの対象とはならない領域を除外するため、操作者の入力操作により、位置合わせの対象となる領域として、図14の着目領域A01を選択して設定する。
画像投影面作成部12は、3次元形状データB01の調整範囲に含まれる観察対象面に対して、観察視点B04の観察視野B07に含まれる観察対象面から選択された着目領域B02の近似平面B03を、着目領域B02の面を構成する画素の3次元空間における座標点から最小二乗法により求める。
また、画像投影面作成部12が用いる近似平面B03の算出方法は、着目領域B02における画素との最小二乗法に限るものではない。
例えば、着目領域B02において、観察視点B04から近い座標点の画素の重みを大きくすることにより、陳列棚前面の商品等の手前側のオブジェクト(3次元形状データB01における対象物体の画像)と画像投影面B10との整合性を高めることができる。
レンダリング条件設定部14は、観察視線B06と近似平面B03の交点B08を回転中心として、例えば3次元形状データB01を角度θだけ逆回転(図15の矢印の向きと反対方向、すなわち時計方向へ回転)させるように観察視点の位置および角度を設定し、近似平面B03と画像投影面B04とのなす角度θを「0」とする。
なお、本実施形態においては、一例として、2次元平面の説明図を用いて図示しているが実際は3次元空間で、3次元形状データB01を角度θだけ、上述した逆回転させるように観察視点の位置および角度を設定し、画像投影面B10が設定される。
画像投影面作成部12は、観察視点B04及び画像投影面B10間の距離C05(図16)と、観察視点B04及び回転中心B08間の距離C06(図16)とが等しくなるよう、画像投影面B10を垂直方向に距離C07だけ移動させ、画像投影面B10と観察視点B04との距離を調整する。
これにより、図17に示すように、観察視点B04及び画像投影面B10間の距離と、観察視点B04及び近似平面B03間の距離とが等しくなる。すなわち、観察視点B04及画像投影面B10間の距離と、観察視点B04及び着目領域B02間の距離とが等しくなる。
この後、第1の実施形態で説明した調整方法Aを用いて、微調整を行うようにしても良い。
ステップS31:
画像投影面作成部12は、図14に示すように、操作者が入力手段から入力した観察視点B初期視点の設定として、観察視点B04の観察視野B07に含まれる観察対象面とする報告用画像を、画像出力部16を介して表示装置5の表示画面に表示する。
操作者は、観察対象面と画像投影面との位置合わせの対象とはならない領域を除外するため、表示装置5の表示画面に表示されている報告用画像において、位置合わせの対象となる領域として、入力手段によって着目領域A01の領域を設定する。
これにより、画像投影面作成部12は、操作者の設定に基づいて、3次元形状データにおける観察対象面において、図14に示すように、着目領域A01を生成する。
画像投影面作成部12は、3次元形状データB01の調整範囲に含まれる観察対象面に対して、観察視点B04の観察視野B07に含まれる観察対象面から選択された着目領域B02(図14における着目領域A01)の近似平面B03を、着目領域B02の面を構成する画素の3次元空間における座標点から最小二乗法により求める。
レンダリング条件設定部14は、観察視線B06と近似平面B03の交点B08を回転中心として、3次元形状データB01を角度θだけ逆回転(反時計方向に回転)させるように観察視点の位置および角度を調整し、近似平面B03と画像投影面B10とのなす角度θを「0」とする。
画像投影面作成部12は、観察視点B04及び画像投影面B10間の距離C05と、観察視点B04及び回転中心B08間の距離C06とが等しくなるよう、画像投影面B10を観察視線方向に距離C07だけ移動させ、画像投影面B10と観察視点B04との距離を調整する。
これにより、本実施形態によれば、観察対象面と画像投影面とを平行とする処理、及び観察視点からの距離を同一とする処理が操作者の手作業でなく、画像投影面作成部12における計算処理で行われるため、従来に比較して容易に報告用画像の品質を向上させることができる。
視線計測装置4は、グローバル座標系における陳列空間において、視野画像のマッチング処理を行い、特徴点の座標である特徴点座標の抽出、カメラ撮像座標、カメラ撮像方向ベクトルの算出を行う。
視線計測装置4は、カメラ撮像座標及びカメラ撮像方向ベクトルから、視線方向ベクトルをカメラ座標系からグローバル座標系に変換する変換行列を生成する。また、撮像方向ベクトル変換部13は、生成した変換行列により、抽出したフレーム画像に対応する視線方向ベクトルを、カメラ座標系からグローバル座標系に座標変換し、内部の記憶部に書き込んで記憶する。
また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
2…撮像装置
3…利用者観測装置
4…視線計測装置
5…表示装置
11…3次元空間再構成部
12…画像投影面作成部
13…撮像方向ベクトル変換部
14…レンダリング条件設定部
15…レンダリング処理部
16…画像出力部
17…撮像データ記憶部
18…グローバル座標系データ記憶部
19…投影画像データ記憶部
31…利用者撮像部
32…利用者視線計測部
Claims (11)
- 測定空間の3次元形状データの観察対象面を近似する画像投影面を配置する画像投影面作成部と、
前記画像投影面に対し、前記観察対象面に対応する測定空間が撮像された画像をテクスチャマッピングし、表示画像面を生成するレンダリング処理部と
を備えることを特徴とする画像処理システム。 - 前記画像投影面作成部が、
前記3次元形状の前記面の形状により、当該形状に対応する前記画像投影面を複数設ける
ことを特徴とする請求項1に記載の画像処理システム。 - 前記画像投影面作成部が、
前記3次元形状データにおける観察者の観察視点に対応した前記面と、当該面に対して設けられた前記画像投影面との位置関係を、前記面と前記画像投影面の各々の単位領域の強調表示により示す
ことを特徴とする請求項1または請求項2に記載の画像処理システム。 - 前記画像投影面作成部が、
前記面と前記画像投影面との位置関係を、前記面及び前記画像投影面の各々の前記単位領域の階調度によって強調表示する
ことを特徴とする請求項3に記載の画像処理システム。 - 前記画像投影面作成部が、
前記面と前記画像投影面との位置関係を、前記面及び前記画像投影面の各々の前記単位領域の表示色によって強調表示する
ことを特徴とする請求項3に記載の画像処理システム。 - 前記画像投影面作成部が、
前記面と前記画像投影面との対応する前記画素毎の前記3次元空間における距離を元にした統計処理により、前記面に対して所定の位置に前記画像投影面を配置する
ことを特徴とする請求項1から請求項5のいずれか一項に記載の画像処理システム。 - 請求項1から請求項6のいずれか一項に記載の画像処理システムを備えており、
前記画像投影面に対し、前記前記観察者の注視箇所を表示する
ことを特徴とする視線計測システム。 - 画像投影面作成部が、測定空間の3次元形状データの観察対象面を近似する画像投影面を配置する画像投影面作成過程と、
レンダリング処理部が、前記画像投影面に対し、前記観察対象面に対応する測定空間が撮像された画像をテクスチャマッピングし、表示画像面を生成するレンダリング処理過程と
を含むことを特徴とする画像処理方法。 - 請求項8に記載の画像処理方法を含んでおり、
前記画像投影面に対し、前記前記観察者の注視箇所を表示する
ことを特徴とする視線計測方法。 - コンピュータを、
測定空間の3次元形状データの観察対象面を近似する画像投影面を配置する画像投影面作成手段、
前記画像投影面に対し、前記観察対象面に対応する測定空間が撮像された画像をテクスチャマッピングし、表示画像面を生成するレンダリング手段
として動作させるためのプログラム。 - コンピュータを、
測定空間の3次元形状データの観察対象面を近似する画像投影面を配置する画像投影面作成手段、
前記画像投影面に対し、前記観察対象面に対応する測定空間が撮像された画像をテクスチャマッピングし、表示画像面を生成するレンダリング手段、
前記画像投影面に対し、前記前記観察者の注視箇所を表示する手段
として動作させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015020247A JP6586730B2 (ja) | 2015-02-04 | 2015-02-04 | 画像処理システム、視線計測システム、画像処理方法、視線計測方法及びプログラム |
PCT/JP2016/053334 WO2016125851A1 (ja) | 2015-02-04 | 2016-02-04 | 画像処理システム、視線計測システム、画像処理方法、視線計測方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015020247A JP6586730B2 (ja) | 2015-02-04 | 2015-02-04 | 画像処理システム、視線計測システム、画像処理方法、視線計測方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016143321A true JP2016143321A (ja) | 2016-08-08 |
JP6586730B2 JP6586730B2 (ja) | 2019-10-09 |
Family
ID=56564190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015020247A Active JP6586730B2 (ja) | 2015-02-04 | 2015-02-04 | 画像処理システム、視線計測システム、画像処理方法、視線計測方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6586730B2 (ja) |
WO (1) | WO2016125851A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020135737A (ja) * | 2019-02-25 | 2020-08-31 | 株式会社パスコ | 注視行動調査システム、及び制御プログラム |
JPWO2020217807A1 (ja) * | 2019-04-25 | 2020-10-29 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004152133A (ja) * | 2002-10-31 | 2004-05-27 | Nippon Telegr & Teleph Corp <Ntt> | 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 |
JP2012146199A (ja) * | 2011-01-13 | 2012-08-02 | Nippon Steel Corp | 視線位置検出装置、視線位置検出方法、及びコンピュータプログラム |
-
2015
- 2015-02-04 JP JP2015020247A patent/JP6586730B2/ja active Active
-
2016
- 2016-02-04 WO PCT/JP2016/053334 patent/WO2016125851A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004152133A (ja) * | 2002-10-31 | 2004-05-27 | Nippon Telegr & Teleph Corp <Ntt> | 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 |
JP2012146199A (ja) * | 2011-01-13 | 2012-08-02 | Nippon Steel Corp | 視線位置検出装置、視線位置検出方法、及びコンピュータプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020135737A (ja) * | 2019-02-25 | 2020-08-31 | 株式会社パスコ | 注視行動調査システム、及び制御プログラム |
JP7266422B2 (ja) | 2019-02-25 | 2023-04-28 | 株式会社パスコ | 注視行動調査システム、及び制御プログラム |
JPWO2020217807A1 (ja) * | 2019-04-25 | 2020-10-29 | ||
WO2020217807A1 (ja) * | 2019-04-25 | 2020-10-29 | 富士フイルム株式会社 | 画像の向き設定装置、方法およびプログラム |
JP7127212B2 (ja) | 2019-04-25 | 2022-08-29 | 富士フイルム株式会社 | 画像の向き設定装置、方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6586730B2 (ja) | 2019-10-09 |
WO2016125851A1 (ja) | 2016-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10650602B2 (en) | Apparatus and method for three-dimensional information augmented video see-through display, and rectification apparatus | |
US20160307374A1 (en) | Method and system for providing information associated with a view of a real environment superimposed with a virtual object | |
US20190012818A1 (en) | Systems and methods for adaptive stitching of digital images | |
KR20160007423A (ko) | 직접적인 기하학적 모델링이 행해지는 hmd 보정 | |
JP7387434B2 (ja) | 画像生成方法および画像生成装置 | |
US20210042948A1 (en) | Light-field image generation system, image display system, shape information acquisition server, image generation server, display device, light-field image generation method, and image display method | |
JP2020004325A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2021056679A (ja) | 画像処理装置、方法及びプログラム | |
JP2013008324A (ja) | 画像処理システム、端末装置及び方法 | |
KR20200129657A (ko) | 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법 | |
TW202123694A (zh) | 3d顯示設備、3d圖像顯示方法 | |
US20220113543A1 (en) | Head-mounted display and image display method | |
CN107562185B (zh) | 一种基于头戴vr设备的光场显示系统及实现方法 | |
JP6586730B2 (ja) | 画像処理システム、視線計測システム、画像処理方法、視線計測方法及びプログラム | |
JP2018500690A (ja) | 拡大3d画像を生成するための方法およびシステム | |
KR101588935B1 (ko) | 가상현실 이미지 프레젠테이션 및 3d 공간 내에서의 컨트롤을 위한 3d 기하학 데이터의 이용방법 | |
US11043019B2 (en) | Method of displaying a wide-format augmented reality object | |
WO2018084087A1 (ja) | 画像表示システム、画像表示装置、その制御方法、及びプログラム | |
CN110060349B (zh) | 一种扩展增强现实头戴式显示设备视场角的方法 | |
WO2017191702A1 (ja) | 画像処理装置 | |
JP6679966B2 (ja) | 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム | |
WO2023112971A1 (ja) | 三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラム | |
WO2017191703A1 (ja) | 画像処理装置 | |
Lai et al. | Exploring manipulation behavior on video see-through head-mounted display with view interpolation | |
JP2021047468A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150205 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180123 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190813 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190826 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6586730 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |