JP2018028572A - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP2018028572A JP2018028572A JP2016159363A JP2016159363A JP2018028572A JP 2018028572 A JP2018028572 A JP 2018028572A JP 2016159363 A JP2016159363 A JP 2016159363A JP 2016159363 A JP2016159363 A JP 2016159363A JP 2018028572 A JP2018028572 A JP 2018028572A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- unit
- filter
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Circuits (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Abstract
【課題】 暈けた撮像画像に重畳する仮想物体画像を暈かす場合に、より少ない演算量で該仮想物体画像を暈かすための技術を提供すること。【解決手段】 頭部装着型表示装置の位置姿勢に応じて仮想物体の画像を生成する。頭部装着型表示装置の動きベクトルと、頭部装着型表示装置が有する撮像部に設定されている撮像パラメータ及び撮像部と仮想物体を配置する実空間上の位置との距離のうち少なくとも一方と、の組み合わせに応じた暈かし方向及び暈かし幅のフィルタを取得する。該取得したフィルタを用いて該画像を暈かし、該暈かした画像と撮像画像との合成画像を生成する。【選択図】 図1
Description
本発明は、仮想物体画像と撮像画像との合成画像を生成するための技術に関するものである。
近年、現実世界と仮想世界とをリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるMR(Mixed Reality)技術が知られている。MR技術の1つに、次のような技術が知られている。ビデオシースルー型HMD(Head Mounted Display)を利用して、HMD使用者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像する。そして、その撮像画像にCG(Computer Graphics)を重畳表示した画像をHMD使用者に提供する。
ビデオシースルー型HMDではCCD等の電荷結合素子により被写体を撮像して該被写体のデジタル画像を取得し、該デジタル画像にCG画像を重畳したMR画像(複合現実画像)を液晶や有機EL等の表示デバイスを介して装着者に提示する構成になっている。HMDから外部装置にHMDで撮像した撮像画像を送信する。外部装置では、HMDから受信した撮像画像からHMDの位置姿勢を計算し、この計算結果を元に撮像画像に重畳するCG画像を生成して該撮像画像に重畳し、撮像画像にCG画像を重畳した重畳画像をHMDへ送信する。HMDでは外部装置から受信した重畳画像を表示する。HMD使用者はHMDを用いることでMR空間を体験することが可能となる。
HMD使用者が首を振っている時、HMDに搭載されているカメラで撮像した撮像画像には暈けが生じる。これは、カメラが露光している間にHMDが動いたために発生する現象である。図22は、このような例を示した図である。図22(a)はHMDが止まっている時にカメラで撮像した画像を示しており、この画像には現実物体としてのテーブル3701が含まれている。図22(b)はHMD使用者が首を左右に振った時にカメラで撮像した画像を示している。首を左右に振っているため、テーブル3701の垂直方向のエッジが暈けている。
HMD使用者が首を振っている時にカメラにより撮像された撮像画像にCG画像を重畳した場合、図22(c)のような画像になる。図22(c)の画像では、図22(b)の撮像画像上にCG画像3702が重畳されている。図22(c)の画像では、カメラで撮像したテーブル3701は垂直方向のエッジが暈けている一方で、CG画像3702は垂直方向のエッジが暈けていない。従来から、複数の画像から暈けを推定する方法が提案されている(非特許文献1)。また、カメラの焦点位置を元にCG画像を暈す方法が提案されている(特許文献1)。
MIRU2006 講演論文集, pp. 255-260, July 2006
非特許文献1に開示の技術では、複数の画像から暈けを推定する必要があり、多くの演算処理が必要であった。本発明は、このような問題などに鑑みてなされたものであり、暈けた撮像画像に重畳する仮想物体画像を暈かす場合に、より少ない演算量で該仮想物体画像を暈かすための技術を提供する。
本発明の一様態は、頭部装着型表示装置の位置姿勢に応じて仮想物体の画像を生成する手段と、前記頭部装着型表示装置の動きベクトルと、前記頭部装着型表示装置が有する撮像部に設定されている撮像パラメータ及び前記撮像部と前記仮想物体を配置する実空間上の位置との距離のうち少なくとも一方と、の組み合わせに応じた暈かし方向及び暈かし幅のフィルタを取得する取得手段と、前記取得手段が取得したフィルタを用いて前記画像を暈かす暈かし処理を行う処理手段と、前記処理手段によって暈かした前記画像と、前記撮像部による撮像画像と、の合成画像を生成する生成手段とを備えることを特徴とする。
本発明の構成によれば、暈けた撮像画像に重畳する仮想物体画像を暈かす場合に、より少ない演算量で該仮想物体画像を暈かすことができる。
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の1つである。
[第1の実施形態]
本実施形態では、次のような構成を有する画像処理装置の一例について説明する。この画像処理装置は、頭部装着型表示装置の位置姿勢に応じて仮想物体の画像を生成する。そして、頭部装着型表示装置の動きベクトルと、頭部装着型表示装置が有する撮像部に設定されている撮像パラメータ及び撮像部と仮想物体を配置する実空間上の位置との距離のうち少なくとも一方と、の組み合わせに応じた暈かし方向及び暈かし幅のフィルタを取得する。そして、該取得したフィルタを用いて上記仮想物体の画像を暈かす暈かし処理を行い、該暈かした画像と、撮像部による撮像画像と、の合成画像を生成する。
本実施形態では、次のような構成を有する画像処理装置の一例について説明する。この画像処理装置は、頭部装着型表示装置の位置姿勢に応じて仮想物体の画像を生成する。そして、頭部装着型表示装置の動きベクトルと、頭部装着型表示装置が有する撮像部に設定されている撮像パラメータ及び撮像部と仮想物体を配置する実空間上の位置との距離のうち少なくとも一方と、の組み合わせに応じた暈かし方向及び暈かし幅のフィルタを取得する。そして、該取得したフィルタを用いて上記仮想物体の画像を暈かす暈かし処理を行い、該暈かした画像と、撮像部による撮像画像と、の合成画像を生成する。
先ず、本実施形態に係るシステムの構成例について、図1(a)のブロック図を用いて説明する。図1(a)に示す如く本実施形態に係るシステムは、頭部装着型表示装置の一例であるHMD1101、画像処理装置1104、表示装置1103、画像処理装置1104とHMD1101との間のデータ通信を仲介するコントローラ1102、を有する。
HMD1101とコントローラ1102との間のデータ通信はWLAN(Wireless Local Area Network)やWPAN(Wireless Personal Area Network)等の小規模ネットワークを介して行われる。なお、HMD1101とコントローラ1102との間のデータ通信は特定の通信携帯に限らず、無線通信であっても良いし、有線通信であっても良いし、これらの組み合わせであっても良い。また、図1(a)では、コントローラ1102は画像処理装置1104と別個の装置として示しているが、コントローラ1102は画像処理装置1104に組み込んで一体化させても良い。
次に、画像処理装置1104及びHMD1101のそれぞれの機能構成例について、図1(b)のブロック図を用いて説明する。なお、実際には、上記の如く、画像処理装置1104とHMD1101とはコントローラ1102を介してデータ通信を行うのであるが、図1(b)ではコントローラ1102の図示は省略している。
先ず、HMD1101について説明する。撮像部1202は、HMD1101を頭部に装着するユーザ(以下、単にユーザと称する)の視界と略一致する視界の現実空間の動画像を撮像し、該撮像した動画像を構成する各フレームの画像(撮像画像)は順次、画像補正部1206に対して送出される。
画像補正部1206は、撮像部1202から送出された撮像画像に対して周知の手ぶれ補正処理を行う。画像補正部1206は、手ぶれ補正機能が有効(ON)に設定されている場合には、撮像画像に対して手ぶれ補正処理を行い、該手ぶれ補正処理を施した撮像画像をI/F(インターフェース)1207を介して画像処理装置1104に対して出力する。一方、画像補正部1206は、手ぶれ補正機能が無効(OFF)に設定されている場合には、撮像部1202から送出された撮像画像をそのまま(手ぶれ補正処理以外の画像処理は行っても良い)I/F1207を介して画像処理装置1104に対して出力する。なお、手ぶれ補正機能の有効(ON)/無効(OFF)は、HMD1101に備わっているスイッチや画像処理装置1104からの指示によって設定することができる。
なお、撮像部1202の撮像パラメータもまた、I/F1207を介して画像処理装置1104に対して出力される。撮像パラメータには、撮像部1202の露光時間、手ぶれ補正機能の有効(ON)/無効(OFF)等が含まれる。
動き検出部1203は、HMD1101の動き方向や動き量を検出するためのセンサであり、例えば、ジャイロセンサや加速度センサである。動き検出部1203は、検出した動き方向及び動き量を示すデータを動きベクトルデータとして、I/F1207を介して画像処理装置1104に対して出力する。
表示部1204は、ユーザの眼前に位置するようにHMD1101に取り付けられたものであり、画像処理装置1104からI/F1207を介して受信した画像や文字を表示する。これによりユーザの眼前には、画像処理装置1104から受信した画像や文字が表示されることになる。制御部1205は、HMD1101全体の動作制御を行う。
次に、画像処理装置1104について説明する。位置姿勢算出部1214は、撮像部1202の位置姿勢を算出する。撮像部1202の位置姿勢を算出する方法には従来から様々な方法が提案されており、本実施形態では何れの方法を採用しても良い。例えば、I/F1211を介してHMD1101から受信した動きベクトルデータと撮像画像とに基づいて撮像部1202の位置姿勢を算出しても良い。また、HMD1101に位置姿勢センサを取り付け、該位置姿勢センサによる計測結果に基づいて撮像部1202の位置姿勢を算出しても良い。また、現実空間中に配置位置が既知のマーカを配置し、撮像部1202による撮像画像中のマーカの画像座標と該マーカの配置位置とに基づいて撮像部1202の位置姿勢を算出しても良い。マーカの代わりに自然特徴を採用しても良い。
コンテンツDB1213には、仮想物体を描画するために必要なデータが登録されている。例えば、仮想物体の形状を規定するデータ、仮想物体の色や質感を規定するデータ、仮想物体を配置する実空間上の位置に関するデータ、テクスチャマップデータなどがコンテンツDB1213に登録されている。
CG描画部1212は、コンテンツDB1213に登録されているデータを用いて仮想物体を構築し、該仮想物体を位置姿勢算出部1214が求めた位置姿勢を有する視点から見た画像を、仮想物体画像として生成する。ここで、CG描画部1212は、I/F1211を介してHMD1101から受信した様々な情報に基づいて適宜、仮想物体画像を暈かす処理を行う。そしてCG描画部1212は、I/F1211を介してHMD1101から受信した撮像画像上に仮想空間画像を重畳させた重畳画像を生成し、該生成した重畳画像を出力する。重畳画像の出力先については特定の出力先に限らない。例えば、表示装置1103に重畳画像を出力しても良いし、I/F1211を介してHMD1101(表示部1204)に対して出力しても良い。HMD1101(表示部1204)に重畳画像を出力した場合、ユーザの眼前には、この重畳画像が提示されることになる。
次に、CG描画部1212の構成例について、図3(a)のブロック図を用いて説明する。描画部1305は、コンテンツDB1213に登録されているデータに基づいて仮想空間を構築して仮想空間中に配置する。そして描画部1305は、該配置した仮想物体を、位置姿勢算出部1214が算出した位置姿勢を有する視点から見た画像を仮想物体画像として生成する。規定の位置姿勢を有する視点から見た仮想物体の画像を生成する技術については周知であるために、これに係る説明は省略する。また、描画部1305は、位置姿勢算出部1214が求めた撮像部1202の位置と仮想物体を配置する位置のデータとに基づいて、視点と仮想物体との間の距離を求める。
暈かし決定部1303は、HMD1101からI/F1211を介して受信した動きベクトルデータと、撮像パラメータ及び描画部1305が求めた距離のうち少なくとも一方と、の組み合わせに応じて、仮想物体画像を暈かすためのフィルタを決定する。暈かし決定部1303によるフィルタ決定処理についての詳細は後述する。
CG画像処理部1302は、暈かし決定部1303から暈かし処理を行う旨の指示を受けた場合には、描画部1305が生成した仮想物体画像を、暈かし決定部1303が決定したフィルタを用いて暈かす処理を行う。そしてCG画像処理部1302は、暈かし処理を行った仮想物体画像を、後段の重畳部1304に対して出力する。一方、CG画像処理部1302は、暈かし決定部1303から暈かし処理を行わない旨の指示を受けた場合には、描画部1305が生成した仮想物体画像をそのまま(暈かし処理以外の画像処理は行っても良い)重畳部1304に対して出力する。
重畳部1304は、HMD1101からI/F1211を介して受信した撮像画像上に、CG画像処理部1302から受けた仮想物体画像を重畳させた重畳画像を生成する。そして重畳部1304は、該生成した重畳画像を、I/F1211を介してHMD1101(表示部1204)に出力する。
次に、画像処理装置1104が重畳画像を生成してHMD1101(表示部1204)に出力するために行う処理について、同処理のフローチャートを示す図6を用いて説明する。なお、図6のフローチャートに従った処理の開始前には、描画部1305は仮想物体画像の生成及び視点と仮想物体との間の距離の算出は完了しているものとする。
ステップS1601では、暈かし決定部1303は、仮想物体画像を暈かすためのフィルタを決定する。ステップS1601における処理の詳細について、図9のフローチャートを用いて説明する。
ステップS1901では、暈かし決定部1303は、HMD1101からI/F1211を介して受信した動きベクトルデータが表す動き量を取得する。そしてステップS1902では、暈かし決定部1303は、動きベクトルデータが表す動き量が閾値以下であるか否かを判断する。この判断の結果、動きベクトルデータが表す動き量が閾値以下であれば、HMD1101はあまり動いておらず、従って撮像画像にもボケは生じていないものと思われるので、仮想物体画像についても暈かし処理は不必要と判断する。すなわち、暈かし処理用にフィルタを取得する処理は不必要と判断し、フィルタは取得せずに、処理は図6のステップS1602に進む。一方、動きベクトルデータが表す動き量が閾値よりも大きい場合、HMD1101の動き量は大きく、従って撮像画像にはボケが生じているものと思われるので、仮想物体画像には暈かし処理は必要と判断する。その結果、暈かし処理用にフィルタの取得処理を行うべく処理はステップS1903に進む。
ステップS1903では、暈かし決定部1303は、HMD1101からI/F1211を介して受信した動きベクトルデータが表す動き方向を取得する。ステップS1904では、暈かし決定部1303は、HMD1101からI/F1211を介して受信した撮像パラメータに含まれている露光時間を取得する。ステップS1905では、暈かし決定部1303は、HMD1101からI/F1211を介して受信した撮像パラメータに含まれている「HMD1101の撮像部1202の手ぶれ補正機能がON/OFFの何れであるのか」を取得する。ステップS1906では、暈かし決定部1303は、描画部1305が算出した視点と仮想物体との間の距離を取得する。
ステップS1907では、暈かし決定部1303は、ステップS1901,S1903〜S1906にて取得した情報の組み合わせに対応する、暈かし処理用のフィルタを決定する。ここで、ステップS1901,S1903〜S1906にて取得した情報と、暈かし処理用のフィルタと、の関係について、図4を用いて説明する。
図4(a)は、動きベクトルデータと、対応するフィルタと、の関係を示すテーブルである。動きベクトルデータが示す動き方向が水平方向(例えば動きベクトルデータが示すベクトルの水平方向からの角度(90度未満)の絶対値が30度未満)であれば、水平方向に画像を暈かすフィルタを選択する。また、動きベクトルデータが示す動き方向が垂直方向(例えば動きベクトルデータが示すベクトルの鉛直方向からの角度(90度未満)の絶対値が30度未満)であれば、垂直方向に画像を暈かすフィルタを選択する。動きベクトルデータが示す動き方向が水平方向でも垂直方向でもない(例えば動きベクトルデータが示すベクトルの水平方向からの角度(90度未満)の絶対値が30度〜60度の間)であれば、水平方向に対して45度の方向に画像を暈かすフィルタを選択する。また、動きベクトルデータが示す動き量がθ1以上(動きが速い)であれば、画像を幅W1で暈かすフィルタを選択する。動きベクトルデータが示す動き量がθ2(<θ1)以上且つθ1未満(動きが遅い)であれば、画像を幅W2(<W1)で暈かすフィルタを選択する。動きベクトルデータが示す動き量がθ2未満であれば、フィルタは選択しない。
図4(b)は、撮像パラメータと、対応するフィルタと、の関係を示すテーブルである。撮像パラメータに含まれている露光時間が規定の露光時間以上(露光時間が長い)であれば、画像を幅W1で暈かすフィルタを選択する。撮像パラメータに含まれている露光時間が規定の露光時間未満(露光時間が短い)であれば、画像を幅W2(<W1)で暈かすフィルタを選択する。このようなフィルタ選択は、露光時間が長い場合は、露光時間が短い場合と比べて撮像画像の暈けが大きくなることに起因する。撮像パラメータに含まれている「HMD1101の撮像部1202の手ぶれ補正機能がON/OFFの何れであるのか」が「手ぶれ補正機能がONである」ことを示す場合には、画像を幅W2(<W1)で暈かすフィルタを選択する。撮像パラメータに含まれている「HMD1101の撮像部1202の手ぶれ補正機能がON/OFFの何れであるのか」が「手ぶれ補正機能がOFFである」ことを示す場合には、画像を幅W1で暈かすフィルタを選択する。このようなフィルタ選択は、画像補正部1206で手ぶれ補正を行っていない場合、手ぶれ補正を行っている場合と比べて撮像画像の暈けが大きくなることに起因する。
図4(c)は、描画部1305が算出した視点と仮想物体との間の距離と、対応するフィルタと、の関係を示すテーブルである。描画部1305が算出した視点と仮想物体との間の距離が閾値未満(近い)であれば、画像を幅W1で暈かすフィルタを選択する。描画部1305が算出した視点と仮想物体との間の距離が閾値以上(遠い)であれば、画像を幅W2(<W1)で暈かすフィルタを選択する。このようなフィルタ選択は、視点と仮想物体との間の距離が大きい場合は暈け範囲は小さく、該距離が小さい場合は暈け範囲は広くなることに起因する。
このように、様々な要素に対応するフィルタの性質を踏まえて、予め図10に例示するテーブルを作成し、該作成したテーブルを画像処理装置1104に登録しておく。図10に例示するテーブルは、動きベクトルデータが示す動き量、露光時間、手ぶれ補正機能のON/OFF、視点と仮想物体との間の距離、の組み合わせに応じた暈け範囲を規定するテーブルである。例えば、動きベクトルデータが示す動き量が閾値θ1以上(動きが早い)、露光時間が規定の露光時間以上(露光時間が長い)、手ぶれ補正機能がOFF、視点と仮想物体との間の距離が閾値未満(短い)、であるとする。この場合、対応する暈かし幅は、図10のテーブルによると20pixcelとなる。
なお、図10のテーブルでは、動きベクトルデータが示す動き量については「早い」「遅い」の何れか一方、露光時間については「長い」「短い」の何れか一方、視点と仮想物体との間の距離については「長い」「短い」の何れか一方、に分けている。しかし、動きベクトルデータが示す動き量、露光時間、視点と仮想物体との間の距離、をより多段階に分けて、より多くの組み合わせに対応する暈け範囲を登録するようにしても良い。例えば、動きベクトルが示す動き量が大きいほどより広く暈かし、該動き量が小さいほどより狭く暈かし、露光時間が長いほどより広く暈かし、該露光時間が短いほどより狭く暈かし、上記距離が小さいほどより広く暈かし、該距離が大きいほどより狭く暈かす。また、動きベクトルデータが示す動き量、露光時間、視点と仮想物体との間の距離、の組み合わせに対応する暈け範囲を規定する関数を図10のテーブルの代わりに使用しても構わない。
然るにステップS1907では、ステップS1903にて取得した動き方向に、ステップS1901,S1904〜S1906にて取得した情報の組み合わせに対応する暈け範囲で画像を暈かすフィルタを選択することで、使用するフィルタを決定する。
水平方向に画像を暈かす一般的な平滑化フィルタの一例を図7(a)、(b)に示す。図7(a)は5×5のフィルタを示しており、図7(b)は3×3のフィルタを示している。広い暈し範囲を暈かす場合には図7(a)のような広い範囲に渡って画像を暈かすフィルタを用い、狭い暈かし範囲を暈かす場合には図7(b)のような狭い範囲に渡って画像を暈かすフィルタを用いる。なお、フィルタは平滑化フィルタに限らない。
図6に戻って、次にステップS1602では、CG画像処理部1302は、暈かし決定部1303がフィルタを決定した場合には、描画部1305が生成した仮想物体画像を、該決定したフィルタを用いて暈かす暈かし処理を行う。図5(a)は、暈かす前の仮想物体画像である。図5(a)の画像物体画像を水平方向に幅W2で暈かした結果を図5(b)に示す。図5(a)の画像物体画像を水平方向に幅W1で暈かした結果を図5(c)に示す。そしてCG画像処理部1302は、暈かし処理を行った仮想物体画像を、重畳部1304に対して出力する。
なお、暈かし決定部1303がフィルタを決定しなかった(ステップS1902で動きベクトルデータが表す動き量が閾値以下であると判断した)場合、CG画像処理部1302は、描画部1305が生成した仮想物体画像をそのまま重畳部1304に出力する。
ステップS1603において重畳部1304は、HMD1101からI/F1211を介して受信した撮像画像上に、CG画像処理部1302から受けた仮想物体画像を重畳させた重畳画像を生成する。そして重畳部1304は、該生成した重畳画像を表示部1204に出力する。
なお、暈かし処理を行った仮想物体画像を撮像画像上に重畳する場合における、該仮想物体画像と撮像画像との境界部について図8を用いて説明する。図8(a)、(b)は何れも水平方向に暈かした仮想物体画像1803と撮像画像1801の境界部1802を示したものである。図8(a)は、水平方向に暈かし範囲W1で暈かした仮想物体画像1803と撮像画像1801の境界部1802、図8(b)は、水平方向に暈かし範囲W2で暈かした仮想物体画像1803と撮像画像1801の境界部1802、を示している。境界部1802については半透明の画素値(α値)を有する画素で描画すると良い。なお、境界部1802内でα値は一定値でも良いし、仮想物体画像1803側から撮像画像1801側に向けて徐々に透明度が増すようにα値を変化させても良い。
[第2の実施形態]
本実施形態を含め、以下の各実施形態では第1の実施形態との差分について重点的に説明し、以下で特に触れない限りは第1の実施形態と同様であるものとする。本実施形態では、仮想物体画像を暈かす処理を行うのか否かの判断を、重畳画像(撮像画像)の画像サイズ(総画素数)に対する仮想物体画像の画像サイズの比率や、仮想物体画像が文字画像であるのか否かの判断結果に応じて行う。
本実施形態を含め、以下の各実施形態では第1の実施形態との差分について重点的に説明し、以下で特に触れない限りは第1の実施形態と同様であるものとする。本実施形態では、仮想物体画像を暈かす処理を行うのか否かの判断を、重畳画像(撮像画像)の画像サイズ(総画素数)に対する仮想物体画像の画像サイズの比率や、仮想物体画像が文字画像であるのか否かの判断結果に応じて行う。
本実施形態では、CG描画部1212は図3(b)に例示する構成を有する。図3(b)に示す構成は、図3(a)に示す構成に判定部2201を加えたものとなっている。判定部2201は、重畳画像の画像サイズ(規定)に対する描画部1305が生成した仮想物体画像の画像サイズの比率を求める。また判定部2201は、HMD1101からI/F1211を介して受信した撮像パラメータに含まれている撮像部1202のフレームレートを取得し、該フレームレートと、求めた上記比率とに基づいて仮想物体画像に対する暈かし処理を行うか否かを判断する。
次に、画像処理装置1104が重畳画像を生成してHMD1101(表示部1204)に出力するために行う処理について、同処理のフローチャートを示す図14を用いて説明する。なお、図14のフローチャートに従った処理の開始前には、描画部1305は仮想物体画像の生成及び視点と仮想物体との間の距離の算出は完了しているものとする。また、図14において図6に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。
ステップS2401において判定部2201は、重畳画像の画像サイズ(規定)に対する描画部1305が生成した仮想物体画像の画像サイズの比率を求める。また判定部2201は、HMD1101からI/F1211を介して受信した撮像パラメータに含まれている撮像部1202のフレームレートを取得する。
ステップS2402では、判定部2201は、上記比率と上記フレームレートとに基づいて、仮想物体画像に対する暈かし処理を行うのか否かを判断する。ここで、重畳画像に占める仮想物体画像の比率と、仮想物体画像に対する暈かし処理の必要性と、の関係について図11を用いて説明する。
図11(a)、(b)は何れも、現実物体2101が配された空間の撮像画像に仮想物体画像2102を重畳させた重畳画像を示している。しかし、図11(b)の重畳画像に占める仮想物体画像2102の割合は、図11(a)の重畳画像に占める仮想物体画像2102の割合よりも大きい。重畳画像に占める仮想物体画像2102の割合が比較的大きいと、現実空間の画像領域が比較的小さくなるため、仮にユーザが首を振って撮像画像が暈けても、撮像画像における暈けは目立たない。然るに、図11(b)のような重畳画像の場合、暈かさない仮想物体画像を撮像画像に重畳させても、撮像画像は暈けており仮想物体画像は暈けていない、という違和感は感じがたい。そこで本実施形態では、重畳画像に占める仮想物体画像2102の割合が規定値以上であれば、仮想物体画像は暈かさないようにする。
例えば、図13(a)に示す如く、重畳画像に占める仮想物体画像の割合が70%以上であれば、仮想物体画像に対する暈かし処理は行わない(非実施)ようにする。一方、重畳画像に占める仮想物体画像の割合が70%未満であれば、仮想物体画像に対する暈かし処理は行う(実施)ようにする。
また、図13(b)に示す如く、撮像部1202のフレームレートが30fps以下の場合には、仮想物体画像に対する暈かし処理は行わない(非実施)ようにする。一方、撮像部1202のフレームレートが30fpsより高い場合には、仮想物体画像に対する暈かし処理は行う(実施)ようにする。フレームレートが低い場合、ユーザが首を振って撮像画像が暈けていても、該ユーザにとって撮像画像における暈けはあまり気にならない。なお、30fpsは閾値の一例であり、この値に限らない。
ステップS2402における判断の結果、仮想物体画像に対する暈かし処理を行うと判断した場合には、処理はステップS1601に進み、仮想物体画像に対する暈かし処理は行わないと判断した場合には、処理はステップS1603に進む。
[第3の実施形態]
本実施形態では、仮想物体画像を暈かす処理を行うのか否かの判断を、第2の実施形態とは異なる基準でもって行う。より具体的には、CG描画部1212にて描画する仮想物体画像が表すものが文字/記号であるのか、文字/記号以外の仮想物体であるのかに応じて、仮想物体画像を暈かす処理を行うのか否かを判断する。
本実施形態では、仮想物体画像を暈かす処理を行うのか否かの判断を、第2の実施形態とは異なる基準でもって行う。より具体的には、CG描画部1212にて描画する仮想物体画像が表すものが文字/記号であるのか、文字/記号以外の仮想物体であるのかに応じて、仮想物体画像を暈かす処理を行うのか否かを判断する。
本実施形態では、CG描画部1212は図16に例示する構成を有する。図16に示す構成は、図3(a)に示す構成に判定部2601を加えたものとなっている。判定部2601は、描画部1305が生成した仮想物体画像が文字/記号であるのか否かに応じて、仮想物体画像に対する暈かし処理を行うか否かを判断する。
次に、画像処理装置1104が重畳画像を生成してHMD1101(表示部1204)に出力するために行う処理について、同処理のフローチャートを示す図18(a)を用いて説明する。なお、図18(a)のフローチャートに従った処理の開始前には、描画部1305は仮想物体画像の生成及び視点と仮想物体との間の距離の算出は完了しているものとする。また、図18(a)において図6に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。
ステップS2801では、判定部2601は、描画部1305が生成したそれぞれの仮想物体画像について、該仮想物体画像が文字/記号の画像であるのか否かを判断する。この判断の結果、文字/記号を表す仮想物体画像については、図18(b)に示す如く、暈かし処理は行わない(非実施)ため、処理はステップS2802を介してステップS1603に進む。一方、文字/記号以外の仮想物体画像については、図18(b)に示す如く、暈かし処理を行う(実施)ため、処理はステップS2802を介してステップS1601に進む。これにより、文字/記号以外の仮想物体画像については暈けた画像となり、文字/記号の仮想物体画像については暈けていない画像となる。
例えば、図15(a)に示す如く、撮像画像上に、文字/記号以外の仮想物体の画像2502と文字の仮想物体の画像2501とが重畳される場合、画像2502については暈かしても構わない。しかし、画像2501については文字を表しているため、暈かしてしまうと文字が見えづらくなる。そこで、文字の画像2501については暈かし処理の対象外とする。
なお、図15(b)のように、画像2502上に画像2501を重ねる場合、つまり、文字/記号以外の仮想物体に文字/記号の仮想物体を重ねる(若しくは一体化する)ような場合であっても同じである。すなわち、文字/記号以外の仮想物体の画像については暈かし処理の対象となり、文字/記号の仮想物体の画像については暈かし処理の対象外とする。
[第4の実施形態]
本実施形態では、HMDはOSD(On Screen Display)機能を有している。そして本実施形態では、HMDは、OSD機能によって表示するオブジェクト(OSDオブジェクト)のうち、常時表示するOSDオブジェクトについては適宜暈かすものの、常時表示しないOSDオブジェクトについては暈かさずに表示する。
本実施形態では、HMDはOSD(On Screen Display)機能を有している。そして本実施形態では、HMDは、OSD機能によって表示するオブジェクト(OSDオブジェクト)のうち、常時表示するOSDオブジェクトについては適宜暈かすものの、常時表示しないOSDオブジェクトについては暈かさずに表示する。
本実施形態に係るシステムは図20に例示する構成を有する。図20に示す構成は、図1(b)に示す構成においてHMD1101にOSD重畳部3001を加えたものとなっている。OSD重畳部3001は、画像処理装置1104からI/F1207を介して受信した重畳画像にOSDオブジェクトを重畳して表示部1204に出力する。このOSDオブジェクトには、例えば現在日時を表す文字列、HMD1101のバッテリー状態(残量など)を表す文字やオブジェクト、HMD1101の各種の設定情報、ユーザへの各種のメッセージなどが含まれる。
次に、本実施形態の概要について、図19を用いて説明する。図19には、OSD機能によって重畳画像2900上に現在日時を表すOSDオブジェクト2901及びメッセージを表すOSDオブジェクト2902が重畳された状態を示している。ここで、OSDオブジェクト2901は常にユーザに通知するメッセージを表すものであるから、例えばユーザが首を振って撮像画像が暈けた場合、OSDオブジェクト2901も同様に暈かした方が違和感がない。これはHMD1101のバッテリー状態でも同様である。一方、OSDオブジェクト2902は、何かのイベント発生時にユーザに通知するメッセージを表すものであって、このメッセージは確実にユーザに視認させる必要のあるメッセージを含むものである。然るに、例えばユーザが首を振って撮像画像が暈けても、このメッセージは暈かさない方がよい。このように、OSDオブジェクトでも、その属性に応じて暈かす必要のあるOSDオブジェクトと暈かさない方がよいOSDオブジェクトとがある。
上記のOSD重畳部3001の構成例について、図21(a)のブロック図を用いて説明する。OSD描画部3102は、制御部1205から表示対象として指示されたOSDオブジェクトを生成する。
OSD判定部3101は、OSD描画部3102が生成したOSDオブジェクトのそれぞれについて、暈かし処理の必要/不必要を判定する。上記の如く、図21(b)に示すように、常時表示が必要なOSDオブジェクトについては暈かし処理は実施すると判断し、イベント発生時に表示するなど常時表示しないOSDオブジェクトについては暈かし処理は実施しないと判断する。
OSD処理部3103は、OSD描画部3102が生成したOSDオブジェクトのうち、OSD判定部3101が暈かし処理が必要と判断したOSDオブジェクトに対して暈かし処理を行い、暈かし処理済みのOSDオブジェクトを重畳部3104に出力する。なお、暈かし処理に用いるフィルタは、暈かし決定部1303と同様の方法でもって決定する。つまり、動き検出部1203が検出した動きベクトルデータと、HMD1101に設定されている撮像パラメータと、の組み合わせに応じて、OSDオブジェクトを暈かすためのフィルタを決定する。OSD処理部3103によるフィルタ決定処理についての詳細は後述する。一方、OSD処理部3103は、OSD描画部3102が生成したOSDオブジェクトのうち、OSD判定部3101が暈かし処理が不必要と判断したOSDオブジェクトについては、該OSDオブジェクトを暈かさずに重畳部3104に出力する。
重畳部3104は、画像処理装置1104からI/F1207を介して受信した重畳画像上に、OSD処理部3103から出力されたOSDオブジェクトを、OSD機能によって重畳し、OSDオブジェクトが重畳された重畳画像を表示部1204に出力する。
次に、OSD重畳部3001が行う処理について、図23のフローチャートを用いて説明する。なお、図23のフローチャートに従った処理の開始時点では既にOSD描画部3102によって、制御部1205から表示対象として指示されたOSDオブジェクトが生成済みであるものとする。
ステップS3301においてOSD判定部3101は、OSD描画部3102が生成したOSDオブジェクトのそれぞれについて、暈かし処理の必要/不必要を判定する。暈かし処理が必要と判断されたOSDオブジェクトについては処理はステップS3302を介してステップS3303に進み、暈かし処理が不必要と判断されたOSDオブジェクトについては処理はステップS3302を介してステップS3305に進む。
ステップS3303では、OSD処理部3103は、OSDオブジェクトを暈かすためのフィルタを決定する。ステップS3303における処理の詳細について、図2のフローチャートを用いて説明する。
ステップS3501では、OSD処理部3103は、動き検出部1203が検出した動きベクトルデータが表す動き量を取得する。そしてステップS3502では、OSD処理部3103は、動きベクトルデータが表す動き量が閾値以下であるか否かを判断する。この判断の結果、動きベクトルデータが表す動き量が閾値以下であれば、暈かし処理用にフィルタを取得する処理は不必要と判断し、フィルタは取得せずに、処理は図23のステップS3305に進む。一方、動きベクトルデータが表す動き量が閾値よりも大きい場合、暈かし処理用にフィルタの取得処理を行うべく処理はステップS3503に進む。
ステップS3503では、OSD処理部3103は、動き検出部1203が検出した動きベクトルデータが表す動き方向を取得する。ステップS3504では、OSD処理部3103は、HMD1101に設定されている撮像パラメータに含まれている露光時間を取得する。ステップS3505では、OSD処理部3103は、HMD1101に設定されている撮像パラメータに含まれている「HMD1101の撮像部1202の手ぶれ補正機能がON/OFFの何れであるのか」を取得する。
ステップS3506では、OSD処理部3103は、ステップS3501,S3503〜S3505にて取得した情報の組み合わせに対応する、暈かし処理用のフィルタを決定する。ここで、ステップS3501,S3503〜S3505にて取得した情報と、暈かし処理用のフィルタと、の関係について、図12を用いて説明する。
図12(a)は、動きベクトルデータと、対応するフィルタと、の関係を示すテーブルである。動きベクトルデータと、対応するフィルタと、の関係については、フィルタの適用対象がOSDオブジェクトであること以外は、図4(a)に示した関係と同じである。
図12(b)は、撮像パラメータと、対応するフィルタと、の関係を示すテーブルである。撮像パラメータと、対応するフィルタと、の関係については、フィルタの適用対象がOSDオブジェクトであること以外は、図4(b)に示した関係と同じである。
このように、様々な要素に対応するフィルタの性質を踏まえて、本実施形態においても、予め図10に例示するテーブルを作成し、該作成したテーブルをHMD1101に登録しておく(ただし視点と仮想物体との間の距離の欄は不要)。テーブルの使用方法については第1の実施形態で説明したとおりであり、動きベクトルデータが示す動き量、露光時間、手ぶれ補正機能のON/OFF、の組み合わせに応じた暈け範囲を取得する。
然るにステップS3506では、ステップS3503にて取得した動き方向に、ステップS3501,S3504〜S3505にて取得した情報の組み合わせに対応する暈け範囲で画像を暈かすフィルタを選択することで、使用するフィルタを決定する。
図23に戻って、次にステップS3304では、OSD処理部3103は、フィルタを決定した場合には、OSD描画部3102が生成したOSDオブジェクトを、該決定したフィルタを用いて暈かす暈かし処理を行う。そしてOSD処理部3103は、暈かし処理を行ったOSDオブジェクトを、重畳部3104に対して出力する。
なお、OSD処理部3103がフィルタを決定しなかった(ステップS3502で動きベクトルデータが表す動き量が閾値以下であると判断した)場合、OSD処理部3103は、OSD描画部3102が生成したOSDオブジェクトをそのまま重畳部3104に出力する。
ステップS3305において重畳部3104は、画像処理装置1104からI/F1207を介して受信した重畳画像上に、OSD処理部3103から受けたOSDオブジェクトを重畳させた画像を生成し、該生成した画像を表示部1204に出力する。
なお、OSD重畳部3001を画像処理装置1104側に組み込んでも良い。この場合、HMD1101はOSDオブジェクトが重畳済みの重畳画像を画像処理装置1104から受信して表示することになる。
[第5の実施形態]
図1(b),3(a)、(b),16,20,21(a)に示した各機能部は全てハードウェアで実装しても良いし、1以上をソフトウェア(コンピュータプログラム)で実装しても良い。例えば、画像処理装置1104の場合、コンテンツDB1213及びI/F1211をハードウェアで構成し、それ以外の機能部をソフトウェアで構成しても良い。この場合、このようなハードウェアを有し且つこのソフトウェアを実行可能なコンピュータ装置は画像処理装置1104に適用可能である。このような、画像処理装置1104に適用可能なコンピュータ装置のハードウェア構成例について、図17のブロック図を用いて説明する。
図1(b),3(a)、(b),16,20,21(a)に示した各機能部は全てハードウェアで実装しても良いし、1以上をソフトウェア(コンピュータプログラム)で実装しても良い。例えば、画像処理装置1104の場合、コンテンツDB1213及びI/F1211をハードウェアで構成し、それ以外の機能部をソフトウェアで構成しても良い。この場合、このようなハードウェアを有し且つこのソフトウェアを実行可能なコンピュータ装置は画像処理装置1104に適用可能である。このような、画像処理装置1104に適用可能なコンピュータ装置のハードウェア構成例について、図17のブロック図を用いて説明する。
CPU101はRAM102やROM103に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりCPU101は、コンピュータ装置全体の動作制御を行うと共に、画像処理装置1104が行うものとして上述した各処理を実行若しくは制御する。
RAM102は、外部記憶装置105からロードされたコンピュータプログラムやデータ、I/F106を介して外部(HMD1101)から受信したデータ、を格納するためのエリアを有する。更にRAM102は、CPU101が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM102は各種のエリアを適宜提供することができる。ROM103には、書き換え不要のコンピュータ装置の設定データやブートプログラムなどが格納されている。
操作部104は、マウスやキーボードなどのユーザインターフェースにより構成されており、コンピュータ装置のユーザが操作することで、各種の指示をCPU101に対して入力することができる。
外部記憶装置105は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置105には、OS(オペレーティングシステム)や、位置姿勢算出部1214、CG描画部1212の機能をCPU101に実行させるためのコンピュータプログラムやデータが保存されている。このデータには、コンテンツDB1213や、上記の説明において既知の情報として説明したもの、予め画像処理装置1104に登録しておくものとして説明したものも含まれている。外部記憶装置105に保存されているコンピュータプログラムやデータは、CPU101による制御に従って適宜RAM102にロードされ、CPU101による処理対象となる。
I/F106には、図1(a)の場合、コントローラ1102や表示装置1103が接続される。もちろん、I/F106はHMD1101と直接通信を行うようにしても良い。I/F106は図1(b)の場合、I/F1211として機能する。
CPU101、RAM102、ROM103、操作部104、外部記憶装置105、I/F106は何れもバス107に接続されている。なお、図17に示した構成は画像処理装置1104に適用可能なコンピュータ装置の構成の一例に過ぎない。
<変形例>
暈かし処理の可否は、ユーザが設定しても良い。また、画像処理装置1104が行うものとして説明した処理、HMD1101が行うものとして説明した処理は、その一部を他の装置に行わせるようにしても良い。
暈かし処理の可否は、ユーザが設定しても良い。また、画像処理装置1104が行うものとして説明した処理、HMD1101が行うものとして説明した処理は、その一部を他の装置に行わせるようにしても良い。
また、暈け範囲の決定においては、上記の各実施形態において説明した全ての情報を用いることに限らない。例えば第1の実施形態では、動きベクトルデータ、撮像パラメータ、描画部1305が求めた距離、の組み合わせに対応する暈け範囲を決定していた。しかし、例えば、動きベクトルデータと露光時間との組み合わせや、動きベクトルデータと描画部1305が求めた距離との組み合わせに対応する暈け範囲を決定するようにしても良い。また、上記の実施形態や変形例は、その一部若しくは全部を適宜組み合わせて使用しても構わないし、その一部若しくは全部を選択的に使用しても構わない。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1101:HMD 1214:位置姿勢算出部 1212:CG描画部
Claims (13)
- 頭部装着型表示装置の位置姿勢に応じて仮想物体の画像を生成する手段と、
前記頭部装着型表示装置の動きベクトルと、前記頭部装着型表示装置が有する撮像部に設定されている撮像パラメータ及び前記撮像部と前記仮想物体を配置する実空間上の位置との距離のうち少なくとも一方と、の組み合わせに応じた暈かし方向及び暈かし幅のフィルタを取得する取得手段と、
前記取得手段が取得したフィルタを用いて前記画像を暈かす暈かし処理を行う処理手段と、
前記処理手段によって暈かした前記画像と、前記撮像部による撮像画像と、の合成画像を生成する生成手段と
を備えることを特徴とする画像処理装置。 - 前記取得手段は、
前記動きベクトルが示す動き方向に暈かすフィルタを取得することを特徴とする請求項1に記載の画像処理装置。 - 前記取得手段は、
前記動きベクトルが示す動き量が大きいほどより広く暈かし、該動き量が小さいほどより狭く暈かすフィルタを取得することを特徴とする請求項1又は2に記載の画像処理装置。 - 前記取得手段は、
前記撮像パラメータに含まれる露光時間が長いほどより広く暈かし、該露光時間が短いほどより狭く暈かすフィルタを取得することを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。 - 前記撮像パラメータが前記撮像部の手ぶれ補正機能が有効になっていることを示す場合に前記取得手段が取得するフィルタの暈かし幅は、前記撮像パラメータが前記撮像部の手ぶれ補正機能が無効になっていることを示す場合に前記取得手段が取得するフィルタの暈かし幅よりも狭いことを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
- 前記取得手段は、
前記距離が小さいほどより広く暈かし、前記距離が大きいほどより狭く暈かすフィルタを取得することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。 - 前記処理手段は、前記撮像画像に対する前記画像の比率が閾値以上の場合には前記暈かし処理を行わず、該比率が該閾値未満の場合には前記暈かし処理を行うことを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。
- 前記処理手段は、前記撮像パラメータに含まれている前記撮像部のフレームレートが閾値以下の場合には前記暈かし処理を行わず、該フレームレートが該閾値より高い場合には前記暈かし処理を行うことを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。
- 前記処理手段は、前記画像が文字/記号の画像である場合には前記暈かし処理を行わず、前記画像が文字/記号以外の画像である場合には前記暈かし処理を行うことを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。
- 前記生成手段は、前記合成画像を前記頭部装着型表示装置に対して出力することを特徴とする請求項1乃至9の何れか1項に記載の画像処理装置。
- 前記頭部装着型表示装置は、前記合成画像に重畳する情報が常時表示する第1の情報である場合には、該第1の情報を、前記頭部装着型表示装置の動きベクトルと前記頭部装着型表示装置が有する撮像部に設定されている撮像パラメータとの組み合わせに応じた暈かし方向及び暈かし幅のフィルタを用いて暈かし、該暈かした第1の情報を前記合成画像に合成し、該情報が常時表示しない第2の情報である場合には、該第2の情報を暈かさずに前記合成画像に合成することを特徴とする請求項10に記載の画像処理装置。
- 画像処理装置が行う画像処理方法であって、
前記画像処理装置の画像の生成手段が、頭部装着型表示装置の位置姿勢に応じて仮想物体の画像を生成する生成工程と、
前記画像処理装置の取得手段が、前記頭部装着型表示装置の動きベクトルと、前記頭部装着型表示装置が有する撮像部に設定されている撮像パラメータ及び前記撮像部と前記仮想物体を配置する実空間上の位置との距離のうち少なくとも一方と、の組み合わせに応じた暈かし方向及び暈かし幅のフィルタを取得する取得工程と、
前記画像処理装置の処理手段が、前記取得工程で取得したフィルタを用いて前記画像を暈かす暈かし処理を行う処理工程と、
前記画像処理装置の生成手段が、前記処理手段によって暈かした前記画像と、前記撮像部による撮像画像と、の合成画像を生成する生成工程と
を備えることを特徴とする画像処理方法。 - コンピュータを、請求項1乃至11の何れか1項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016159363A JP2018028572A (ja) | 2016-08-15 | 2016-08-15 | 画像処理装置、画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016159363A JP2018028572A (ja) | 2016-08-15 | 2016-08-15 | 画像処理装置、画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018028572A true JP2018028572A (ja) | 2018-02-22 |
Family
ID=61247808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016159363A Pending JP2018028572A (ja) | 2016-08-15 | 2016-08-15 | 画像処理装置、画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018028572A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112270728A (zh) * | 2020-10-27 | 2021-01-26 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
US11169358B1 (en) * | 2018-06-29 | 2021-11-09 | Facebook Technologies, Llc | Varifocal projection display |
-
2016
- 2016-08-15 JP JP2016159363A patent/JP2018028572A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11169358B1 (en) * | 2018-06-29 | 2021-11-09 | Facebook Technologies, Llc | Varifocal projection display |
CN112270728A (zh) * | 2020-10-27 | 2021-01-26 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11893689B2 (en) | Automated three dimensional model generation | |
KR102136241B1 (ko) | 표정 검출 성능을 갖는 머리-장착형 디스플레이 | |
US9196093B2 (en) | Information presentation device, digital camera, head mount display, projector, information presentation method and non-transitory computer readable medium | |
CN109743626B (zh) | 一种图像显示方法、图像处理方法和相关设备 | |
EP3757727B1 (en) | Image re-projection for foveated rendering | |
JP2018537748A (ja) | 可変の計算量を用いた画像のライトフィールドレンダリング | |
KR20180005528A (ko) | 영상 처리를 위한 디스플레이 장치 및 방법 | |
CN111833403B (zh) | 用于空间定位的方法和装置 | |
JP5949501B2 (ja) | 作業補助システムおよびプログラム | |
CN109448050B (zh) | 一种目标点的位置的确定方法及终端 | |
JP2017134771A (ja) | 情報処理装置、情報処理方法、プログラム | |
US20230120037A1 (en) | True size eyewear in real time | |
JP2020113094A (ja) | 拡張現実空間に配置される3dオブジェクトを生成する方法 | |
US10901213B2 (en) | Image display apparatus and image display method | |
JP2018028572A (ja) | 画像処理装置、画像処理方法 | |
US11474595B2 (en) | Display device and display device control method | |
WO2024027819A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
CN108027646B (zh) | 一种终端显示防抖方法及装置 | |
JP6858007B2 (ja) | 画像処理システム、画像処理方法 | |
JP2007102478A (ja) | 画像処理装置、画像処理方法、及び半導体集積回路 | |
JP2016042661A (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
US20230388471A1 (en) | Image processing apparatus, image processing method, and program | |
JP2024020074A (ja) | 情報処理方法及び情報処理装置 | |
JP2022105044A (ja) | 画像処理装置と、その処理方法、プログラム | |
JP2023015074A (ja) | コンピュータプログラム、サーバ装置、端末装置、システム及び方法 |