JP2018129025A - 決定装置、画像処理装置、決定方法及び決定プログラム - Google Patents
決定装置、画像処理装置、決定方法及び決定プログラム Download PDFInfo
- Publication number
- JP2018129025A JP2018129025A JP2017161553A JP2017161553A JP2018129025A JP 2018129025 A JP2018129025 A JP 2018129025A JP 2017161553 A JP2017161553 A JP 2017161553A JP 2017161553 A JP2017161553 A JP 2017161553A JP 2018129025 A JP2018129025 A JP 2018129025A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- imaging devices
- specific object
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】実空間で特定の物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得すること。【解決手段】実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、特定の物体で遮蔽されてユーザから見ることができない背景画像を含む画像を出力する撮像装置を、複数の撮像装置から選択する決定装置であって、複数の撮像装置それぞれから取得した静止画像又は動画像と、複数の撮像装置の配置位置情報とに基づいて、背景を欠けずに撮像していて、かつ、ユーザとの距離が近い撮像装置を複数の撮像装置から選択する選択部、を備える決定装置。【選択図】図1
Description
本発明は、決定装置、画像処理装置、決定方法及び決定プログラムに関する。
従来、画像処理の技術として、拡張現実感(AR:Augmented Reality)及び複合現実感(MR:Mixed Reality)が知られている。拡張現実感とは、実空間に存在する物体に画像処理装置が情報を付与等することで、現実を拡張して表現する技術である。複合現実感とは、実空間に存在する物体の画像を画像処理装置が変化させ、変化した物体の画像と仮想空間に存在する物体の画像とを画像処理装置が複合化して表現する技術である。
上記のような技術分野において、実空間の物体がない状態の画像を生成し、生成した画像を実空間と重ねあわせてユーザに見せることで、実空間から物体が取り除かれたように見せることができる。実空間に物体がない状態の画像を生成する手法として、大きく2つに分類することができる。1つ目の手法として、物体が写っている画像を用いて物体周辺の領域から修復する方法が挙げられる(例えば、非特許文献1参照)。2つ目の手法として、物体の背景を撮影している複数のカメラ画像を用いて物体領域を埋める方法が挙げられる(例えば、非特許文献2参照)。
河合紀彦、外2名、「画像修復を用いた隠消現実感」、第17回画像の認識・理解シンポジウム
榎本暁人、外1名、「複数のハンディカメラを利用したDiminished Reality」、画像の認識・理解シンポジウム、2007年7月
しかしながら、非特許文献1の手法では、物体周辺の類似した色又はテクスチャで背景が埋められるため、物体の正しい背景を復元することができない場合がある。また、非特許文献2の手法では、物体の背景を取得するために異なる視点から複数の画像を撮影し、背景以外の物体をブレンディングによって見えにくくすることはできるが、物体が部分的に残ってしまう場合がある。このように、従来の手法では、実空間に物体がない状態の画像を生成する際に問題が生じる。
これに対し、実空間で物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されてユーザから見ることができない背景の画像を撮像してユーザに提示することが考えられるが、特定の物体が柱等の動かせない物体である場合には背景の画像を撮影することができない。そのため、実空間で特定の物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することができる技術が要求されている。
上記事情に鑑み、本発明は、実空間で特定の物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することができる技術の提供を目的としている。
本発明の一態様は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置であって、前記複数の撮像装置それぞれから取得した静止画像又は動画像と、前記複数の撮像装置の配置位置情報とに基づいて、前記背景を欠けずに撮像していて、かつ、前記ユーザとの距離が近い撮像装置を複数の撮像装置から選択する選択部、を備える決定装置である。
本発明の一態様は、上記の決定装置であって、前記選択部は、前記ユーザとの距離が所定の値以下の撮像装置を選択する。
本発明の一態様は、上記の決定装置であって、選択された撮像装置の向きを調節する調節部をさらに備え、前記調節部は、選択された撮像装置の向きが、前記ユーザの視線方向と同じ向きになるように調節する。
本発明の一態様は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置であって、前記表示装置を介してユーザが見ている領域内において、特定の物体で前記ユーザから見えない背景を欠けずに撮像している複数の撮像装置の中から、前記背景を被写界深度内に含む画像を撮像する撮像装置を選択する選択部と、選択された撮像装置の向きを調節する調節部と、を備える決定装置である。
本発明の一態様は、上記の決定装置であって、前記選択部は、前記背景を被写界深度内に含む画像を撮像する撮像装置が複数ある場合、前記背景を被写界深度内に含む画像を撮像する複数の撮像装置のうち、画像における複数のパラメータに対する評価値を前記撮像装置毎に算出し、前記評価値に対して優先度に応じた重み付けを行うことによって前記撮像装置毎の合計評価値を算出し、算出した前記合計評価値が閾値以上の撮像装置を選択する。
本発明の一態様は、上記の決定装置と、選択された撮像装置によって撮像された静止画像又は動画像から、前記背景画像を切り出す切出部と、切り出された前記背景画像を前記表示装置に出力する出力部と、を備える画像処理装置である。
本発明の一態様は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置が行う決定方法であって、前記複数の撮像装置それぞれから取得した静止画像又は動画像と、前記複数の撮像装置の配置位置情報とに基づいて、前記背景を欠けずに撮像していて、かつ、前記ユーザとの距離が近い撮像装置を複数の撮像装置から選択する選択ステップ、を有する決定方法である。
本発明の一態様は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置が行う決定方法であって、前記表示装置を介してユーザが見ている領域内において、特定の物体で前記ユーザから見えない背景を欠けずに撮像している複数の撮像装置の中から、前記背景を被写界深度内に含む画像を撮像する撮像装置を選択する選択ステップと、選択された撮像装置の向きを調節する調節ステップと、を有する決定方法である。
本発明の一態様は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置としてコンピュータに、前記複数の撮像装置それぞれから取得した静止画像又は動画像と、前記複数の撮像装置の配置位置情報とに基づいて、前記背景を欠けずに撮像していて、かつ、前記ユーザとの距離が近い撮像装置を複数の撮像装置から選択する配置決定ステップ、を実行させるための決定プログラムである。
本発明の一態様は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置としてコンピュータに、前記表示装置を介してユーザが見ている領域内において、特定の物体で前記ユーザから見えない背景を欠けずに撮像している複数の撮像装置の中から、前記背景を被写界深度内に含む画像を撮像する撮像装置を選択する選択ステップと、選択された撮像装置の向きを調節する調節ステップと、を実行させるための決定プログラムである。
本発明により、実空間で特定の物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することが可能となる。
以下、本発明の一実施形態を、図面を参照しながら説明する。
(第1の実施形態)
図1は、第1の実施形態における画像処理システム1aの構成の例を示す図である。画像処理システム1aは、画像に画像処理を施すシステムである。画像は、静止画像又は動画像のいずれでもよい。画像処理システム1aは、カメラ2−1〜2−N(Nは2以上の整数)と、画像処理装置3aと、表示装置4とを備える。以下では、Nは一例として3である。
(第1の実施形態)
図1は、第1の実施形態における画像処理システム1aの構成の例を示す図である。画像処理システム1aは、画像に画像処理を施すシステムである。画像は、静止画像又は動画像のいずれでもよい。画像処理システム1aは、カメラ2−1〜2−N(Nは2以上の整数)と、画像処理装置3aと、表示装置4とを備える。以下では、Nは一例として3である。
カメラ2−1〜2−Nは、物体が配置されている実空間において、予め定められた向きで予め定められた位置に配置されている。カメラ2−1〜2−Nは、画像処理装置3aの制御に応じて向きが調節される。カメラ2−1〜2−Nは、レンズである光学系を介して実空間を撮像する。光学系は、広角レンズ、魚眼レンズ、全天球レンズでもよい。カメラ2−1〜2−Nは、撮像した静止画像又は動画像である画像を、画像処理装置3aに出力する。
画像処理装置3aは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置3aと表示装置4とは、別体でもよいし一体でもよい。画像処理装置3aは、複数のカメラ2−1〜2−Nのうち選択したカメラ2−n(1≦n≦N)の向きを調節する。画像処理装置3aは、カメラ2−nが出力した画像に対して画像処理を施す。画像処理装置3aは、例えば、カメラの画像取得周期(フレームレート)で、画像処理を実行してもよい。画像処理装置3aは、画像処理が施された画像を表示装置4に出力する。画像処理装置3aは、例えば、表示装置の表示周期(リフレッシュレート)で、画像の出力処理を実行してもよい。すなわち、画像処理装置3aは、複数のフレーム画像を含む動画像に動画像処理を実行してもよい。
表示装置4は、ヘッドマウントディスプレイ等の表示装置である。表示装置4の画面は、表示装置4の外から表示装置4の画面に届いた光を透過させる。例えば、表示装置4の画面は、光透過性を備えた液晶ディスプレイである。以下、表示装置4の画面を透過した光による物体の光学画像を、「物体光学像」という。表示装置4の画面は、画面上で物体光学像を隠すように、画像処理装置3aが出力した画像を表示する。これによって、表示装置4は、画像処理装置3aが出力した画像を表示することができる。以下、表示装置4の画面に表示される画像を「表示画像」という。
画像処理システム1aにおける物体及びカメラ2−1〜2−Nの配置例を図2に示す。
図2は、物体及びカメラ−1〜2−Nの配置の例を示す俯瞰図である。図2に示すように、表示装置4を装着している観察者5が位置する実空間のある部屋100には、カメラ2−1〜2−3と、物体6が配置されている。図2において、観察者5は、視線51の方向を向いている。すなわち、観察者5は、部屋100に配置されている物体6の方向を向いている。これにより、観察者5は、部屋100に配置されている物体6の物体光学像を、表示装置4の画面を透過した光によって表示装置4を介して観察する。観察者5は、部屋100のaの位置からdの位置までの範囲を、表示装置4を介して見ているものとする。
すなわち、aの位置と観察者5の位置とを結ぶ線52−1と、dの位置と観察者5の位置とを結ぶ線52−2と、aの位置とdの位置とを結ぶ線とで得られる範囲が観察者5の視野の範囲である。
図2は、物体及びカメラ−1〜2−Nの配置の例を示す俯瞰図である。図2に示すように、表示装置4を装着している観察者5が位置する実空間のある部屋100には、カメラ2−1〜2−3と、物体6が配置されている。図2において、観察者5は、視線51の方向を向いている。すなわち、観察者5は、部屋100に配置されている物体6の方向を向いている。これにより、観察者5は、部屋100に配置されている物体6の物体光学像を、表示装置4の画面を透過した光によって表示装置4を介して観察する。観察者5は、部屋100のaの位置からdの位置までの範囲を、表示装置4を介して見ているものとする。
すなわち、aの位置と観察者5の位置とを結ぶ線52−1と、dの位置と観察者5の位置とを結ぶ線52−2と、aの位置とdの位置とを結ぶ線とで得られる範囲が観察者5の視野の範囲である。
カメラ2−1〜2−3は、予め定められた向きで、部屋100の予め定められた位置に配置される。カメラ2−1は観察者5の視線51の方向と、カメラ2−1の光軸20−1の方向とが水平になるように配置され、カメラ2−2及び2−3は観察者5の視線51の方向と、カメラ2−2の光軸20−2の方向及びカメラ2−3の光軸20−3の方向とが異なるように配置されている。
物体6は、例えば、箱、柱等である。以下の説明では、物体6が円柱である場合を例に説明する。物体6が観察者5の視野の範囲内に位置していることにより、観察者5は部屋100のbの位置からcの位置までの壁Cを見ることができない。すなわち、観察者5は、物体6により、物体6の後方の背景を見ることができない。ここで、背景とは、特定の物体(例えば、物体6)で遮蔽されて観察者5から見えないものを表す。背景は、例えば、物体であってもよいし、実空間における壁であってもよいし、実空間上の仮想的な位置に設定された仮想的な壁であってもよい。
物体6は、部屋100の予め定められた物体実位置に配置されている。物体実位置とは、実空間における物体の実際の位置を表す。物体6は、実空間では静止していてもよい。
以下の説明では、物体6を取り除いて、物体6の背景である壁Cを表示装置4に表示する場合を例に説明する。
以下の説明では、物体6を取り除いて、物体6の背景である壁Cを表示装置4に表示する場合を例に説明する。
次に、図1に戻り、画像処理装置3aの構成の例を説明する。画像処理装置3aは、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置3aは、画像取得部30、操作部31、変数決定部32、記憶部33、選択部34、切出部35、出力部36、調節部37を備える装置として機能する。なお、画像処理装置3aの各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。
画像取得部30は、カメラ2−1〜2−Nのそれぞれによって撮像された画像を取得する。画像取得部30は、取得した画像と、カメラ2−1〜2−Nの識別情報とを、対応付けて記憶部33に記録する。操作部31は、操作キー等を有する操作デバイスである。例えば、操作部31は、キーボード、マウス、タッチパネルである。操作部31は、操作部31に対する操作を受け付けることによって、実空間におけるカメラ2−1〜2−Nのそれぞれの配置情報、実空間における物体の配置情報、観察者5の位置情報、切り出し位置情報及び貼り付け位置情報を取得する。
実空間におけるカメラ2−1〜2−Nのそれぞれの配置情報は、例えば、カメラ2−1〜2−Nのそれぞれの実空間における座標及び光軸方向等の情報である。光軸方向は、例えば、図2のように実空間中で定義される座標のx軸を基準とする角度で表現される。実空間における物体の配置情報は、例えば、実空間に配置されている物体(例えば、図2では物体6)の座標の情報である。観察者5の位置情報は、観察者5の座標の情報である。
切り出し位置情報は、カメラ画像から切り出される領域の位置を表す情報である。切り出し位置情報は、例えば、物体光学像における左上座標、幅及び高さの情報で表されてもよい。左上座標は、物体光学像における切り出される領域の左上の座標を表す。幅は、物体光学像における切り出される領域の幅を表す。高さは、物体光学像における切り出される領域の高さを表す。貼り付け位置情報は、カメラ画像から切り出された領域が表示画像に貼り付けられる位置を表す情報である。また、例えば、貼り付け位置情報は、表示画像の座標と対応付けてあらかじめ定義されている領域である、「中央」、「右」、「左」といった情報であってもよい。
貼り付け位置情報は、例えば、表示画像における左上座標、幅及び高さの情報で表されてもよい。観察者5の位置情報は、例えば、実空間における観察者の立ち位置の座標の情報と観察者5の視線方向である。操作部31は、取得したカメラ2−1〜2−Nのそれぞれの配置情報と、観察者5の位置情報を変数決定部32に出力し、カメラ2−1〜2−Nのそれぞれの配置情報と、観察者5の位置情報と、物体の配置情報とを選択部34に出力する。また、操作部31は、取得した切り出し位置情報及び貼り付け位置情報を切出部35に出力する。
変数決定部32は、カメラ2−1〜2−Nのそれぞれの配置情報と、観察者5の位置情報とを操作部31から取得する。変数決定部32は、取得したカメラ2−1〜2−Nのそれぞれの配置情報と、観察者5の位置情報とに基づいて、カメラ2−1〜2−Nの配置に関する変数をカメラ2−1〜2−Nのそれぞれに対して決定する。カメラ2−1〜2−Nの配置に関する変数は、例えば、観察者5の視線方向とカメラ2−1〜2−Nのそれぞれの光軸との成す角度(以下「カメラ角度」という。)と、観察者5の位置からカメラ2−1〜2−Nのそれぞれの位置までの距離である。
図3は、カメラ2−1〜2−Nのそれぞれの配置に関する変数の例を示す図である。変数決定部32は、カメラ2−1〜2−Nのそれぞれの配置に関する変数情報を、カメラ2−1〜2−Nごとに記憶部33に記録する。例えば、変数決定部32は、カメラ角度を、カメラ2−1〜2−Nのそれぞれの識別情報に対応付けて記憶部33に記録する。例えば、変数決定部32は、距離を、カメラ2−1〜2−Nのそれぞれの識別情報に対応付けて記憶部33に記録する。
図1に戻り、画像処理装置3aの構成の例の説明を続ける。記憶部33は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。記憶部33は、画像取得部30によって取得された画像と、カメラ2−1〜2−Nのそれぞれの配置に関する変数情報とを記憶する。記憶部33は、カメラ2−1〜2−Nのそれぞれの配置情報(座標、光軸方向)を記憶してもよい。記憶部33は、物体の配置情報と、観察者5の位置情報とを記憶してもよい。
選択部34は、選択されるカメラ2−nを決定する決定装置として機能する。選択部34は、記憶部33に記憶されている画像及び変数情報と、操作部31を介して入力されたカメラ2−1〜2−Nのそれぞれの配置情報と、観察者5の位置情報と、物体の配置情報とを入力する。選択部34は、入力した画像及び変数情報と、カメラ2−1〜2−Nのそれぞれの配置情報と、観察者5の位置情報と、物体の配置情報とに基づいて、背景を欠けずに撮像しているカメラ2−nを選択する。ここで、背景が欠けるとは、カメラで、物体がない空間を撮影した場合に映し出される背景の一部または全部が、物体の存在によって遮蔽されて映し出されていない状態、即ち、画像中に背景の一部または全部に物体が映り込んだ状態のことをいう。
選択部34は、背景を欠けずに撮像しているカメラ2−nが複数ある場合、入力した変数情報に基づいて、カメラ2−1〜2−Nのうちカメラ角度が所定の角度以下のカメラ2−nを選択する。所定の角度とは、例えば30度である。なお、選択部34は、カメラ角度が所定の角度以下のカメラ2−nが複数ある場合、距離に基づいてカメラ2−nを選択する。具体的には、選択部34は、距離が所定の値以下のカメラ2−nを選択する。距離の所定の値とは、例えば1メートルである。選択部34は、カメラ角度が所定の角度より小さいカメラ2−nが複数ある場合や距離が所定の値以下のカメラ2−nが複数ある場合に、距離が最も小さいカメラ2−nを選択してもよい。その後、選択部34は、選択したカメラ2−nの識別情報を切出部35に出力し、選択したカメラ2−nの識別情報と、選択したカメラ2−nの配置位置情報と、観察者5の位置情報とを調節部37に出力する。
調節部37は、選択部34から出力されたカメラ2−nの識別情報と、選択されたカメラ2−nの配置情報と、観察者5の位置情報とを入力する。調節部37は、入力した識別情報で識別されるカメラ2−nの光軸を、観察者5の視線方向に近づけるように向きを調節する。調節部37は、モータ等のアクチュエータを駆動することによって、カメラ2−nの向きを調節する。なお、調節部37は、加速度センサの検出結果に基づいて、調節後のカメラ2−nの傾き情報を検出してもよい。調節部37は、向き調節後のカメラ2−nの識別情報と、向き調節後のカメラ2−nの向きの情報とを画像取得部30に出力する。
画像取得部30は、向き調節後のカメラ2−nの識別情報と、向き調節後のカメラ2−nの向きの情報とを入力する。画像取得部30は、入力した識別情報で識別されるカメラ2−nによって撮像された画像を取得する。画像取得部30は、取得した画像と、入力した向き調節後のカメラ2−nの向きの情報とを対応付けて記憶部33に記録する。
切出部35は、選択部34から出力されたカメラ2−nの識別情報と、操作部31を介して入力された切り出し位置情報及び貼り付け位置情報とを入力する。切出部35は、入力した識別情報で識別されるカメラ2−nによって撮像された画像(調節部により向きを動かされたカメラ2−nで取得された画像)を、記憶部33から取得する。例えば、切出部35は、向き調節後のカメラ2−nの向きの情報が対応付けられている識別情報で識別されるカメラ2−nによって撮像された画像を取得する。切出部35は、記憶部33から取得した画像から、切り出し位置情報に基づく背景領域の画像(以下「背景部分画像」という。)を切り出す。切出部35は、貼り付け位置情報に基づいて、表示画面における背景部分画像の表示位置を決定する。例えば、操作部31で指定された貼り付け位置情報で指定される領域を表示画面における背景部分画像の表示位置として決定する。また、例えば、貼り付け位置情報が表示画像の座標と対応付けてあらかじめ定義されている領域「中央」を表している場合、切出部35は、表示画面における背景部分画像の表示位置を、表示画像の座標と対応付けてあらかじめ定義されている、表示装置4の画面の中央に決定する。切出部35は、背景部分画像と、表示位置の情報である表示位置情報とを出力部36に出力する。
出力部36は、切出部35から出力された背景部分画像と、表示位置情報とを入力する。出力部36は、入力した表示位置情報に基づいて、背景部分画像に対して画像処理を施す。出力部36は、画像処理が施された背景部分画像と表示位置情報とを表示装置4に出力する。
図4は、表示画像の表示例を示す図である。表示装置4は、物体6から表示装置4の画面に届いた光を透過させる。表示装置4は、物体6の物体光学像を含む表示画像40を表示する。図4に示すように、観察者5は、物体6の物体光学像を、表示画像40の中央に見ることができる。また、図4に示すように、観察者5は、物体6の後方の背景の物体光学像を、表示画像40上で見ることができない。
図5は、カメラ2−1〜2−Nのそれぞれによって撮像された画像の具体例を示す図である。図5において、図5(a)はカメラ2−1が画像処理装置3aに出力したカメラ画像21であり、図5(b)はカメラ2−2が画像処理装置3aに出力したカメラ画像22であり、図5(c)はカメラ2−3が画像処理装置3aに出力したカメラ画像23である。
図5(a)に示すように、カメラ画像21では、壁Cの範囲(背景b−c間)の一部が物体6に遮蔽されていて壁Cの全てが撮像されていない。それに対して、カメラ画像22及びカメラ画像23では、壁Cが欠けずに撮像されている。すなわち、カメラ画像22及びカメラ画像23では、壁Cの全てが撮像されている。本実施形態における画像処理装置3aは、背景(例えば、壁C)を欠けずに撮像しているカメラ2−nを複数のカメラ−1〜2−Nの中から選択し、選択したカメラ2−nの向きを、観察者5の視線の方向と同じ向きになるように調節し、調節後のカメラ2−nから取得した画像に対して画像処理を行う。
図6は、選択したカメラ2−nによって撮像された画像の撮像された画像の具体例を示す図である。図6では、カメラ2−3が選択された場合を例に説明する。図6において、図6(a)は向きの調節前のカメラ2−3が画像処理装置3aに出力したカメラ画像23であり、図6(b)は向きの調節後のカメラ2−3が画像処理装置3aに出力したカメラ画像24である。図6(b)に示すように、カメラ2−3の向きが観察者5の視線の方向と同じ向きに調節されたため、壁Cが図6(a)と比べて右の位置に撮像され、物体6が撮像されていない。
図7は、切出部35の処理を説明するための図である。ここでは、選択部34がカメラ2−3を選択した場合を例に説明する。切出部35は、選択されたカメラ2−3が出力したカメラ画像23から、背景部分画像50を切り出す。また、切出部35は、表示画面における、切り出した背景部分画像50の表示位置を、物体6に対応する位置に決定する。
出力部36は、切り出された背景部分画像50に画像処理を施して画像処理が施された背景部分画像50と、表示位置情報とを表示装置4に出力する。表示装置4の画面は、画面上で物体光学像を隠すように、画像処理が施された背景部分画像50を、表示位置情報で示される位置で物体光学像に重畳して表示する。表示後の表示画像の表示例を図8に示す。
出力部36は、切り出された背景部分画像50に画像処理を施して画像処理が施された背景部分画像50と、表示位置情報とを表示装置4に出力する。表示装置4の画面は、画面上で物体光学像を隠すように、画像処理が施された背景部分画像50を、表示位置情報で示される位置で物体光学像に重畳して表示する。表示後の表示画像の表示例を図8に示す。
図8は、表示後の表示画像の表示例を示す図である。図8に示すように、表示装置4は、物体光学像を含む表示画像40上に、画像処理が施された背景部分画像50を重畳して表示する。これにより、図4で表示画像40上に表示されていた物体6が取り除かれたような画像を観察者5に提示することができる。
図9は、第1の実施形態における画像処理装置3aの処理の流れを示すフローチャートである。なお、図9の説明では、既に変数決定部32による処理は行われているものとする。
また、図9では、複数のカメラ2−1〜2−Nから静止画像を取得した場合の処理について説明する。
画像取得部30は、複数のカメラ2−1〜2−Nのそれぞれから画像を取得する(ステップS101)。画像取得部30は、取得した複数の画像をそれぞれ、カメラ2−1〜2−Nのそれぞれの識別情報に対応付けて記憶部33に記録する。選択部34は、記憶部33に記憶されている画像と、操作部31を介して入力された観察者5の位置情報と、物体の配置情報と、カメラ2−1〜2−Nの配置情報とに基づいて、背景が欠けずに撮像されている画像があるか否か判定する(ステップS102)。
また、図9では、複数のカメラ2−1〜2−Nから静止画像を取得した場合の処理について説明する。
画像取得部30は、複数のカメラ2−1〜2−Nのそれぞれから画像を取得する(ステップS101)。画像取得部30は、取得した複数の画像をそれぞれ、カメラ2−1〜2−Nのそれぞれの識別情報に対応付けて記憶部33に記録する。選択部34は、記憶部33に記憶されている画像と、操作部31を介して入力された観察者5の位置情報と、物体の配置情報と、カメラ2−1〜2−Nの配置情報とに基づいて、背景が欠けずに撮像されている画像があるか否か判定する(ステップS102)。
具体的には、まず選択部34は、観察者5の位置情報と物体の配置情報とに基づいて、観察者5の視野範囲のうち物体6の遮蔽により観察者5から見えない背景の範囲を算出する。そして、選択部34は、カメラ2−1〜2−Nの配置情報と、カメラ2−1〜2−Nの視野範囲と、物体の配置情報とに基づいて、観察者5が見えない背景の範囲を欠けることなく撮像できている画像があるか否か判定する。
背景が欠けずに撮像されている画像がない場合(ステップS102−NO)、画像処理装置3aは図9の処理を終了する。
一方、背景が欠けずに撮像されている画像がある場合(ステップS102−YES)、選択部34はカメラ2−nを選択する(ステップS103)。具体的には、背景が欠けずに撮像されている画像を撮像したカメラ2−nが一台である場合、選択部34は背景が欠けずに撮像されている画像を撮像したカメラ2−nを選択する。また、背景が欠けずに撮像されている画像を撮像したカメラ2−nが複数である場合、選択部34は記憶部33に記憶されている変数情報に基づいて、カメラ角度が所定の角度以下のカメラ2−nを選択する。所定の角度とは、例えば30度である。なお、選択部34は、カメラ角度が所定の角度以下のカメラ2−nが複数ある場合、距離に基づいてカメラ2−nを選択する。具体的には、選択部34は、距離が所定の距離以下のカメラ2−nを選択する。距離の所定の値とは、例えば1メートルである。ステップS103において、選択部34は、カメラ角度が所定の角度より小さいカメラ2−nが複数ある場合や距離が所定の値以下のカメラ2−nが複数ある場合に、距離が最も小さいカメラ2−nを選択してもよい。その後、選択部34は、選択したカメラ2−nの識別情報を切出部35及び調節部37に出力する。
一方、背景が欠けずに撮像されている画像がある場合(ステップS102−YES)、選択部34はカメラ2−nを選択する(ステップS103)。具体的には、背景が欠けずに撮像されている画像を撮像したカメラ2−nが一台である場合、選択部34は背景が欠けずに撮像されている画像を撮像したカメラ2−nを選択する。また、背景が欠けずに撮像されている画像を撮像したカメラ2−nが複数である場合、選択部34は記憶部33に記憶されている変数情報に基づいて、カメラ角度が所定の角度以下のカメラ2−nを選択する。所定の角度とは、例えば30度である。なお、選択部34は、カメラ角度が所定の角度以下のカメラ2−nが複数ある場合、距離に基づいてカメラ2−nを選択する。具体的には、選択部34は、距離が所定の距離以下のカメラ2−nを選択する。距離の所定の値とは、例えば1メートルである。ステップS103において、選択部34は、カメラ角度が所定の角度より小さいカメラ2−nが複数ある場合や距離が所定の値以下のカメラ2−nが複数ある場合に、距離が最も小さいカメラ2−nを選択してもよい。その後、選択部34は、選択したカメラ2−nの識別情報を切出部35及び調節部37に出力する。
調節部37は、選択部34から出力されたカメラ2−nの識別情報を入力する。調節部37は、入力した識別情報で識別されるカメラ2−nの向きを調節する(ステップS104)。具体的には、調節部37は、カメラ2−nの向きを、観察者5の視線51の方向と同じ向きに回転させる。カメラ2−nの向きの調節後、調節部37はカメラ2−nの向きの調節が完了した旨の通知を切出部35に出力する。画像取得部30は、カメラ2−nによって撮像された画像を取得する(ステップS105)。画像取得部30は、取得した画像を記憶部33に記録する。
切出部35は、調節部37からの通知を取得すると、選択部34から出力された識別情報で識別されるカメラ2−nによって撮像された画像を記憶部33から取得する。切出部35は、取得した画像から背景部分画像を切り出す。例えば、切出部35は、切りだし位置情報で指定される領域を画像から切り出す。また、切出部35は、貼り付け位置情報に基づいて、表示画面における背景部分画像の表示位置を決定する。例えば、切出部35は、貼り付け位置情報で指定される領域を表示画面における背景部分画像の表示位置として決定する。切出部35は、背景部分画像と、表示位置情報とを出力部36に出力する。
出力部36は、切出部35から出力された背景部分画像と表示位置情報とを入力する。
出力部36は、入力した背景部分画像に対して画像処理を行う。具体的には、出力部36は、背景部分画像を、観察者5の視線51の方向から見た画像に変換する。例えば、出力部36は、アフィン変換行列を用いたアフィン変換処理を背景部分画像に対して施す。アフィン変換行列は、回転、拡大又は縮小等の処理が施される領域を示す情報を含んでもよい。その後、出力部36は、変換後の背景部分画像と表示位置情報とを表示装置4に出力する(ステップS106)。
出力部36は、入力した背景部分画像に対して画像処理を行う。具体的には、出力部36は、背景部分画像を、観察者5の視線51の方向から見た画像に変換する。例えば、出力部36は、アフィン変換行列を用いたアフィン変換処理を背景部分画像に対して施す。アフィン変換行列は、回転、拡大又は縮小等の処理が施される領域を示す情報を含んでもよい。その後、出力部36は、変換後の背景部分画像と表示位置情報とを表示装置4に出力する(ステップS106)。
画像取得部30が動画像を取得する場合について、図9に示す処理との相違点を説明する。ステップS101において、画像取得部30は、複数のカメラ2−1〜2−Nのそれぞれから動画像を取得し、取得した動画像それぞれから各フレーム画像を取得する。ステップS102において、選択部34は、取得した動画像それぞれの各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。ステップS106において、切出部35は、選択されて向きが調節されたカメラ2−nから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部35は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部36は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置4に出力する。
以上のように、本実施形態の画像処理装置3aは、実空間に配置された物体6を撮像するように位置及び向きが定められた複数のカメラ2−1〜2−Nが実空間に配置され、表示装置4の画面に表示された画像の空間で物体6が取り除かれたように観察される背景画像であって、物体6で遮蔽されてユーザから見ることができない背景画像を含む画像を出力するカメラ2−nを、複数のカメラ2−1〜2−Nから選択する決定装置を備える。本実施形態の決定装置は、選択部34を備える。選択部34は、表示装置4を介して観察者5が見ている領域内において、特定の物体で観察者5から見えない背景を欠けずに撮像していて、かつ、観察者5に近いカメラ2−nを選択する。このように選択されたカメラ2−nが撮像した画像を取得することによって、画像処理装置3aは実空間で特定の物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されて観察者5から見ることができない背景の画像を取得することが可能になる。
<変形例>
調節部37は、特定の物体が移動して、背景が欠けてしまう場合には、選択部34によって選択されたカメラ2-nの向きを再度変更するように構成されてもよい。
画像処理装置3aは、特定の物体が移動又は特定の物体が変更された場合に図9の処理を実行してもよいし、観察者5が移動した場合に図9の処理を実行してもよい。
本実施形態では、選択部34が、カメラ角度が所定の角度以下のカメラ2−nが複数ある場合、距離に基づいてカメラ2−nを選択する構成を示したが、カメラ角度が所定の角度以下のカメラ2−nが複数ある場合、選択部34は、観察者5の位置から背景の特定の位置までの距離とカメラ2−nの位置から背景の特定の位置までの距離との差(以下「距離差」という。)が所定の値以下のカメラ2−nを選択するように構成されてもよい。距離差の所定の値とは、例えばカメラの初期位置から背景までの距離の10%程度である。
このように構成される場合、操作部31は、背景の位置情報を更に取得する。背景の位置情報は、背景の座標の情報である。変数決定部32は、操作部31から取得したカメラ2−1〜2−Nのそれぞれの配置情報と、観察者5の位置情報と、背景の位置情報とに基づいて距離差を決定する。
調節部37は、特定の物体が移動して、背景が欠けてしまう場合には、選択部34によって選択されたカメラ2-nの向きを再度変更するように構成されてもよい。
画像処理装置3aは、特定の物体が移動又は特定の物体が変更された場合に図9の処理を実行してもよいし、観察者5が移動した場合に図9の処理を実行してもよい。
本実施形態では、選択部34が、カメラ角度が所定の角度以下のカメラ2−nが複数ある場合、距離に基づいてカメラ2−nを選択する構成を示したが、カメラ角度が所定の角度以下のカメラ2−nが複数ある場合、選択部34は、観察者5の位置から背景の特定の位置までの距離とカメラ2−nの位置から背景の特定の位置までの距離との差(以下「距離差」という。)が所定の値以下のカメラ2−nを選択するように構成されてもよい。距離差の所定の値とは、例えばカメラの初期位置から背景までの距離の10%程度である。
このように構成される場合、操作部31は、背景の位置情報を更に取得する。背景の位置情報は、背景の座標の情報である。変数決定部32は、操作部31から取得したカメラ2−1〜2−Nのそれぞれの配置情報と、観察者5の位置情報と、背景の位置情報とに基づいて距離差を決定する。
画像取得部30は、調節後のカメラ2−nから取得した画像を切出部35に出力してもよい。このように構成される場合、切出部35は、画像取得部30から出力された画像と、操作部31を介して入力された切り出し位置情報及び貼り付け位置情報とを入力する。
切出部35は、入力した画像から背景部分画像を切り出す。切出部35は、貼り付け位置情報に基づいて、表示画面における背景部分画像の表示位置を決定する。例えば、操作部31で指定された貼り付け位置情報で指定される領域を表示画面における背景部分画像の表示位置として決定する。この場合、選択部34は選択したカメラ2−nの識別情報を切出部35に出力しなくてよい。
切出部35は、入力した画像から背景部分画像を切り出す。切出部35は、貼り付け位置情報に基づいて、表示画面における背景部分画像の表示位置を決定する。例えば、操作部31で指定された貼り付け位置情報で指定される領域を表示画面における背景部分画像の表示位置として決定する。この場合、選択部34は選択したカメラ2−nの識別情報を切出部35に出力しなくてよい。
(第2の実施形態)
第1の実施形態では、特定の物体で遮蔽されてユーザから見ることができない背景の画像を撮像しているカメラの選択を、カメラ角度又は距離差に基づいて行う構成を示した。しかしながら、第1の実施形態において、ユーザが見ている視線方向に最も近い方向を向いているカメラや、カメラの位置から背景までの距離とユーザの位置から背景までの距離との差が最も小さいカメラを選択したとしても、特定の物体で遮蔽されてユーザから見ることができない背景の画像がぼけてしまっている(背景にピントが合っていない)場合には、表示装置4に表示される画像全体の品質が劣化してしまう。そこで、第2の実施形態では、背景が全て撮像できる位置であり、かつ、背景がぼけない位置に配置されているカメラを選択する点で第1の実施形態と相違する。第2の実施形態では、第1の実施形態及び第2の実施形態との相違点についてのみ説明する。
第1の実施形態では、特定の物体で遮蔽されてユーザから見ることができない背景の画像を撮像しているカメラの選択を、カメラ角度又は距離差に基づいて行う構成を示した。しかしながら、第1の実施形態において、ユーザが見ている視線方向に最も近い方向を向いているカメラや、カメラの位置から背景までの距離とユーザの位置から背景までの距離との差が最も小さいカメラを選択したとしても、特定の物体で遮蔽されてユーザから見ることができない背景の画像がぼけてしまっている(背景にピントが合っていない)場合には、表示装置4に表示される画像全体の品質が劣化してしまう。そこで、第2の実施形態では、背景が全て撮像できる位置であり、かつ、背景がぼけない位置に配置されているカメラを選択する点で第1の実施形態と相違する。第2の実施形態では、第1の実施形態及び第2の実施形態との相違点についてのみ説明する。
図10は、第2の実施形態における画像処理システム1bの構成の例を示す図である。画像処理システム1bは、カメラ2−1〜2−Nと、画像処理装置3bと、表示装置4とを備える。画像処理装置3bは、カメラ2−1〜2−Nの中からカメラ2−nを選択する方法が画像処理装置3aと異なる。具体的には、画像処理装置3bは、複数のカメラ2−1〜2−Nのうち、背景が全て撮像できる位置であり、かつ、背景がぼけない位置に設置されているカメラ2−nを選択する。ここで、背景がぼけない位置とは、カメラ2の被写界深度の範囲内に背景を含む位置である。
画像処理装置3bは、バスで接続されたCPUやメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置3bは、画像取得部30、操作部31b、変数決定部32、記憶部33、選択部34b、切出部35、出力部36、調節部37を備える装置として機能する。なお、画像処理装置3bの各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。
画像処理装置3bは、操作部31及び選択部34に代えて操作部31b及び選択部34bを備える点で画像処理装置3aと構成が異なる。画像処理装置3bは、他の構成については画像処理装置3aと同様である。そのため、画像処理装置3b全体の説明は省略し、操作部31b及び選択部34bについて説明する。
操作部31bは、操作部31と同様の処理を行う。また、操作部31bは、優先情報を取得する。優先情報は、カメラ選択に用いるパラメータ(以下「選択パラメータ」という。)の重み付けの係数に関する情報である。カメラ選択に用いるパラメータは、画像上の物体の歪み(カメラ角度)、画像上の物体の大きさ、及びボケ量である。カメラから物体までの距離をL、カメラの焦点距離をf、画像上の物体の大きさをyとすると、画像上の物体の大きさyは以下の式1で表される。
また、操作部31bは、予め設定されている優先情報を取得してもよいし、入力装置を介して入力されることによって優先情報を取得してもよい。操作部31bは、取得した優先情報を選択部34bに出力する。
選択部34bは、選択されるカメラ2−nを決定する決定装置として機能する。選択部34bは、記憶部33に記憶されている画像及び変数情報と、操作部31bを介して入力されたカメラ2−1〜2−Nのそれぞれの配置情報と、観察者5の位置情報と、実空間における物体の配置情報と、優先情報と、カメラ2に関するパラメータの情報(以下「カメラパラメータ情報」という。)を入力する。カメラパラメータ情報は、前方被写界深度及び後方被写界深度の算出に用いるパラメータの情報であり、例えば許容錯乱円径、絞り値、及び焦点距離である。選択部34bは、カメラパラメータ情報を各カメラ2から取得する。選択部34bは、入力した画像と、カメラ2−1〜2−Nのそれぞれの配置情報と、観察者5の位置情報と、物体の配置情報とに基づいて、背景を欠けずに撮像しているカメラ2−nを複数のカメラ2−1〜2−Nの中から選択する。
画像処理システム1bにおける物体及びカメラ2−1〜2−Nの配置例を図11に示す。図11は、物体及びカメラ2−1〜2−Nの配置の例を示す俯瞰図である。図11に示すように、表示装置4を装着している観察者5が位置する実空間のある部屋100には、カメラ2−1,2−2と、物体6が配置されている。図11において、観察者5は、視線51の方向を向いている。すなわち、観察者5は、部屋100に配置されている物体6の方向を向いている。これにより、観察者5は、部屋100に配置されている物体6の物体光学像を、表示装置4の画面を透過した光によって表示装置4を介して観察する。観察者5は、部屋100のaの位置からdの位置までの範囲を、表示装置4を介して見ているものとする。すなわち、aの位置と観察者5の位置とを結ぶ線52−1と、dの位置と観察者5の位置とを結ぶ線52−2と、aの位置とdの位置とを結ぶ線とで得られる範囲が観察者5の視野の範囲である。
カメラ2−1,2−2は、それぞれ予め定められた向きで、部屋100の予め定められた位置に配置される。例えば、カメラ2−1,2−2は、それぞれ、観察者5が見ている部屋100のaの位置からdの位置までの範囲内に光軸20−1,20−2が向くように配置されている。
図11において、カメラ2−1から背景までの距離をL1、カメラ2−1から物体6までの距離をD1、カメラ2−1における後方被写界深度をd11、カメラ2−1における前方被写界深度をd21とする。また、図11において、カメラ2−2から背景までの距離をL2、カメラ2−2から物体6までの距離をD2、カメラ2−2における後方被写界深度をd12、カメラ2−2における前方被写界深度をd22とする。
図11において、カメラ2−1から背景までの距離をL1、カメラ2−1から物体6までの距離をD1、カメラ2−1における後方被写界深度をd11、カメラ2−1における前方被写界深度をd21とする。また、図11において、カメラ2−2から背景までの距離をL2、カメラ2−2から物体6までの距離をD2、カメラ2−2における後方被写界深度をd12、カメラ2−2における前方被写界深度をd22とする。
前方被写界深度及び後方被写界深度は、既存の方法で算出される。例えば、前方被写界深度及び後方被写界深度は式2、式3に基づいて算出されてもよい。
上記式2及び式3における被写体距離はカメラ2から物体6までの距離であり、許容錯乱円径はカメラ2全てで一定である。また、焦点距離と絞り値は、各カメラ2で設定される値であり、カメラ2ごとに異なる。第2の実施形態における選択部34bは、複数のカメラ2−1〜2−Nの中から、背景を欠けずに撮像しているカメラ2−nであって、以下の式4の条件を満たすカメラ2−nを選択する。なお、式4において、Di(iは1以上の整数)はカメラ2から物体6までの距離を表し、d1iはカメラ2における後方被写界深度を表し、d2iはカメラ2における前方被写界深度を表し、Liはカメラ2から背景までの距離を表す。
図12は、第2の実施形態における画像処理装置3bの処理の流れを示すフローチャートである。図9と同様の処理については、図12において図9と同様の符号を付して説明を省略する。なお、図12の説明では、既に変数決定部32による処理は行われているものとする。また、図12では、複数のカメラ2−1〜2−Nから静止画像を取得した場合の処理について説明する。
ステップS102の処理において、背景が欠けずに撮像されている画像がある場合(ステップS102−YES)、選択部34bは背景を欠けずに撮像しているカメラ2−1〜2−Nの中から、背景がぼけない位置に設置されているカメラ2が複数あるか否かを判定する(ステップS201)。背景がぼけない位置に設置されているカメラ2の判定は、上記式4に基づいて行われる。具体的には、まず選択部34bは、各カメラ2から取得したカメラパラメータ情報と、カメラ2−1〜2−Nのそれぞれの配置情報と、実空間における物体の配置情報とを用いて、上記式2及び3に基づいて各カメラ2の前方被写界深度及び後方被写界深度を算出する。次に、選択部34bは、算出した前方被写界深度(d2i)及び後方被写界深度(d1i)と、カメラ2−1〜2−Nのそれぞれの配置情報及び物体の配置情報から得られるカメラ2から物体6までの距離Dと、カメラ2から背景までの距離Lとを用いて、上記式4の条件を満たすか否かを各カメラ2に対して判定する。そして、選択部34bは、上記式4の条件を満たすカメラ2を、背景がぼけない位置に設置されているカメラ2と判定する。一方、選択部34bは、上記式4の条件を満たさないカメラ2を、背景がぼけない位置に設置されていないカメラ2と判定する。
背景がぼけない位置に設置されているカメラ2が複数台ない場合(ステップS201−NO)、選択部34bは背景がぼけない位置に設置されているカメラ2−nを選択する(ステップS202)。その後、画像処理装置3bは、ステップS104の処理を実行する。
一方、背景がぼけない位置に設置されているカメラ2が複数台ある場合(ステップS201−YES)、選択部34bはカメラ評価値を算出する(ステップS203)。ここでカメラ評価値とは、各カメラ2の評価に用いる値であり、例えば選択パラメータにおける各パラメータ(画像上の物体の歪み(カメラ角度)、画像上の物体の大きさ、及びボケ量)の評価値に重み付けした値の合計値で表される。
一方、背景がぼけない位置に設置されているカメラ2が複数台ある場合(ステップS201−YES)、選択部34bはカメラ評価値を算出する(ステップS203)。ここでカメラ評価値とは、各カメラ2の評価に用いる値であり、例えば選択パラメータにおける各パラメータ(画像上の物体の歪み(カメラ角度)、画像上の物体の大きさ、及びボケ量)の評価値に重み付けした値の合計値で表される。
まず、選択部34bは、操作部31bを介して入力された優先情報から各パラメータの重み付けの係数を取得する。例えば、優先情報として、予め各パラメータの重み付けの係数が決定されていてもよい。次に、選択部34bは、カメラ2毎に各パラメータの評価を行う。例えば、選択部34bは、画像上の物体の歪みの評価として、カメラ角度が小さいカメラ2から順に各カメラ2に高い値を付ける。具体例を挙げると、カメラ2が5台である場合、選択部34bはカメラ角度が小さいカメラ2から順に“5”,“4”,“3”,“2”,“1”の値を各カメラ2に付ける。
また、例えば、選択部34bは、画像上の物体の大きさの評価として、観察者5が見ている領域内での背景領域の大きさと、各カメラ2で撮像された画像上の背景領域の大きさとが近いカメラ2から順に各カメラ2に高い値を付ける。具体例を挙げると、カメラ2が5台である場合、選択部34bは観察者5が見ている領域内での背景領域の大きさと、各カメラ2で撮像された画像上の背景領域の大きさとが近いカメラ2から順に“5”,“4”,“3”,“2”,“1”の値を各カメラ2に付ける。観察者5が見ている領域内での背景領域の大きさと、各カメラ2で撮像された画像上の背景領域の大きさとが近いカメラ2とは、すなわち画角が近いカメラ2である。
また、例えば、選択部34bは、ボケ量の評価として、被写界深度の長さが長いカメラ2から順に各カメラ2に高い値を付ける。具体例を挙げると、カメラ2が5台である場合、選択部34bは被写界深度の長さが長いカメラ2から順に“5”,“4”,“3”,“2”,“1”の値を各カメラ2に付ける。
カメラ評価値の算出方法について一具体例を挙げて説明する。
(重み付けの係数)
・画像上の物体の歪み :0.5
・画像上の物体の大きさ:0.3
・ボケ量 :0.2
(重み付けの係数)
・画像上の物体の歪み :0.5
・画像上の物体の大きさ:0.3
・ボケ量 :0.2
(各パラメータの評価)
・画像上の物体の歪み :5台中2番目 評価“4”
・画像上の物体の大きさ:5台中1番目 評価“5”
・ボケ量 :5台中3番目 評価“3”
・画像上の物体の歪み :5台中2番目 評価“4”
・画像上の物体の大きさ:5台中1番目 評価“5”
・ボケ量 :5台中3番目 評価“3”
上記(重み付けの係数)及び(各パラメータの評価)とすると、選択部34bは以下のようにあるカメラ2−nのカメラ評価値を算出する。
0.5×4+0.3×3+3×0.2=3.5
0.5×4+0.3×3+3×0.2=3.5
選択部34bは、背景がぼけない位置に設置されているカメラ2全てにおいてカメラ評価値を算出する。その後、選択部34bは、背景がぼけない位置に設置されているカメラ2のうち、カメラ評価値が所定の閾値以上のカメラ2−nを選択する(ステップS204)。カメラ評価値が所定の閾値以上のカメラ2が複数ある場合、選択部34bはカメラ評価値が最も高いカメラ2−nを選択してもよい。選択部34bは、選択したカメラ2−nの識別情報を切出部35及び調節部37に出力する。その後、画像処理装置3bはステップS104以降の処理を実行する。
画像取得部30が動画像を取得する場合について、図12に示す処理との相違点を説明する。ステップS101において、画像取得部30は、複数のカメラ2−1〜2−Nのそれぞれから動画像を取得し、取得した動画像それぞれから各フレーム画像を取得する。ステップS102において、選択部34bは、取得した動画像それぞれの各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。ステップS106において、切出部35は、選択されて向きが調節されたカメラ2−nから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部35は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部36は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置4に出力する。
以上のように、第2の実施形態の画像処理装置3bは、実空間に配置された物体6を撮像するように位置及び向きが定められた複数のカメラ2−1〜2−Nが実空間に配置され、表示装置4の画面に表示された画像の空間で物体6が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、物体6で遮蔽されてユーザから見ることができない背景画像を含む画像を出力するカメラ2−nを、複数のカメラ2−1〜2−Nから選択する決定装置を備える。第2の実施形態の決定装置は、選択部34bと、調節部37とを備える。選択部34bは、表示装置4を介して観察者5が見ている領域内において、特定の物体で観察者5から見えない背景を欠けずに撮像している複数のカメラ2−1〜2−Nの中から、背景がぼけない位置に設置されているカメラ2−nを選択する。調節部37は、選択されたカメラ2−nの向きを調節する。このように選択されたカメラ2−nが撮像した画像を取得することによって、画像処理装置3bは実空間で特定の物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されて観察者5から見ることができない背景の画像を取得することが可能になる。
<変形例>
画像処理装置3bは、特定の物体が移動又は特定の物体が変更された場合に図13の処理を実行してもよいし、観察者5が移動した場合に図13の処理を実行してもよい。
選択部34bは、画像上の物体の歪み、画像上の物体の大きさ、及びボケ量のいずれか1つ以上を用いてカメラ評価値を算出してもよい。
画像処理装置3bは、特定の物体が移動又は特定の物体が変更された場合に図13の処理を実行してもよいし、観察者5が移動した場合に図13の処理を実行してもよい。
選択部34bは、画像上の物体の歪み、画像上の物体の大きさ、及びボケ量のいずれか1つ以上を用いてカメラ評価値を算出してもよい。
上記の実施形態における画像処理装置が備える決定装置は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数のカメラ2−1〜2−Nが実空間に配置され、表示装置4の画面に表示された画像の空間で特定の物体が取り除かれたように観察される背景の画像であって、特定の物体で遮蔽されてユーザから見ることができない背景の画像を含む画像を出力するカメラ2−nを、複数のカメラ2−1〜2−Nの中から選択するために用いられる。
上述した実施形態における画像処理システム及び画像処理装置の少なくとも一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、ヘッドマウントディスプレイ等の表示装置に表示される拡張現実画像を出力する画像処理装置に適用可能である。
1a、1b…画像処理システム、 2−1〜2−N…カメラ、 3a、3b…画像処理装置、 4…表示装置、 5…観察者、 6…物体、 20−1〜20−3…光軸、 21〜24…カメラ画像、 30…画像取得部、 31、31b…操作部、 32…変数決定部、 33…記憶部、 34、34b…選択部、 35…切出部、 36…出力部、 37…調節部
Claims (10)
- 実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置であって、
前記複数の撮像装置それぞれから取得した静止画像又は動画像と、前記複数の撮像装置の配置位置情報とに基づいて、前記背景を欠けずに撮像していて、かつ、前記ユーザとの距離が近い撮像装置を複数の撮像装置から選択する選択部、
を備える決定装置。 - 前記選択部は、前記ユーザとの距離が所定の値以下の撮像装置を選択する、請求項1に記載の決定装置。
- 選択された撮像装置の向きを調節する調節部をさらに備え、
前記調節部は、選択された撮像装置の向きが、前記ユーザの視線方向と同じ向きになるように調節する、請求項1又は2に記載の決定装置。 - 実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置であって、
前記表示装置を介してユーザが見ている領域内において、特定の物体で前記ユーザから見えない背景を欠けずに撮像している複数の撮像装置の中から、前記背景を被写界深度内に含む画像を撮像する撮像装置を選択する選択部と、
選択された撮像装置の向きを調節する調節部と、
を備える決定装置。 - 前記選択部は、前記背景を被写界深度内に含む画像を撮像する撮像装置が複数ある場合、前記背景を被写界深度内に含む画像を撮像する複数の撮像装置のうち、画像における複数のパラメータに対する評価値を前記撮像装置毎に算出し、前記評価値に対して優先度に応じた重み付けを行うことによって前記撮像装置毎の合計評価値を算出し、算出した前記合計評価値が閾値以上の撮像装置を選択する、請求項4に記載の決定装置。
- 請求項1から5のいずれか一項に記載の決定装置と、
選択された撮像装置によって撮像された静止画像又は動画像から、前記背景画像を切り出す切出部と、
切り出された前記背景画像を前記表示装置に出力する出力部と、
を備える画像処理装置。 - 実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置が行う決定方法であって、
前記複数の撮像装置それぞれから取得した静止画像又は動画像と、前記複数の撮像装置の配置位置情報とに基づいて、前記背景を欠けずに撮像していて、かつ、前記ユーザとの距離が近い撮像装置を複数の撮像装置から選択する選択ステップ、
を有する決定方法。 - 実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置が行う決定方法であって、
前記表示装置を介してユーザが見ている領域内において、特定の物体で前記ユーザから見えない背景を欠けずに撮像している複数の撮像装置の中から、前記背景を被写界深度内に含む画像を撮像する撮像装置を選択する選択ステップと、
選択された撮像装置の向きを調節する調節ステップと、
を有する決定方法。 - 実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置としてコンピュータに、
前記複数の撮像装置それぞれから取得した静止画像又は動画像と、前記複数の撮像装置の配置位置情報とに基づいて、前記背景を欠けずに撮像していて、かつ、前記ユーザとの距離が近い撮像装置を複数の撮像装置から選択する配置決定ステップ、
を実行させるための決定プログラム。 - 実空間に配置された特定の物体を撮像するように位置及び向きが定められた複数の撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置を、複数の撮像装置から選択する決定装置としてコンピュータに、
前記表示装置を介してユーザが見ている領域内において、特定の物体で前記ユーザから見えない背景を欠けずに撮像している複数の撮像装置の中から、前記背景を被写界深度内に含む画像を撮像する撮像装置を選択する選択ステップと、
選択された撮像装置の向きを調節する調節ステップと、
を実行させるための決定プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017020584 | 2017-02-07 | ||
JP2017020584 | 2017-02-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018129025A true JP2018129025A (ja) | 2018-08-16 |
Family
ID=63174322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017161553A Pending JP2018129025A (ja) | 2017-02-07 | 2017-08-24 | 決定装置、画像処理装置、決定方法及び決定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018129025A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11743590B2 (en) | 2020-09-18 | 2023-08-29 | Ricoh Company, Ltd. | Communication terminal, image communication system, and method for displaying image |
US11818492B2 (en) | 2020-09-30 | 2023-11-14 | Ricoh Company, Ltd. | Communication management apparatus, image communication system, communication management method, and recording medium |
-
2017
- 2017-08-24 JP JP2017161553A patent/JP2018129025A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11743590B2 (en) | 2020-09-18 | 2023-08-29 | Ricoh Company, Ltd. | Communication terminal, image communication system, and method for displaying image |
US11818492B2 (en) | 2020-09-30 | 2023-11-14 | Ricoh Company, Ltd. | Communication management apparatus, image communication system, communication management method, and recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7051457B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6561216B2 (ja) | 光学フローを使用した中間ビューの生成 | |
KR102342668B1 (ko) | 화상 처리장치, 화상 처리방법 및 기억매체 | |
US10715791B2 (en) | Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes | |
US20150177062A1 (en) | Information processing apparatus, information processing method, and storage medium | |
CN107844190B (zh) | 基于虚拟现实vr设备的图像展示方法及装置 | |
JP2013005259A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP6452360B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2008140271A (ja) | 対話装置及びその方法 | |
JP2018537748A (ja) | 可変の計算量を用いた画像のライトフィールドレンダリング | |
JP5809607B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6708444B2 (ja) | 画像処理装置および画像処理方法 | |
EP3189493B1 (en) | Depth map based perspective correction in digital photos | |
CN107209949B (zh) | 用于产生放大3d图像的方法和系统 | |
CN110969706B (zh) | 增强现实设备及其图像处理方法、系统以及存储介质 | |
JP6974978B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6756679B2 (ja) | 決定装置、画像処理装置、決定方法及び決定プログラム | |
JP2018129025A (ja) | 決定装置、画像処理装置、決定方法及び決定プログラム | |
KR20200003597A (ko) | 증강현실 영상 보정 장치 및 방법 | |
US20230005213A1 (en) | Imaging apparatus, imaging method, and program | |
JP6200316B2 (ja) | 画像生成方法、画像生成装置及び画像生成プログラム | |
JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP5764097B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2018129787A (ja) | 決定装置、画像処理装置、決定方法及び決定プログラム | |
US20240169492A1 (en) | Selective extended depth-of-field correction for image reconstruction |