JP2013192196A - カーソル合成装置およびカーソル合成方法 - Google Patents

Abstract

【課題】作業者の疲労及び不快感を低減可能なカーソル合成装置を、提供することにある。
【解決手段】カーソル合成装置１０００では、映像視差検出部２は、カーソルの位置情報が示す被写体用の立体映像の被写体用の視差情報を、検出する。適正視差範囲判定部３は、所定の条件に応じて、視差の適正な範囲である適正視差範囲を、設定する。カーソル視差生成部４は、被写体用の視差情報に基づいて、カーソルの視差が適正視差範囲に含まれるように、カーソルの視差情報を設定する。カーソル立体映像生成部５は、カーソルの視差情報に基づいて、カーソル用の立体映像を生成する。カーソル立体映像合成部６は、適正視差範囲に含まれるカーソル用の立体映像を、被写体用の立体映像に合成する。
【選択図】図１

Description

本発明は、左右の映像からなる被写体用の立体映像に対して、カーソルの映像を合成するカーソル合成装置に関するものである。また、本発明は、カーソル合成装置を用いたカーソル合成方法に関する。

近年、左右の映像からなる立体映像による映画上映の機会が、増えている。また、衛星放送やブルーレイディスクによるパッケージメディアなどを通じて、家庭で立体映像が視聴される機会も、増えている。

立体映像は、左眼用の映像と右眼用の映像との視差により、対象が観察者に奥行き感を伴って立体的に見えるように構成された映像である。ここでは、左眼用の映像は、観察者の左眼にのみ入るように制御され、右眼用の映像は、観察者の右眼のみに入るように制御される。近年、さらに、立体映像の視聴と、疲労や不快感との関係が、研究されるようになってきた。これにより、快適な立体映像視聴のための安全ガイドラインが示され、立体映像の制作で安全性が配慮されるようになってきている。

まず図６を用いて立体映像の原理について説明する。

図６は、立体映像の原理を説明するための模式図である。

立体映像は、左右ペアの映像である。立体映像は、例えば、図６に示すように、左眼用（以下、Ｌ側）と右眼用（以下、Ｒ側）との２つの撮像装置によって、撮影される。図６において、左右の撮像装置は、一定間隔（以下、ステレオベース）離して、光軸が交差するように配置されている。ここでは、左右の撮像装置の光軸がなす角度を輻輳角と呼び、交差する位置を基準面と呼ぶ。ステレオベースは、平均的な成人の両目間隔、例えば約６５ｍｍ程度に、設定されることが多い。しかしながら、必ずしも、この間隔である必要はない。

中央に配置された被写体であるりんごが、どのように見えるかを、光軸方向におけるりんごの位置ごとに、示す。図６（ａ）は、基準面より手前にりんごがある場合の図である。図６（ｂ）は、基準面にりんごがある場合の図である。図６（ｃ）は、基準面より奥側にりんごがある場合の図である。

図６（ａ）に示すように、基準面より手前にりんごがある場合は、Ｌ側の映像は中心より右側にりんごが映っており、Ｒ側の映像は中心より左側にりんごが映っている。これらＬ／Ｒの映像は、それぞれ人間の左目／右目によって認識されると、脳で合成され、人間には、手前に飛び出しているように見える。

また、図６（ｂ）に示すように、基準面にりんごがある場合は、Ｌ／Ｒとも中央にりんごが映っている。この場合、Ｌ／Ｒの映像が、脳で合成されると、人間には、基準面位置すなわち表示装置がある位置に、りんごがあるように見える。

さらに、図６（ｃ）に示すように、基準面より奥側にりんごがある場合は、Ｌ側の映像は中心より左側にりんごが映っており、Ｒ側の映像は中心より右側にりんごが映っている。これらＬ／Ｒの映像は、それぞれ人間の左目／右目によって認識されると、脳で合成され、人間には奥まって見える。

ここで重要な点は、被写体と基準面位置との相対的な位置関係により、Ｌ側映像とＲ側映像とにおいて被写体が映っている位置が異なる点である。このＬ側映像とＲ側映像の位置の差が、視差と呼ばれている。この視差量と、立体映像を視聴する場合の疲労や不快感との関係が、近年明らかになってきている。過度な視差は、疲労や不快感の原因となり、安全な視差量に対するガイドラインが設けられている。

例えば、３Ｄコンソーシアム安全ガイドラインによれば、立体視の融合限界の視差角は２度程度が目安であり、快適視差は視差角１度以下が目安となっている。また、開散方向の視差制限として、ディスプレイ上の奥行き側視差は、瞳孔間隔を超えないことが望ましい。子供までを考慮すると、５０ｍｍを超える視差は避けることが望ましいとされている。

図７は、視差角と奥行き視差の説明図である。

視差角とは、図７におけるθ−α、または、β−θの角度のことである。これらの視差角が、１度以内である範囲が、快適な視差範囲となる。例えば、アスペクト比１６：９のディスプレイでは、画面高さの３倍の視距離から、作業者が立体映像を観測することを想定すると、この視差角１度は、画面幅の約２．９％の視差量に相当する。

図８及び図９は、視差量を説明するための模式図であり、図８が飛び出し側、図９が奥行き側である。

図８及び図９を用いて、視差角が１度である場合、この視差角が、画面幅の約２．９％の視差量に相当することを説明する。

例えば、５０インチのアスペクト比１６：９のディスプレイでは、画面高さの３倍の視距離から作業者が立体映像を観測する場合で、ステレオベースは５０ｍｍであると想定すると、
横幅 １１０５ｍｍ
縦幅 ６２２ｍｍ
視距離 １８６６ｍｍ＝横幅＊0.49/0.87＊3
となる。

図８のスクリーン面の視差量（β）をステレオベースの隣に並行移動した三角形に注目すると、
視差量（β）＝２＊tan(β/2)＊視距離−ステレオベース
＝２＊tan(β/2)＊視距離−２＊tan(θ/2)＊視距離
＝２＊視距離＊（tan(β/2）−tan(θ/2)）
となる。

三角関数の加法定理を用いて、tan(θ/2)を計算すると、
(tan(β/2)−tan(θ/2))=tan(β/2−θ/2)＊(1+tan(β/2)＊tan(θ/2))
β＝θ＋１度
tan(θ/2)=25/1866
となる。
tan(θ/2)は、非常に小さい値であるので、
(tan(β/2)−tan(θ/2))=tan(1/2度)=0.008727
と近似すると、
視差量（β）＝２＊視距離＊0.008727
＝横幅＊0.02949
と近似できる。

従って、視差角１度の視差量（β）は、画面幅の約２．９％に相当する。同様に、奥行き側について、図９を用いて説明する。

角度αの三角形の２辺を並行移動し、頂点がスクリーン面にある三角形に注目すると、
視差量（α）＝ステレオベース−２＊tan(α/2)＊視距離
＝２＊tan(θ/2)＊視距離−２＊tan(α/2)＊視距離
＝２＊視距離＊（tan(θ/2)−tan(α/2)）
となる。

三角関数の加法定理を用いて、tan(θ/2)を計算すると、
(tan(θ/2)−tan(α/2)）=tan(θ/2−α/2)＊（１＋tan(θ/2)＊tan(α/2)）
θ＝α＋１度
tan(θ/2)=25/1866
となる。
tan(θ/2)は、非常に小さい値であるので、
(tan(θ/2)−tan(α/2))=tan(1/2度)=0.008727
と近似すると、
視差量（α）＝２＊視距離＊0.008727
＝横幅＊0.02949
と近似できる。

従って、視差角１度の視差量（α）は、画面幅の約２．９％に相当する。同様に視差角２度の視差量は、画面幅の約５．９％に相当する。

また、奥行き視差は、図７ではｄで表現され、ｄは、例えば５０ｍｍ以下である。この５０ｍｍが画面幅の何％に相当するかは、表示する画面サイズによって異なる。５０インチ型であれば約４．５％、７７インチ型であれば約２．９％、１５０インチ型であれば約１．５％に相当する。したがって、作業者が観測するディスプレイサイズを考慮した条件（所定の条件に対応）が、あらかじめ設定されている必要がある。

上記は、過度な視差と疲労や不快感との関連性より提案されている１つのガイドラインにすぎないため、必ず視差角１度以内にする必要性はない。例えば、より安全側に設定する場合には、飛び出し側視差は画面幅の１％以内、奥行き側視差は画面幅の２％以内、かつ、想定したディスプレイサイズにおいて奥行き視差が４５ｍｍ以内としてもよい。

このような中で、３Ｄカメラで撮影した映像を、コンピュータで加工、編集する機会が増えてきている。例えば、マウスのような入力デバイスを用いてカーソルを操作することで、立体映像が加工及び編集される。この場合、単にカーソル映像を立体映像に重畳表示しただけでは、立体的に観察しながら作業を行う場合に、カーソルの奥行きが固定されるため、どの映像部分を指し示しているのか分かり難いという課題がある。

これに対して、特許文献１には、立体映像上でカーソル映像を合成する場合に、カーソルが指し示す位置の映像部分と同じ視差量を、カーソルに付加する技術が、開示されている。この技術では、立体映像を立体的に観察している場合においても、カーソルが、立体映像のどの映像部分を指し示しているのかを把握しやすくなると、記されている。また、特許文献２には、立体映像上でカーソル映像を合成する場合に、カーソルが指し示す位置の映像部分と同じ視差量を、カーソルに付加するとともに、カーソルの移動中は、カーソルの指し示す位置の映像部分の視差量とは無関係に、視差量を固定する技術が、開示されている。この技術では、作業者がカーソルを見失うことを極力防ぐことができると、記されている。

特開２００１−３２６９４７号公報 特開２０１１−１３４２９５号公報

しかしながら、特許文献１及び特許文献２に記載の技術では、カーソルを停止した場合に、常にカーソルの指し示す位置の映像部分の視差量を、カーソルに付加する。例えば、カーソルが指し示した映像部分の視差量が、過大な場合には、合成されるカーソルにも過大な視差量が、付加されてしまう。このため、作業者が、カーソルを用いて映像を加工したり編集したりする場合に、疲労及び不快感が大きくなってしまうという課題がある。

ここに開示されるカーソル合成装置は、左右の映像からなる被写体用の立体映像に対して、カーソルの映像を合成する装置である。本カーソル合成装置は、２次元位置入力部と、映像視差検出部と、適正視差範囲判定部と、カーソル視差生成部と、カーソル立体映像生成部と、カーソル立体映像合成部とを、備えている。２次元位置入力部は、カーソルの位置情報を入力する。映像視差検出部は、カーソルの位置情報が示す被写体用の立体映像の被写体用の視差情報を、検出する。適正視差範囲判定部は、所定の条件に応じて、視差の適正な範囲である適正視差範囲を、設定する。カーソル視差生成部は、被写体用の視差情報に基づいて、カーソルの視差が適正視差範囲に含まれるように、カーソルの視差情報を設定する。カーソル立体映像生成部は、カーソルの視差情報に基づいて、カーソル用の立体映像を生成する。カーソル立体映像合成部は、適正視差範囲に含まれるカーソル用の立体映像を、被写体用の立体映像に合成する。

本カーソル合成装置では、作業者が映像の加工及び編集を行う場合に、作業者の疲労及び不快感の発生を、防止することができる。詳細には、本カーソル合成装置では、カーソルが過大な視差量の映像部分を指し示した場合においても、カーソルの視差量は適正視差範囲に抑制することができる。このため、作業者が加工及び編集を行う場合に、作業者の疲労及び不快感の発生を、防止することができる。

また、本カーソル合成装置では、カーソルが指し示す映像の視差量に関する情報を、より明確に表示できるため、作業者が、より容易に、加工及び編集を行うことができる。

また、本カーソル合成装置では、作業者が２次元映像表示モードで、立体映像を加工及び編集する場合においても、より容易に作業を行うことができる。

また、本カーソル合成装置では、作業者が、２次元左右映像ミックス表示モードで、映像を視認しながら、この映像を加工及び編集する場合においても、カーソルが指し示す映像部分がわかりやすいカーソル表示を、実現できる。

実施の形態１におけるカーソル合成装置の構成を示すブロック図 立体映像を示した模式図 実施の形態１のカーソル合成装置の動作を説明するための模式図 実施の形態２におけるカーソル合成装置の構成を示すブロック図 実施の形態２のカーソル合成装置の動作を説明するための模式図 立体映像の原理を説明するための模式図 視差角と奥行き視差を説明するための模式図 飛び出し側の視差量を説明するための模式図 奥行き側の視差量を説明するための模式図

以下、実施の形態におけるカーソル合成装置を、図面を用いて詳細に説明する。

（実施の形態１）
（１．カーソル合成装置の構成）
図１は、実施の形態１におけるカーソル合成装置１０００の構成を示すブロック図である。図１に示すように、カーソル合成装置１０００は、２次元位置入力部１と、映像視差検出部２と、適正視差範囲判定部３と、カーソル視差生成部４と、カーソル立体映像生成部５と、カーソル立体映像合成部６とから、構成されている。

２次元位置入力部１は、例えば、コンピュータのマウスや、トラックボール、座標入力装置などで構成される。２次元位置入力部１は、作業者が立体映像の２次元位置を指定するための操作部である。２次元位置入力部１の出力である２次元位置情報は、映像視差検出部２およびカーソル立体映像生成部５に、出力される。

映像視差検出部２は、２次元位置入力部１で指定された２次元位置の立体映像信号の視差情報を検出し、映像視差情報（被写体用の視差情報の一例）としてカーソル視差生成部４へ出力する。

適正視差範囲判定部３は、あらかじめ設定されている適正視差範囲判定基準に関する設定値に従い、視差量の適正範囲の情報（適正視差範囲情報）を算出し、適正視差範囲情報をカーソル視差生成部４に出力する。適正視差範囲判定基準に関する設定値とは、例えば、作業者が観察する３Ｄモニターの大きさ、視差を抑制する基準、視差の状態に対応するカーソルの色などを定義するための情報である。このように、適正視差範囲判定基準に関する設定値（所定の条件の一例）に応じて、適正視差範囲が、設定される。

カーソル視差生成部４は、適正視差範囲情報を基に、カーソル位置の映像視差情報に対して抑制処理を実施して、カーソル視差情報として出力する。また同時に、出力したカーソル視差情報の状況に適応したカーソル色情報を、出力する。例えば、カーソル視差量が奥行き方向において抑制された場合は、赤色のカーソル色情報が出力され、カーソル視差量が奥行き方向において抑制されなかった場合は、橙色のカーソル色情報が出力される。また、カーソル視差量が基準面位置の場合は、緑色のカーソル色情報が出力される。また、カーソル視差量が飛び出し方向において抑制されなかった場合は、青色のカーソル色情報が出力され、カーソル視差量が飛び出し方向で抑制された場合は、紫色のカーソル色情報が出力される。これらの色や種類は、作業者があらかじめ自分の好みに合わせて、設定可能とする。なお、これらの色や種類は、自動設定されるようにしてもよい。

カーソル立体映像生成部５は、２次元位置入力部１で出力された２次元位置情報と、カーソル視差生成部４のカーソル視差情報及びカーソル色情報とに基づいて、左眼映像用のカーソル映像および右眼映像用のカーソル映像を生成し、これら２つのカーソル映像をカーソル立体映像として出力する。カーソル立体映像合成部６は、立体映像にカーソル立体映像を合成して出力する。

（２．カーソル合成装置の動作）
カーソル合成装置１０００の動作および効果について、図１〜図８を用いて詳細に説明する。

ここでは、一例として、３Ｄコンソーシアム安全ガイドラインの条件、ディスプレイサイズは５０インチ、ステレオベースは５０ｍｍを、想定する。また、飛び出し側において、視差量が０％から画面幅の２．９％までが快適領域であり、２．９〜５．９％までが注意領域であり、５．９％以上が危険領域である場合を、想定する。また、奥行き側において、視差量が０％から画面幅の２．９％までが快適領域であり、２．９〜４．５％までが注意領域であり、４．５％以上が危険領域である場合を、想定する。このような領域になるように、図８及び図９を用いて上述したような所定の条件が、設定されている。そして、カーソル映像の視差量が危険領域に含まれないように、カーソル映像の視差量が抑制処理される。具体的には、カーソル映像の視差量が、飛び出し側において５．９％以上又は奥行き側において４．５％以上である場合に、カーソル映像の視差量がクリップ処理される。また、カーソル色情報については、クリップ処理を実施した領域に応じて、所定の色情報に設定される。例えば、カーソル映像の視差量が、奥行き方向でクリップ処理された場合は、カーソル色情報は赤色に設定される。カーソル映像の視差量が、奥行き方向で注意領域にある場合は、カーソル色情報は橙色に設定される。カーソル映像の視差量が、奥行き方向で快適領域にある場合は、カーソル色情報は黄緑色に設定される。また、カーソル映像の視差量が、基準面付近（基準面を含む所定の領域）にある場合は、カーソル色情報は緑色に設定される。カーソル映像の視差量が、飛び出し方向で快適領域にある場合は、カーソル色情報は水色に設定される。カーソル映像の視差量が、飛び出し方向で注意領域にある場合は、カーソル色情報は青色に設定される。カーソル映像の視差量が、飛び出し方向でクリップ処理された場合は、カーソル色情報は紫色に設定される。

図２は、ある立体映像を示した模式図である。図２（ａ）に３次元表示、（ｂ）にＸ−Ｙ軸の２次元表示を示す。

図２では、Ｘ軸、Ｙ軸で２次元位置座標を表し、Ｚ軸で奥行き座標を表した立体映像を表現している。Ｚ軸の基準面位置〜○の間を視差の快適領域、○〜△の間を視差の注意領域、△より外側を視差の危険領域として、あらかじめ適正視差範囲を設定している。図２（ｂ）に示すように、中央の高さに、左から、禁止マーク、ハートマーク、スマイルマーク、太陽マーク、稲妻マークが並んでいる。図２（ａ）に示すように、禁止マークは、飛び出し側の視差の危険領域に、ハートマークは、飛び出し側の注意領域に、スマイルマークは、快適領域（基準面）に、太陽マークは、奥行き側の注意領域に、稲妻マークは、奥行き側の危険領域に配置されている。

図中の長方形は、基準面および２種類の奥行き側の画面枠を表している。すなわち、実線の長方形は、基準面の画面枠を、点線の長方形は、奥行き側の注意領域における画面枠を、一点鎖線は、奥行き側の危険領域における画面枠を表している。各基準面の実線の長方形にはスマイルマークが、奥行き側の注意領域の点線の長方形には太陽マークが、奥行き側の危険領域の一点鎖線の長方形には稲妻マークが配置されている。

図３は、実施の形態１のカーソル合成装置の動作を説明するための模式図である。

図２の立体映像が、本実施の形態１のカーソル合成装置に入力された場合の動作について、図１、図２および図３を用いて説明する。

まず、２次元位置入力部１にてマウスなどにより、カーソルのＸ−Ｙ軸平面での２次元位置が入力される。ここで入力された２次元位置が、図２（ｂ）の画面中央、すなわち、スマイルマークの位置（（Ｘ，Ｙ）＝（０，０））である場合、映像視差検出部２は、入力された２次元位置の映像、すなわち、スマイルマーク映像の視差を検出する。

映像視差の検出方法としては、視差量が検出できれば、どのような検出方法でもよい。例えば、入力された２次元位置周辺の左眼用の映像データを、右眼用の映像データと比較することにより、右眼用の映像データでの２次元位置が検出され、左眼用の位置と右眼用の位置のずれが、視差量として検出される。

この場合、スマイルマークの映像部分の視差を左右映像から検出すると、スマイルマークは、基準面にあることからもわかるように、検出される視差量はゼロとなる。

カーソル視差生成部４は、検出された映像視差情報（この場合、ゼロ）に、適正視差範囲判定部３からの情報を用いてクリップ処理を行う。

例えば、適正視差範囲が、飛び出し側５．９％未満であり、奥行き側４．５％未満であり、映像視差情報がゼロである場合、クリップ処理後のカーソル視差情報は、検出された映像視差情報（ゼロ）と同じ値になる。本実施形態では、映像視差情報が適正視差範囲に含まれる場合においても、クリップ処理は実行されている。

カーソル視差生成部４は、カーソル視差情報として視差量ゼロと、カーソル色情報として緑色を、出力する。この場合、スマイルマークの視差が基準面付近に存在しているため、カーソル色情報は、緑色となる。カーソル立体映像生成部５では、２次元位置情報（Ｘ，Ｙ）=（０，０）、カーソル視差情報（視差量ゼロ）、およびカーソル色情報（緑色）より、（Ｘ，Ｙ）＝（０，０）の位置に、視差量ゼロを有する緑色のカーソルの立体映像を、生成して、カーソル立体映像合成部６に出力する。すると、カーソル立体映像合成部６は、このカーソルの立体映像を、元の立体映像に合成して出力する。

３Ｄモニターで立体映像を監視している作業者には、合成されたカーソルは、視差量ゼロのため基準面の位置にあるように見える。すなわち、作業者が指し示した位置の映像であるスマイルマークと同じ奥行き感を有するカーソルが、自動的に表示される。

次に、２次元位置入力部１が、カーソルの位置をＸ−Ｙ軸平面でＸ軸方向にずらし、カーソルを太陽マークの位置（Ｘ，Ｙ）＝（３０，０）に移動させる。

すると、同様に、映像視差検出部２において、太陽マーク映像の視差が検出される。また、カーソル視差生成部４において、適正視差範囲判定部３からの情報に基づき、クリップ処理が実行され、カーソル視差情報が設定される。太陽マークは、奥行き側の注意領域にあるため、結果として、カーソル視差情報は、検出された太陽マーク映像の視差情報と同じ値となる。

この場合、太陽マークの視差が奥行き側注意領域に存在しているため、カーソル色情報は、奥行き側注意領域用の橙色となる。

すなわち、カーソル視差生成部４からは、カーソル視差情報として太陽マークと同じ視差量と、カーソル色情報として橙色とが、出力される。

カーソル立体映像生成部５は、２次元位置情報（Ｘ，Ｙ）＝（３０，０）、カーソル視差情報（太陽マークと同じ視差量）、およびカーソル色情報（橙色）より、（Ｘ，Ｙ）＝（３０，０）の位置に、太陽マークと同じ視差量を有する、橙色のカーソルの立体映像を、生成して、カーソル立体映像合成部６に出力する。すると、カーソル立体映像合成部６は、このカーソルの立体映像を、元の立体映像に合成して出力する。

３Ｄモニターで立体映像を監視している作業者には、合成されたカーソルは、太陽マークと同じ奥行き感で、橙色で太陽マークを指し示しているように見える。すなわち、作業者が指し示した位置の映像である太陽マークと同じ奥行き感を有するカーソルが、自動的に表示される。

さらに、２次元位置入力部１が、カーソルの位置をＸ−Ｙ軸平面でＸ軸方向にずらし、稲妻マークの位置（Ｘ，Ｙ）=(７０，０)に移動させる。

すると、同様に、映像視差検出部２において、稲妻マーク映像の視差が検出され、カーソル視差生成部４において、適正視差範囲判定部３からの情報に基づき、クリップ処理が実行され、カーソル視差情報が設定される。稲妻マークは、奥行き側の危険領域にあるため、カーソルの視差量は、奥行き側の注意領域と危険領域との境界値にまで抑制される（クリップされる）。このクリップ後のカーソルの視差量が、カーソル視差情報である。

この場合、稲妻マークの視差が奥行き側注意領域に存在しているため、カーソル色情報は、奥行き側抑制実施用の赤色となる。

すなわち、カーソル視差生成部４からは、カーソル視差情報として奥行き側の注意領域と危険領域との境界値と、カーソル色情報として赤色とが、出力される。

カーソル立体映像生成部５は、２次元情報（Ｘ，Y）＝（７０，０）、カーソル視差情報（注意領域と危険領域の境界視差量）、およびカーソル色情報（赤色）より、（Ｘ，Ｙ）＝（７０，０）の位置に、注意領域と危険領域との境界の視差量を有する、赤色のカーソルの立体映像を生成して、カーソル立体映像合成部６に出力する。すると、カーソル立体映像合成部６は、このカーソルの立体映像を、元の立体映像に合成して出力する。

３Ｄモニターで立体映像を監視している作業者には、稲妻マークを指し示すカーソルが、注意領域と危険領域の境界、すなわち稲妻マーク映像より手前側に、赤色で表示される。

これらの一連の動きに対するカーソル表示の様子を図３に示す。図３（ａ）には、３次元表示で、図３（ｂ）には、Ｘ−Ｚ軸での奥行き位置を示す。

上記のような処理を実行することによって、カーソルが指し示す映像が過度の視差を有していない場合には、カーソル位置の映像と同じ奥行き感で、カーソルの立体映像は表示される。一方で、カーソルが指し示す映像が過度の視差を有する場合には、カーソルに過度な視差が発生しないように、カーソルの立体映像は表示される。このように、本技術は、カーソルの立体映像に対して過度な視差が発生しないように、自動的に制限できる点に特徴を有している。この結果、作業者が、立体映像の加工及び編集を行う場合、疲労及び不快感の発生を抑制できる。

さらに、カーソルが指し示す映像部分の視差量に関する情報を、カーソルの色情報として表現することで、より明確に表示できる。このため、作業者がより容易に加工及び編集を実行可能なカーソル合成装置を、実現できる。

すなわち、カーソルの指し示す映像部分の視差量が、過大な場合に、合成されるカーソルにも、過大な視差量が付加されることによって、作業者が加工、編集作業を行う場合に、疲労及び不快感が大きくなってしまうといった問題点を、解決できる。

（３．まとめ）
以上のように、本実施の形態にかかるカーソル合成装置１０００は、左右の映像からなる立体映像にカーソル映像を合成する装置である。カーソル合成装置１０００は、２次元位置入力部１と、映像視差検出部２と、適正視差範囲判定部３と、カーソル視差生成部４と、カーソル立体映像生成部５と、カーソル立体映像合成部６とを、備えている。これにより、作業者は、映像を立体的に観察している場合においても、カーソルが、どの映像部分を指し示しているのかを、容易に視認できる。また、カーソルが指し示す映像部分の視差量が、過大な場合にも、自動的にカーソルの視差量を適正範囲に抑制することができるので、作業者の疲労及び不快感を抑制することができる。また、カーソルが指し示す映像部分の視差量に関する情報を、カーソル色により、明確に報知することができるので、作業者が加工及び編集をより容易に実行することができる。

なお、映像の視差量の検出方法としては、視差量を検出できれば、どのような方法でもよい。映像比較による視差量の検出方法の場合、比較する左眼映像領域は、固定でもよいし、左眼用の映像を映像認識した結果などに基づいて、適応的に領域の大きさを可変してもよい。

また、映像比較する右眼用の映像での検索領域なども固定でもよいし、比較する左眼映像領域の大きさなどによって、可変にしてもよい。

また、適正視差範囲の判定条件は、３Ｄコンソーシアム安全ガイドラインの条件、かつディスプレイサイズは、５０インチ、ステレオベースは５０ｍｍを想定し、快適領域、注意領域、危険領域の３種類に分類したが、これに限るものではない。

また、カーソル色の分類も、７種類に分類したが、これに限るものではない。

また、カーソル形状を変更する場合も、上記カーソル色の変更と同様に処理することができる。例えば、カーソル色情報と同様に、カーソル形状情報を用いて、映像の視差量が、
飛び出し側及び奥行き側において、各領域（快適領域、注意領域、危険領域）に対応するカーソル形状情報を用意することによって、各領域においてカーソルの形状を変更することができる。また、上記のカーソル色の変更とカーソル形状の変更とは、個別に実行しもてよいし、同時に実行してもよい。

（実施の形態２）
（１．カーソル合成装置の構成）
図４は、実施の形態２におけるカーソル合成装置２０００の構成を示すブロック図である。

図４に示すように、カーソル合成装置２０００は、２次元位置入力部１と、映像視差検出部２と、適正視差範囲判定部３と、カーソル視差生成部４と、カーソル立体映像生成部５と、表示モード別切替機能付きカーソル立体映像合成部７とから、構成されている。図４では、実施の形態１と同一のブロックは、同じ番号を用いている。

実施の形態１との相違は、カーソル立体映像合成部６が表示モード別切替機能付きカーソル立体映像合成部７に変更されている点である。

立体映像の加工及び編集が実行される場合には、作業者は、立体映像で奥行き感のある映像を観察しながら作業を行ったり、左眼用または右眼用の映像だけを２次元映像で詳細に確認したり、左眼用の映像と右眼用の映像とを混在させて２次元映像で映像のずれ具合を確認したりする。このように、作業者は、様々な表示モードで、映像を観察する。

このような複数の表示モードの中で、左眼用の映像と右眼用の映像とを混在させて２次元映像で映像のずれ具合を確認する場合、カーソルが２重に表示されてしまい（図５（ａ）を参照）、カーソルがどの映像部分を指し示しているのか分かりにくくなってしまうという問題点がある。

本発明の実施の形態２は、上記の問題点を解決するもので、表示モード別切替機能付きカーソル立体映像合成部７は、作業者が加工及び編集する際に観察しているディスプレイの表示モードにより、カーソル合成動作を切替するカーソル合成装置である。

（２．カーソル合成装置の動作）
以上のように構成された本発明の実施の形態２では、カーソル合成装置の動作について、実施の形態１とは異なる動作について、図５を用いて詳しく説明する。

図５は、実施の形態２のカーソル合成動作を説明するためのものである。図５は、左眼用と右眼用の映像をミックスした２次元映像を表した模式図である。図５（ａ）は、カーソル立体映像の左右とも合成した場合、図５（ｂ）は、実施の形態２の場合である。

表示モード別切替機能付きカーソル立体映像合成部７は、表示モードが３Ｄモードである場合は、カーソル立体映像を、元の立体映像に左右とも合成する。一方で、表示モードが２次元左右映像ミックスモードになった場合には、カーソル立体映像の左眼用の映像のみ、元の立体映像に合成する。

ここでは、３Ｄモード時のように、カーソル立体映像を元の立体映像に左右とも合成して（立体映像の左右映像をミックスして）２次元表示することを、考える。例えば、カーソルが太陽マークを指し示している場合は、太陽マークと同じ視差量をもった橙色のカーソルが、左右の映像にそれぞれ合成される。すなわち、太陽マークは、奥行き側注意領域にあるため、橙色のカーソルは奥行き側注意領域の視差量を有している。すなわち、右眼用のカーソル映像は、左眼用のカーソル映像よりも右側に表示されている状態となっており、３Ｄモードで左眼用映像は左眼だけに、右眼用映像は右眼だけに見えるようにすると、この左右のカーソル表示の差が脳で奥行き感として認識される。
しかしながら、この状態の左眼用映像及び右眼用映像を単にミックスして２次元表示すると、図５（ａ）に示すように、カーソルが２重に表示され、カーソルが指し示している映像が視認しにくくなる。それに対して、２次元左右映像ミックスモードになった場合には、カーソルの立体映像の左眼用の映像のみを合成すると、図５（ｂ）に示すように、カーソルは２重に表示されないため、作業者は、カーソルの指し示す映像をより明確に視認できる。

このように処理することによって、３Ｄモードでは、作業者は、奥行き感を伴ったカーソルが合成された立体映像を、観測しながら作業できる。一方で、２次元左右映像ミックスモードでは、左眼用のカーソルのみ合成されるため、カーソルは２重に表示されることがない。このため、作業者は、カーソルがどの映像部分を指し示しているかを、より明確に視認できる。他のブロックは、実施の形態１と同様なので、説明は省略する。

（３．まとめ）
以上のように、本実施の形態にかかるカーソル合成装置２０００は、左右の映像からなる立体映像にカーソル映像を合成するカーソル合成装置である。カーソル合成装置２０００は、２次元位置入力部１と、映像視差検出部２と、適正視差範囲判定部３と、カーソル視差生成部４と、カーソル立体映像生成部５と、表示モード別切替機能付きカーソル立体映像合成部７と、を備えている。これにより、作業者は、映像を３Ｄモードで立体的に観察している場合において、カーソルが、どの映像部分を指し示しているのかを、容易に視認できる。また、カーソルが指し示す映像部分の視差量が、過大な場合にも、自動的にカーソルの視差量を適正範囲に抑制することができるので、作業者の疲労及び不快感を抑制することができる。また、カーソルが指し示す映像部分の視差量に関する情報を、カーソル色により、明確に報知することができるので、作業者が加工及び編集をより容易に実行することができる。さらに、２次元左右映像ミックスモードで平面的に観察している場合、カーソル表示が２重に表示されることを防ぎ、カーソルがどの映像部分を指し示しているかを、より明確に視認できる。

なお、２次元左右ミックスモード時に合成するカーソル映像には、カーソル立体映像の左眼用の映像が用いられる場合の例を示したが、カーソル立体映像の右眼用の映像を、カーソル映像として用いてもよい。また、カーソル立体映像の左眼用の映像とカーソル立体映像の右眼用の映像とに基づいて、１つのカーソル映像を生成し、このカーソル映像を用いてもよい。

本発明は、カーソル合成装置及びカーソル合成方法に、広く適用できる。

１０００、２０００ カーソル合成装置
１ ２次元位置入力部
２ 映像視差検出部
３ 適正視差範囲判定部
４ カーソル視差生成部
５ カーソル立体映像生成部
６ カーソル立体映像合成部
７ 表示モード別切替機能付きカーソル立体映像合成部

Claims (9)

1. 左右の映像からなる被写体用の立体映像に対して、カーソルの映像を合成するカーソル合成装置であって、
   カーソルの位置情報を入力する２次元位置入力部と、
   前記カーソルの位置情報が示す前記被写体用の立体映像の被写体用の視差情報を、検出する映像視差検出部と、
   所定の条件に応じて、視差の適正な範囲である適正視差範囲を、設定する適正視差範囲判定部と、
   前記被写体用の視差情報に基づいて、カーソルの視差が前記適正視差範囲に含まれるように、カーソルの視差情報を設定するカーソル視差生成部と、
   前記カーソルの視差情報に基づいて、カーソル用の立体映像を生成するカーソル立体映像生成部と、
   前記適正視差範囲に含まれる前記カーソル用の立体映像を、前記被写体用の立体映像に合成するカーソル立体映像合成部と、
   を備えるカーソル合成装置。
2. 前記カーソル視差生成部は、被写体用の視差が前記適正視差範囲の外部に含まれる場合に、前記カーソルの視差が前記適正視差範囲の内部に含まれるように、前記カーソルの視差情報を設定する、
   請求項１に記載のカーソル合成装置。
3. 前記カーソル視差生成部は、前記カーソルの視差情報の設定状況に応じて、前記カーソル用の立体映像の色を、変更する、
   請求項１又は２に記載のカーソル合成装置。
4. 前記カーソル視差生成部は、前記カーソルの視差情報の設定状況に応じて、前記カーソル用の立体映像の形状を、変更する、
   請求項１から３のいずれかに記載のカーソル合成装置。
5. 左右の映像からなる被写体用の立体映像に対して、カーソルの映像を合成するカーソル合成装置であって、
   カーソルの位置情報を入力する２次元位置入力部と、
   前記カーソルの位置情報が示す前記被写体用の立体映像の被写体用の視差情報を、検出する映像視差検出部と、
   所定の条件に応じて、視差の適正な範囲である適正視差範囲を、設定する適正視差範囲判定部と、
   前記被写体用の視差情報に基づいて、カーソルの視差が前記適正視差範囲に含まれるように、カーソルの視差情報を設定するカーソル視差生成部と、
   前記カーソルの視差情報に基づいて、カーソル用の立体映像を生成するカーソル立体映像生成部と、
   表示モードを取り込み、前記表示モードに応じて、カーソルを、前記表示モードに対応する映像に合成するカーソル立体映像合成部と、
   を備えるカーソル合成装置。
6. 前記カーソル立体映像合成部は、前記表示モードが、前記左右の映像を重畳して表示するモードである場合に、左映像用のカーソル映像及び右映像用のカーソル映像の少なくともいずれか一方を用いて、カーソルを、前記映像に合成する、
   請求項５に記載のカーソル合成装置。
7. 前記カーソル立体映像合成部は、前記表示モードが、立体映像を表示するモードである場合に、カーソル用の立体映像を被写体用の立体映像に合成する、
   請求項５に記載のカーソル合成装置。
8. 左右の映像からなる被写体用の立体映像に対して、カーソルの映像を合成するカーソル合成方法であって、
   カーソルの位置情報を入力する２次元位置入力ステップと、
   前記カーソルの位置情報が示す前記被写体用の立体映像の被写体用の視差情報を、検出する映像視差検出ステップと、
   所定の条件に応じて、視差の適正な範囲である適正視差範囲を、設定する適正視差範囲判定ステップと、
   前記被写体用の視差情報に基づいて、カーソルの視差が前記適正視差範囲に含まれるように、カーソルの視差情報を設定するカーソル視差生成ステップと、
   前記カーソルの視差情報に基づいて、カーソル用の立体映像を生成するカーソル立体映像生成ステップと、
   前記適正視差範囲に含まれる前記カーソル用の立体映像を、前記被写体用の立体映像に合成するカーソル立体映像合成ステップと、
   を備えるカーソル合成方法。
9. 左右の映像からなる被写体用の立体映像に対して、カーソルの映像を合成するカーソル合成方法であって、
   カーソルの位置情報を入力する２次元位置入力ステップと、
   前記カーソルの位置情報が示す前記被写体用の立体映像の被写体用の視差情報を、検出する映像視差検出ステップと、
   所定の条件に応じて、視差の適正な範囲である適正視差範囲を、設定する適正視差範囲判定ステップと、
   前記被写体用の視差情報に基づいて、カーソルの視差が前記適正視差範囲に含まれるように、カーソルの視差情報を設定するカーソル視差生成ステップと、
   前記カーソルの視差情報に基づいて、カーソル用の立体映像を生成するカーソル立体映像生成ステップと、
   表示モードを取り込み、前記表示モードに応じて、カーソルを、前記表示モードに対応する映像に合成するカーソル立体映像合成ステップと、
   を備えるカーソル合成装置。

Images