JP2002245451A

JP2002245451A - 立体画像評価装置

Info

Publication number: JP2002245451A
Application number: JP2001042127A
Authority: JP
Inventors: Yuichi Yamanoue; 裕一山之上; Shinji Ide; 真司井出; Masato Okui; 誠人奥井
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2001-02-19
Filing date: 2001-02-19
Publication date: 2002-08-30

Abstract

(57)【要約】【課題】立体画像の見易さを数値化することができる
立体画像評価装置を提供することを目的とする。【解決手段】立体画像の見易さを評価する立体画像評
価装置１であって、左右の各画像の入力を受け付ける画
像入力手段２０と、入力された左右の各画像から視差ベ
クトルを求める視差抽出手段３０と、前記各画像を見易
さを評価しようとする領域においてｎ行ｍ列に分割した
小領域ごとに前記視差ベクトルの平均である平均視差ベ
クトルを算出する小領域平均視差算出手段４０と、画像
内の領域の位置に応じた重み付けの係数（主成分負荷
量）と前記平均視差ベクトルとの積の見易さを評価しよ
うとする領域全体にわたる総和を求める視差総和算出手
段（評価値算出手段）８０とを備えることを特徴とす
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、立体画像の見易さ
を評価する立体画像評価装置に関し、特に、左右の画面
の視差に基づいて立体画像の見易さを数値化して評価す
る立体画像評価装置に関する。

【０００２】

【従来の技術】立体画像の表示装置は、日常われわれが
見ている世界と変わらないような立体感と臨場感に富む
画像を擬似的に作り出し、立体画像を体験させるための
装置である。われわれが、両目で立体的なものの奥行き
を判断する手がかりとしては、輻輳や、両眼視差、調
節、運動視差等、様々な要因があるが、これらの中で
も、両眼視差は、特に有効な手がかりとなることが知ら
れている。両眼視差とは、人の２つの目が離れた位置に
あることによって、ある物体を眺めたときに両目の網膜
の像は同じとはならず、注視点から離れた位置で生じる
ずれのことをいう。この両眼視差を利用した２眼式の立
体画像は盛んに研究されており、展示博覧会等において
実現されている。

【０００３】

【発明が解決しようとする課題】しかし、展示博覧会等
で上映されている立体画像の多くは、エンターテイメン
ト性を強調する余り、極度に被写体が視聴者に接近して
見えるように撮像する等、人に対する影響を考慮してい
るとは言い難く、見終わった後に視覚疲労を訴える人が
多い。また、スクリーン上に映し出された立体画像は、
自然界において人間が物体を見る状況とは異なる点があ
り、これらも視覚疲労の原因になると考えられている。
これらの視覚疲労は、長時間の視聴を想定している放送
では重要な問題であり、視覚疲労が少なく見易い立体画
像が望まれている。そこで、本発明では、前記問題点に
鑑み、立体画像の視覚疲労の観点から見た見易さを数値
化して、評価することできる立体画像評価装置を提供す
ることを目的とする。

【０００４】

【課題を解決するための手段】前記課題を解決するた
め、本発明の発明者は、立体画像の見易さを数値化して
評価する立体画像評価装置を創作した。即ち、本発明の
請求項１では、立体撮影された右目用と左目用の各画像
の入力を受け付ける画像入力手段と、入力された左右の
各画像から視差ベクトルを求める視差抽出手段と、見易
さを評価しようとする領域全体にわたって前記視差ベク
トルの総和を算出する第１の視差総和算出手段とを備え
ることを特徴とする立体画像評価装置を構成した。

【０００５】このようにすることにより、本発明の立体
画像評価装置は、画像入力手段により入力された左右の
各画像に対し、視差抽出手段により視差ベクトルを求め
る。この視差ベクトルは、例えば、右の画像のある画素
に対し、左の画像に対応する画素があった場合、右の画
像におけるその画素の座標から、左の画像におけるその
画素の座標を引くことにより、ベクトルとして得ること
ができる。そして、第１の視差総和算出手段により、算
出された視差ベクトルを、見易さを評価しようとする領
域全体にわたって足し合わせ、視差ベクトルの総和を求
める。

【０００６】なお、視差ベクトルは、水平成分のみを考
慮して１次元としても良いし、垂直成分まで考慮して、
２次元のベクトルとしても良い。２次元のベクトルで計
算する場合、算出する値は成分ごとに計算し、出力され
る結果も２次元のベクトルとして出力される。そして、
出力された結果は、そのベクトルの方向と大きさにより
見易さが評価される。但し、垂直成分は、本来無く、撮
影の誤差に過ぎないため、撮影の方法を評価する上で
は、水平成分のみを考慮すれば十分である。また、請求
項でいう画像は、画像データの意味である。さらに、見
易さを評価しようとする領域は、前記画像データをディ
スプレイ等に表示させた場合の映し出された画面のう
ち、評価の対象とする領域をいい、映し出された画面の
必ずしも全体である必要は無く、映し出された画面全体
の内、外周の一部を除外したり、若しくは映し出された
画面全体の一部のみを取り出して、その取り出した部分
について評価する領域とする場合も含まれる。

【０００７】また、請求項中において、左右の各画像と
は、左目に見させるための画像と、右目に見させるため
の画像の２つの画像を意味している。従って、立体画像
を撮影中のカメラや、再生中等の画像が、左右に位置す
ることとは関係ない。再生画像を光学的に処理した結
果、右目と左目とに見させるための画像について、視差
の計算等を行うことになる。

【０００８】本発明の立体画像評価装置により得られた
値は、例えばスクリーンの手前に浮き出る被写体が多い
場合には、負の値をとり、スクリーンの奥に遠く見える
被写体が多い場合には、正の値をとる。このことを、図
３を参照しながら説明する。図３は、スクリーン上の像
の点と、視聴者の脳内で融合して結像する像の関係を示
す図であり、（ａ）はスクリーンより奥で結像する場
合、（ｂ）はスクリーンより手前で結像する場合を示
す。

【０００９】図３（ａ）に示すように、スクリーンより
奥で像Ｂ₁が結像する場合、右目に入る像Ｂ_R1は、スク
リーン上では、左目に入る像Ｂ_L1の位置よりも右にずれ
ることになる。右目で見える像Ｂ_R1のスクリーン上の座
標から、左目で見える像Ｂ_L1のスクリーン上の座標を引
いた値を視差ベクトルとし、右向きを正とした場合、図
３（ａ）の状態では、視差ベクトルＶ₁は正となる。一
方、図３（ｂ）に示すように、スクリーンより手前で像
Ｂ₂が結像する場合、左目で見える像Ｂ_L2は、右目で見
える像Ｂ_R2よりも右側にくるので視差ベクトルＶ₂は負
の値をとる。もちろん、右目、左目のいずれの画像で見
る像の座標から他方の目で見る像の座標を引くかは任意
であり、前記視差ベクトルの正負を逆に求めた場合に
は、視差ベクトルの正負と、結像位置の手前と奥の関係
も逆となる。

【００１０】次に、視差ベクトルの値と、立体画像の見
易さとの間の関係を考えると、おおよそ以下の３点の理
由より、スクリーンから手前若しくは奥に離れすぎた像
は立体感があるけれども疲れ易く、また、スクリーンの
奥で結像する画像よりも、スクリーンの手前で結像する
画像の方が比較的疲れ易いと考えられることについて説
明する。

【００１１】１点目としては、立体画像は、スクリーン
の奥で結像する画像も、手前で結像する画像も、常に視
聴者とスクリーンの間の距離で焦点を合わせなければな
らないのにかかわらず、結像する位置は、スクリーンか
ら離れた位置であるため、両目の視線がなす角である輻
輳角（図３（ａ），（ｂ）におけるβ₁，β₂）と、焦点
を合わせる調節の関係が自然界の物体を見る場合とずれ
ることがあげられる。つまり、図３（ｂ）の図を例にあ
げて説明すれば、自然界の物体（像Ｂ₂）を見る場合に
おいては、輻輳角がβ₂の時には、焦点を調節する距離
はｌ₂のはずであるのに、立体画像を見る場合には、輻
輳角がβ₂の場合でも、ｌ_sの距離で調節をしなければな
らないというずれが生じている。このようなことから、
スクリーンから離れた位置で結像する立体画像は、疲れ
易いといえる。

【００１２】２点目としては、人の目の焦点深度が結像
位置の奥側には許容範囲が広く、手前側には、許容範囲
が狭いことがあげられる。人の目の焦点が合う範囲は焦
点距離に対し約±０．３Ｄ（ディオクター，単位１／
ｍ）であると言われている。これは、例えば、図４に示
すように、２ｍの距離の像Ｂ₃に焦点を合わせるときは
１／２Ｄ＝０．５Ｄであるといい、これから±０．３Ｄ
離れた０．２Ｄから０．８Ｄの範囲で焦点が合うという
意味である。つまり、２ｍの像に焦点を合わせている場
合においては、１．２５ｍから５ｍの間で焦点が合うと
いうことになる。このようなことから、例えば２ｍの先
にスクリーンがあったときに、その０．５ｍ手前（人の
目から１．５ｍ）に結像する像と、０．５ｍ奥（人の目
から２．５ｍ）に結像する像とを比較すると、手前に結
像する場合は被写界深度の許容範囲の限度に近いため負
担が大きいのに対し、奥に結像する場合は被写界深度内
に十分入っているため、負担が少ないといえる。このこ
とも、スクリーンの奥側より、手前側に結像する画像の
方が疲れ易い要因となる。

【００１３】３点目としては、立体画像はスクリーンの
枠があることから、半遮蔽領域が遮蔽物の手前にある像
に対しても存在するということがあげられる。これを、
図５を参照しながら説明する。図５（ａ）は、自然界
で、人が壁の奥と手前側にある木を見る場合の見え方を
示す平面図であり、（ｂ）は、木の立体画像をスクリー
ンの手前で結像させる場合の見え方を示す平面図であ
る。図５（ａ）に示すように、自然界の物体を見る場合
においては、壁Ｗの奥にある木Ｔ₁について、右目では
全体が見えるが、左目ではその一部が壁Ｗに隠れてしま
う場合があるが、壁Ｗの手前側にある木Ｔ₂について
は、当然のことながら木Ｔ₂が壁Ｗに隠されることはな
い。このように、壁Ｗの奥にある木Ｔ₁のように一部が
片目においてのみ遮蔽される場合を半遮蔽というが、遮
蔽物（壁Ｗ）の奥にある物体については、人は普段から
半遮蔽を体験しているため、そのようなものを見ても違
和感を感じることがない。しかし、スクリーンに映し出
された立体画像においては、図５（ｂ）に示すように、
スクリーンの視野に制限があることから、スクリーンの
手前で結像する木Ｔ₃についても、画面の端の方では半
遮蔽が起こることがある。もちろん、スクリーンの奥で
結像する被写体についても半遮蔽は起こるのであるが、
遮蔽物（スクリーンの境界）の手前側にある物体の半遮
蔽は人が慣れていないため、非常に違和感を感じること
になる。このようなことから、スクリーンの奥で結像す
る立体画像よりも、スクリーンの手前で結像する立体画
像の方が疲れ易いといえる。

【００１４】以上のことから、請求項１の発明である立
体画像評価装置では、視差ベクトルの画面全体にわたる
総和を求めているため、視差ベクトルの総和がある範
囲、例えば±１０００の範囲であれば見易い画像であ
り、これを外れる範囲では見にくい立体画像であるとい
うように評価することができる。この値の範囲は、視差
ベクトルを抽出する数や、画面の画素数等によって異な
るが、およそプラス側、マイナス側の絶対値はほぼ同じ
となる。なお、スクリーンからある距離だけ奥で結像す
る場合の視差の絶対値に対して、スクリーンの同じ距離
だけ手前で結像する場合の視差の絶対値は大きいので、
評価値の範囲が±１０００の範囲内といっても、スクリ
ーンの奥側に結像する場合（前記の場合では正の値をと
る場合）の方が手前側にある場合（前記の場合では負の
値をとる場合）よりも見易いと評価できる範囲（スクリ
ーンからの結像距離）は広い。

【００１５】この評価値は、視差ベクトルが２次元の場
合にはベクトルとして算出され、ベクトルの向きと大き
さが平面上のある範囲内にある場合に見易いという判断
が出来る。この場合、人の目は、垂直方向の視差に対し
ては、脳内で一体の像として融合できる幅が小さいた
め、評価値の垂直成分についても、見易いといえる範囲
は特に狭くなる。

【００１６】また、本発明の請求項２では、立体撮影さ
れた右目用と左目用の各画像を入力することができる画
像入力手段と、入力された左右の各画像から視差ベクト
ルを求める視差抽出手段と、前記各画像の見易さを評価
しようとする領域においてｍ行ｎ列に分割した小領域ご
とに前記視差ベクトルの平均である平均視差ベクトルを
算出する小領域平均視差算出手段と、見易さを評価しよ
うとする領域全体にわたって前記小領域の位置に応じた
重み付けの係数と前記平均視差ベクトルとの積の総和を
求める第２の視差総和算出手段とを備える立体画像評価
装置を構成した。

【００１７】このようにすることにより、本発明の立体
画像評価装置は、画像入力手段により入力された左右の
各画像に対し、視差抽出手段により視差ベクトルを求め
る。ところが、この視差ベクトルは、画像の見易さを評
価しようとする領域の中でもその位置によって、目の疲
れに対する影響力が異なる。例えば、人は一般に視野の
下方は近いもの、視野の上方は遠いものに見慣れている
ことから、立体画像においても、同様の傾向を有する画
像は見易く、逆の傾向を持つ画像は疲れ易いと考えられ
る。従って、見易さを評価しようとする領域をｍ行ｎ列
の複数の小領域に分割することにより、影響力の強さに
応じた小領域に分けることができる。そして、前記小領
域ごとに前記視差ベクトルの平均を小領域平均視差算出
手段により算出する。さらに、第２の視差総和算出手段
により、算出された小領域ごとの視差ベクトルの平均
を、小領域の位置に応じた重み付けの係数と掛け合わ
せ、これを見易さを評価しようとする領域全体にわたっ
て足し合わせ、重み付けがなされた視差ベクトルの総和
を求める。

【００１８】このようにして求められた評価値は、重み
付けの係数により見易い値の範囲及び傾向は変わってく
るが、請求項１の場合と同様、およそ±１０００のよう
にプラス側とマイナス側の値の絶対値は同じくらいとな
る。

【００１９】また、本発明の請求項３では、立体画像の
見易さを評価する立体画像評価装置であって、左右の各
画像の入力を受け付ける画像入力手段と、入力された左
右の各画像から視差ベクトルを求める視差抽出手段と、
前記視差ベクトルの分散を求める視差分散算出手段とを
備えることを特徴とした。

【００２０】このような立体画像評価装置によれば、本
発明の立体画像評価装置は、画像入力手段により入力さ
れた左右の各画像に対し、視差抽出手段により視差ベク
トルを求め、さらに、前記視差ベクトルの分散が視差分
散算出手段により算出される。すなわち、入力された立
体画像が、一定の奥行きで表現する画像ではなく、被写
体の奥行きの差が大きい画像であるほど大きな値を取る
ことになる。このような画像は、立体感が強調されて臨
場感が高まる一方で、視聴者の目に対する負担は大きい
ので、この立体画像評価装置で得られる数値を見ること
により、立体画像の見易さを評価することができる。

【００２１】また、本発明の請求項４では、立体画像の
見易さを評価する立体画像評価装置であって、左右の各
画像の入力を受け付ける画像入力手段と、入力された左
右の各画像から視差ベクトルを求める視差抽出手段と、
前記各画像の見易さを評価しようとする領域においてｍ
行ｎ列に分割した小領域ごとに前記視差ベクトルの平均
である平均視差ベクトルX_ijを算出する小領域平均視差
算出手段と、予めサンプル画像から求めた前記小領域ご
との平均視差ベクトルを主成分分析することにより得ら
れる第１から第ｋ主成分までの主成分負荷量データと、
次式３に従い主成分負荷量と平均視差ベクトルX_ijの積
の線形和を求める第３の視差総和算出手段とを備えるこ
とを特徴とした。

【数３】

【００２２】後記するように、視差ベクトル分布データ
の主成分負荷量を重み付けした視差ベクトルの総和と見
易さの間には相関関係があることから、このようにする
ことにより、各小領域の影響力を適切に評価した上で、
立体画像の見易さを数値化することができる。なお、第
１主成分のみを考慮して、ｋ＝１で視差ベクトルの総和
をとってもよい。また、ｋをいくつまでとるかは任意で
あるが、事前に見易さの主観評価との相関を確認してお
くのが望ましい。

【００２３】また、本発明の請求項５では、請求項４記
載の立体画像評価装置において、前記視差ベクトルの分
散を求める視差分散算出手段と、前記平均視差ベクトル
と主成分負荷量を乗じた線形和である第１から第ｋ主成
分についての主成分得点、前記視差ベクトルの分散、予
め求められた主観的な見易さ、とから予め求めた重回帰
係数を、前記主成分得点、前記視差ベクトルの分散のそ
れぞれに乗じた線形和を次式４に従い求める評価値算出
手段をさらに備えることを特徴とした。

【数４】

【００２４】即ち、予め標準となる実験を行い、請求項
４にいう平均視差ベクトルと主成分負荷量を乗じた第１
から第ｋ主成分についての主成分得点と、視差ベクトル
の分散との見易さに対する影響力を重回帰分析により求
めておき、求められた重回帰係数と、各主成分得点及び
前記分散との線形和を求め、評価値を出力する。このよ
うにすることにより、主成分分析により求められた各主
成分の影響力と、分散の影響力とを適切に評価した上で
重み付けをし、立体画像の見易さを数値化することがで
きる。

【００２５】

【発明の実施の形態】次に、本発明の実施の形態につい
て、適宜図面を参照しながら説明する。図１は、本発明
の実施の形態の一例である立体画像評価装置の構成を示
す機能ブロック図である。図１に示すように、立体画像
評価装置１は、２台１組のカメラから構成される撮像手
段としてのステレオカメラ（Ｒ，Ｌ）１０，１０で撮像
した画像の入力を受け付ける画像入力手段２０，２０
と、入力された左右の画像の視差ベクトルを抽出する手
段である視差抽出手段３０と、画像の見易さを評価しよ
うとする領域をｍ行ｎ列の小領域に分割して、その小領
域ごとの視差ベクトルの平均である平均視差ベクトルを
求める小領域平均視差算出手段４０と、抽出された視差
ベクトルの画像全体にわたる分散である視差ベクトル分
散を算出する視差分散算出手段５０と、小領域ごとの平
均視差ベクトルを主成分分析した結果、得られた主成分
負荷量を記憶装置２に蓄積した主成分負荷量データ６０
とを有する。また、立体画像評価装置１は、視差ベクト
ル分散と、主成分負荷量と小領域平均視差ベクトルの線
形和である第１から第ｋの主成分得点との間の重回帰分
析を求めた結果である重回帰係数データ７０を有し、さ
らに、これらの視差ベクトル分散、小領域平均視差ベク
トル、主成分負荷量データ６０、重回帰係数データ７０
とから最終的な見易さの評価値を算出する評価値算出手
段８０を有している。これらの各手段やデータは、以下
に説明する通り、通常、記憶装置と中央演算処理装置を
有するコンピュータに記憶、及びプログラムに従って計
算させることにより容易に構成することが出来る。

【００２６】ステレオカメラ１０，１０は、公知の立体
画像撮影用のカメラであり、左右両目に対応する画像を
得るために、一般に、左目、右目の画像をそれぞれ２台
のカメラを用いて同時に撮像する。２台のカメラは、通
常人の目の間隔である６５ｍｍ程度のカメラ間隔を有し
て設置される。なお、カメラの光軸方向は、平行な平行
式と、被写体空間中で交叉する交差式とがあるが、本発
明においてはいずれの方法を用いても良い。

【００２７】画像入力手段２０，２０は、立体画像評価
装置１の中心となるコンピュータに対しステレオカメラ
１０，１０で撮像された画像データを受け付ける公知の
装置である。例えば、フレームメモリ、ＣＤ−ＲＯＭ、
ハードディスク等の記憶媒体に記録された画像のディジ
タルデータをこれらのリーダで入力したり、画像のアナ
ログ信号をデジタル信号に変換するＡ／Ｄコンバータを
入力部分とすることもできる。なお、画像入力手段２
０，２０で入力された画像のデータは、以後の計算に使
用するために、必要に応じて記憶装置２に記録、蓄積さ
れる。

【００２８】視差抽出手段３０は、画像入力手段２０，
２０から入力された左右の画像データの視差ベクトルを
コンピュータにより求める手段である。視差ベクトルの
算出は、例えば、右の画面における画像上のある点の座
標と、左の画面における同じ点の座標との差を求めるこ
とにより、視差ベクトルを求めることができる。視差ベ
クトルの算出の具体的な方法は、まず、画像のピクセル
ごとについて左右の対応する点を求め、次に対応する点
が見つからない場合には、１）補完する方法、２）ある
ピクセルのまとまりごとに互いの輝度で対応するピクセ
ルのまとまりを検索し、その座標の差からベクトルを求
めるブロックマッチングによる方法等が考えられてい
る。本発明において視差ベクトルを求める方法は、これ
らの方法に特に限定されるものではない。なお、右の画
面の座標から、対応する左の画面の座標を引くか、その
逆に差し引くかは、任意である。通常、垂直成分の視差
ベクトルは微小であるのでこれを、水平方向のみを考え
ても良いし、垂直、水平の両成分を考慮して求めても良
い。

【００２９】小領域平均視差算出手段４０は、画像入力
手段２０，２０により入力された左右の画像の見易さを
評価しようとする領域をｍ行ｎ列の小領域に分割して各
小領域の前記視差ベクトルの平均X_ij（１≦ｉ≦ｍ，１
≦ｊ≦ｎ）を求める手段である。各小領域の視差ベクト
ルの平均は、視差抽出手段３０により求められた視差ベ
クトルの各成分を成分ごとに算術平均することにより求
めることができる。

【００３０】視差ベクトル分散算出手段５０は、小領域
平均視差ベクトル算出手段４０で求められた各小領域の
視差ベクトルの平均X_ijに対し、その分散σ²を下記のア
ルゴリズムを用いてコンピュータにより求める手段であ
る。分散σ²は、公知の通り、次式５により求めること
ができる。

【数５】

【００３１】主成分負荷量データ６０は、複数の立体画
像サンプルから視差ベクトルを求め、画像をｍ行ｎ列の
小領域に分割し、それぞれの小領域で視差ベクトルの平
均を求め、これらの視差ベクトルの平均を主成分分析す
ることにより、画像の小領域ごとに主成分の主成分負荷
量を予め求め、それらを記憶装置２に記録したデータで
ある。

【００３２】重回帰係数データ７０は、前記平均視差ベ
クトルと主成分負荷量を乗じた線形和である第１から第
ｋ主成分についての主成分得点、前記視差ベクトルの分
散、予め求められた主観的な見易さ、とから予め求めた
重回帰係数を、記憶装置２に記録したデータである。

【００３３】評価値算出手段８０は、視差ベクトル分
散、小領域平均視差ベクトルX_ij、主成分負荷量の値に
より、次式６に従って、見易さの評価値Ｐを下記のアル
ゴリズムを用いてコンピュータにより求める手段であ
る。

【００３４】

【数６】

【００３５】なお、評価値算出手段８０は、請求項５に
いう評価値算出手段に相当するとともに、請求項２にい
う第２の視差総和算出手段及び請求項４にいう第３の視
差総和算出手段にも相当する。

【００３６】前記した、視差ベクトル抽出手段３０、小
領域平均視差ベクトル算出手段４０、視差ベクトル分散
算出手段５０、評価値算出手段８０は、記憶装置２に格
納されたプログラムが適宜読み込まれてコンピュータに
実行されることにより各手段としての機能を果たす。な
お、請求項１記載の立体画像評価装置を構成しようとす
る場合には、視差抽出手段３０により出力された視差ベ
クトルを、見易さを評価しようとする領域全体にわた
り、ベクトルの成分ごとに総和を求める手段（請求項１
にいう第１の視差総和算出手段）に入力させればよい。

【００３７】以上のような構成の立体画像評価装置１の
動作について、図１及び図２を参照しながら、具体的に
説明する。なお、図２は、立体画像評価装置の動作を説
明する図であり、（ａ）が入力された画像、（ｂ）が視
差ベクトル分布、（ｃ）が小領域ごとの平均視差ベクト
ル分布を示す。

【００３８】まず、図２（ａ）に示すような、左目画像
及び右目画像をステレオカメラ１０，１０により撮像す
る。なお、左目画像、右目画像とは、それぞれ左目、右
目に見せるための画像である。これらの画像のデータが
立体画像評価装置１の画像入力手段２０，２０を通して
入力され、立体画像評価装置１内の記憶装置２に記録さ
れる。次に、視差抽出手段３０により、記憶装置２内に
記録されたデータが逐次読み出されるとともに、例えば
ブロックマッチング法により、縦４×横４の画素のブロ
ックの輝度により左右の画像の対応する位置が検出さ
れ、視差ベクトルが算出され、記憶装置２に記録され
る。次に、抽出された視差ベクトルのデータ（図２
（ｂ）参照）は、小領域平均視差算出手段４０により読
み出されて、画像の見易さを評価しようとする領域を例
えば３行３列に分割した各小領域ごとに、平均が求めら
れ、この値が記憶装置２内に記録される（図２（ｃ）参
照）。そして、前記各小領域の視差ベクトルの平均の値
X_ijは視差分散算出手段５０により、読み出されて、そ
の分散σ²が算出され、記憶装置２内に記録される。さ
らに、評価値算出手段８０により、記憶装置２から主成
分負荷量データ６０、重回帰係数データ７０、及び求め
られた視差ベクトルの平均X_ij、分散σ²を読み出して式
６に従い評価値Ｐが算出される。評価値Ｐは、図示しな
い表示装置に出力させ、人がこの出力結果の良し悪しを
判断しても良いし、別途の判定可能な装置に入力して機
械に見易さの判定をさせることもできる。

【００３９】このようにして、画像の見易さを評価しよ
うとする領域を複数小領域に分割して、各小領域の視差
ベクトルの平均X_ijを主成分負荷量a_ijにより重み付けし
て主成分得点を求め、さらに重回帰係数を前記主成分得
点及び視差分散に乗じて線形和をとることにより、立体
画像の見易さの評価値Ｐを得ることができる。この評価
値Ｐは、重回帰係数や主成分負荷量、視差の正負のとり
方にもよるが、例えば後記する実験例のように、値が大
きい程見易いということができる。

【００４０】以上、本発明の立体画像評価装置１につい
て説明したが、立体画像評価装置１は、単にステレオカ
メラから入力した立体画像の見易さを数値化するだけで
なく、他にも種々の応用が可能である。例えば、立体画
像を撮影したビデオテープの再生出力を立体画像入力装
置に入力し、得られた評価値Ｐを見て見易さを判定し、
さらにある単位時間内の評価値Ｐの平均を算出して、一
定の基準から放映、販売の良否を決めることもできる。
また、ステレオカメラで撮影中の画像が疲れ易い撮影条
件になったならば、警告音や警告表示を出力するよう
に、評価値Ｐを利用するようにすれば、撮影中に疲れ易
い画像をリアルタイムに警告することができ、見難く、
疲れ易い立体画像の録画を事前に防ぐことができる。

【００４１】さらに、画像の見易さを評価しようとする
領域全体を複数に分割して、その分割した領域の一部ご
とに、本発明の立体画像評価装置１により見易さを評価
するようにし、これを前記分割した領域のそれぞれにつ
いて行えば、画面全体の内の各領域の見易さを数値化す
ることが出来る。例えば、撮影中の立体画像について、
このように画面中の領域ごとの見やすさの評価をさせ、
見難い領域が出てきたときに、その領域に何らかの警告
の表示をすれば、撮影者は画面中でどこが見難さに影響
しているかがわかるので、どのような画面構成に修正し
たら良いかの指標を得ることができる。

【００４２】なお、入力される画像としては、動画であ
ろうと、静止画であろうと、全く同様に見易さの評価値
を算出できることはもちろんである。

【００４３】次に、主成分負荷量及び重回帰分析データ
を求め、本発明の効果を確認した実験例の一つについて
説明する。

【００４４】《主観評価実験（因子分析）》まず、立体
画像を見た場合の印象や、画面がもたらす心理的な効果
について調べるため、因子分析を用いた主観評価実験を
行った。実験における評価画像としては、撮像条件、被
写体の位置関係等が明らかとなっている立体映像標準チ
ャートの他、ＭＰＥＧ−２におけるMulti-View-Profile
の実証評価実験に使用した画像、新しく開発された小型
でズーム可能な立体ハイビジョンカメラで撮像した画像
等の中から、予備実験により１０シーンを選んだ。各シ
ーンは各１５秒のシーケンスで、被写体、カメラワーク
ともに激しい動きは含まれていない。各シーンの名称と
その内容を表１にまとめて示す。

【００４５】

【表１】

【００４６】これらの１０種類のシーンに、それぞれの
シーンの２次元画像（両目に同一の画像を見させる画
像）も加えた合計２０種類の画像についての主観評価実
験を行った。これらの２０種類の画像は、１２０型と７
０型の２つの画面サイズの偏光メガネ方式の立体ハイビ
ジョンシステムでランダムに被験者に提示した。実験条
件は表２にまとめて示す。なお、１２０型画面サイズで
評価する場合も、７０型画面サイズで評価する場合も繰
り返しは２回である。２次元画像を評価する場合には、
両目に対して左目画像を提示して、実験中に偏光メガネ
の着脱がないようにすると同時に、被験者には提示画像
が２次元画像なのか立体画像なのかを知らせないように
した。各画面サイズの場合とも、一度に２名〜４名の被
験者で実験を実施し、視距離がほぼ３Ｈ（Ｈ：画面高）
となるように配置した。被験者は、２０代を中心とした
男女９９名で、実験に先立ち立体視機能の検査を行っ
た。評価実験は、予備実験における相互関係の程度を考
慮して選択した、表３に示す１３の評価項目に対して、
５段階のカテゴリーで評価した。

【００４７】

【表２】

【００４８】

【表３】

【００４９】実験で得られた主観評価データに対し因子
分析を行った結果、固有値が１以上となる２つの因子を
抽出した。これらの因子の寄与率はそれぞれ３２％と２
６％で、累積寄与率は５８％となった。図６に、抽出さ
れた２つの因子と各評価項目の因子負荷量との関係を示
す。第１因子に対する因子負荷量の最も高い評価項目が
「臨場感がある」、第２因子に対する因子負荷量の最も
高い評価項目が「見易い」という結果から、第１因子を
「臨場感」に関する因子、第２因子を「見易さ」に関す
る因子と呼ぶこととする。

【００５０】《視差ベクトル分布の解析（主成分分
析）》次に、各シーンの冒頭の１フレームについて視差
ベクトルの分布を分析した。視差ベクトルの検出につい
ては、縦１６画素、横１６画素の輝度レベルでのブロッ
クマッチング法を用いた。従って、立体ハイビジョン画
像の場合、縦６４ブロック、横１２０ブロックからなる
視差ベクトル分布データが得られる。この実験では、１
０種類のシーンを対象としているが、光軸を平行にして
撮像したシーン（表１でのＮｏ．４〜Ｎｏ．１０）に関
しては、再生画面サイズに応じて左右の水平位相を調整
するため、７０型画面と１２０型画面でそれぞれ別々の
シーンとして視差ベクトル検出を行った。ブロックマッ
チングによる視差ベクトルの検出精度は、大きく画像の
内容に依存し、輝度変化の少ない一様な領域では、精度
が劣る。

【００５１】この実験においては、シーンＮｏ．８の背
景（ステージで歌う歌手及びバンドの背景で輝度が平坦
かつ照明が暗く落とし込んでいる領域）における検出
に、明らかに誤りと見られる検出結果が多く見つかった
ため、分析対象から除外した。従って、９種類のシーン
に対して、２種類の画面サイズも含めて、１５の視差ベ
クトル分布データを得た。ここで、得られた分布データ
を、分析の効率化のため、３行３列の９つの小領域に分
割した。小領域の大きさは、縦横ともに４分割した大き
さが基本である。但し、一般的に主要な被写体ほど画面
中央で大面積を占めるため、図７や図８に示すように、
小領域の位置に応じた重み付けを行った。即ち、画面の
中央部（小領域５：画面全体の４／１６）と周辺部、そ
して周辺部についても、さらに中央部（小領域２，４，
６，８：画面全体の２／１６）と画面の４隅部（小領域
１，３，７，９：画面全体の１／１６）の合計９つの小
領域に分割し、それぞれの小領域に含まれる視差ベクト
ル分布データを平均化した。ここで、負の値は、Ｃｒｏ
ｓｓ視差ベクトルで画面より飛び出す方向の視差ベクト
ルで、正の値は、Ｕｎｃｒｏｓｓ視差ベクトルで、画面
より奥に見える方向の視差ベクトルである。

【００５２】ここで、９つの小領域に分割された視差ベ
クトルデータに対し、主成分分析を行った。その結果、
累積寄与率９２．５％（第１主成分８３．２％、第２主
成分９．３％）で２つの主成分にまとめることができ
た。各小領域のその２つの主成分に対する主成分負荷量
を図７、図８に示す。

【００５３】《主成分分析結果》第ｋ主成分についての
各画像の主成分得点は、次式７により求められる。

【数７】

【００５４】図７において、第１主成分についての主成
分分析の結果各小領域にかかる係数（主成分負荷量）を
みると、いずれの値も正でかつ０．８５〜０．９７とほ
ぼ一様である。従って、立体画像の視差ベクトルの値が
正であるほど（像がスクリーンに対し奥にあるほど）、
この立体画像の第１主成分に対する主成分得点は高くな
る。

【００５５】第２主成分についても、図８を参照して各
小領域の係数（主成分負荷量）を見ると、画面上部の小
領域１〜３の符号が正、画面の下部の小領域７〜９の符
号が負となっている。即ち、立体画像の上部が奥に、画
面の下部が手前になっているほど、この立体画像の第２
主成分に対する主成分得点は高くなる。

【００５６】《小領域間の視差ベクトルの分散》立体画
像では、手前から無限遠まで再現されている画像がある
一方で、極めて奥行き方向の再現範囲が狭い立体画像も
存在する。ここでは、その要素を図７の小領域間の視差
ベクトルのベクトルデータのばらつき（分散）として、
分析の対象に加えた。

【００５７】《見易さと視差ベクトル分布との関係》視
差ベクトルの分布の主成分分析によって得られた各画像
の第１主成分得点、第２主成分得点及び小領域間のばら
つきと、前記の主観評価実験で得られた見易さの因子と
の相関関係を重回帰分析により分析した。その結果、因
子「見易さ」と第１主成分、第２主成分視差ベクトルの
ばらつきには、明確な相関関係が認められた。重回帰式
の決定係数は０．８５であり、回帰の有意性が認められ
た。得られた回帰式は、であった。

【００５８】得られた回帰式の係数に着目すると、第１
主成分得点と、第２主成分得点に対する係数が正で視差
ベクトルのばらつきに対する係数が負となっている。従
って、見易い立体画像は、第１主成分、第２主成分に対
する得点が高く、視差ベクトルのばらつきが少ない立体
画像であることが示されている。立体画像として、見易
い視差ベクトルの形状は、画面の下方が手前で、上方が
奥にあること、大面積間で凹凸が少ない（１画面中での
被写体の遠近差が少ない）ことが大きな要素で、また、
立体画像全体としては手前より奥に位置する立体画像の
方が見易くなることが示唆される。

【００５９】

【発明の効果】以上詳述した通り、本発明によれば、次
のような顕著な効果を奏する。請求項１記載の立体画像
評価装置によれば、左右の画像の視差ベクトルの総和を
求めることにより、立体画像の見易さを数値として評価
することができる。請求項２記載の立体画像評価装置に
よれば、左右の画像の視差ベクトルの総和を、その画像
内の位置に応じて重み付けを掛け合わせて求めることが
でき、立体画像の見易さをより適切に評価することがで
きる。また、請求項３記載の立体画像評価装置によれ
ば、左右の画像の視差ベクトルの分散により、立体画像
の見易さを数値化して評価することができる。さらに、
請求項４記載の立体画像評価装置によれば、画像内の各
小領域の位置の重みとしての係数を、主成分分析の主成
分負荷量を使用することにより、視差ベクトルに適切な
重み付けを掛けて立体画像の見易さを評価することがで
きる。また、請求項５記載の立体画像評価装置によれ
ば、主成分分析により求められた主成分の影響力と、分
散の影響力とを適切に評価した上で重み付けをし、立体
画像の見易さを数値化することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態の一例である立体画像評価
装置の構成を示す機能ブロック図である。

【図２】立体画像評価装置の動作を説明する図であり、
（ａ）が入力された画像、（ｂ）が視差ベクトル分布、
（ｃ）が小領域ごとの平均視差ベクトル分布を示す。

【図３】スクリーン上の像の点と、視聴者の脳内で融合
して結像する像の関係を示す図であり、（ａ）はスクリ
ーンより奥で結像する場合、（ｂ）はスクリーンより手
前で結像する場合を示す。

【図４】人の目の焦点深度を説明する図である。

【図５】（ａ）は、自然界で、人が壁の奥と手前側にあ
る木を見る場合の見え方を示す平面図であり、（ｂ）
は、木の立体画像をスクリーンの手前で結像させる場合
の見え方を示す平面図である。

【図６】抽出された２つの因子と各評価項目の因子負荷
量との関係を示す図である。

【図７】第１主成分の小領域ごとの主成分負荷量を示す
図である。

【図８】第２主成分の小領域ごとの主成分負荷量を示す
図である。

【符号の説明】

２０画像入力手段３０視差抽出手段４０小領域平均視差算出手段５０視差分散算出手段６０主成分負荷量データ７０重回帰係数データ８０評価値算出手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 13/00 Ｈ０４Ｎ 17/00 17/00 Ｇ０１Ｃ 3/06 Ｖ // Ｇ０１Ｃ 3/06 Ｇ０１Ｂ 11/24 ＡＫ (72)発明者奥井誠人東京都世田谷区砧１丁目10番11号日本放送協会放送技術研究所内Ｆターム(参考） 2F065 AA53 BB05 DD00 FF01 FF05 FF09 JJ03 JJ05 JJ26 SS14 UU05 2F112 BA20 CA20 FA03 FA45 FA50 5B057 DA20 DB03 DC01 DC32 5C061 AA02 AB24 BB07 CC09 5L096 AA09 CA05 DA02 FA32 FA33 FA70 GA19 HA01 MA01

Claims

【特許請求の範囲】

【請求項１】立体画像の見易さを評価する立体画像評
価装置であって、左右の各画像の入力を受け付ける画像
入力手段と、入力された左右の各画像から視差ベクトル
を求める視差抽出手段と、見易さを評価しようとする領
域全体にわたって前記視差ベクトルの総和を算出する第
１の視差総和算出手段とを備えることを特徴とする立体
画像評価装置。
【請求項２】立体画像の見易さを評価する立体画像評
価装置であって、左右の各画像の入力を受け付ける画像
入力手段と、入力された左右の各画像から視差ベクトル
を求める視差抽出手段と、前記各画像の見易さを評価し
ようとする領域においてｍ行ｎ列に分割した小領域ごと
に前記視差ベクトルの平均である平均視差ベクトルを算
出する小領域平均視差算出手段と、見易さを評価しよう
とする領域全体にわたって前記小領域の位置に応じた重
み付けの係数と前記平均視差ベクトルとの積の総和を求
める第２の視差総和算出手段とを備えることを特徴とす
る立体画像評価装置。
【請求項３】立体画像の見易さを評価する立体画像評
価装置であって、左右の各画像の入力を受け付ける画像
入力手段と、入力された左右の各画像から視差ベクトル
を求める視差抽出手段と、前記視差ベクトルの分散を求
める視差分散算出手段とを備えることを特徴とする立体
画像評価装置。
【請求項４】立体画像の見易さを評価する立体画像評
価装置であって、左右の各画像の入力を受け付ける画像
入力手段と、入力された左右の各画像から視差ベクトル
を求める視差抽出手段と、前記各画像の見易さを評価し
ようとする領域においてｍ行ｎ列に分割した小領域ごと
に前記視差ベクトルの平均である平均視差ベクトルX_ij
を算出する小領域平均視差算出手段と、予めサンプル画
像から求めた前記小領域ごとの平均視差ベクトルを主成
分分析することにより得られる第１から第ｋ主成分まで
の主成分負荷量データと、次式１に従い主成分負荷量と
平均視差ベクトルX_ijの積の線形和を求める第３の視差
総和算出手段とを備えることを特徴とする立体画像評価
装置。【数１】
【請求項５】請求項４記載の立体画像評価装置におい
て、前記視差ベクトルの分散を求める視差分散算出手段
と、前記平均視差ベクトルと主成分負荷量を乗じた線形
和である第１から第ｋ主成分についての主成分得点、前
記視差ベクトルの分散、予め求められた主観的な見易
さ、とから予め求めた重回帰係数を、前記主成分得点、
前記視差ベクトルの分散のそれぞれに乗じた線形和を次
式２に従い求める評価値算出手段を備えることを特徴と
した立体画像評価装置。【数２】