JP2014103585A - 立体画像表示装置 - Google Patents

Abstract

【課題】簡易な構成、かつ、高い精度で、立体画像を観察する観察者が疲労しているか否かを判定可能な立体画像表示装置を提供する。
【解決手段】実施形態の立体画像表示装置は、表示部と第１取得部と計測部と判定部と視差量制御部とを備える。表示部は、立体画像を表示する。第１取得部は、立体画像の観察位置を含む空間を撮影した撮影画像を取得する。計測部は、第１取得部により取得された撮影画像に映り込んだ観察者の輻輳角を計測する。判定部は、計測部により計測された輻輳角に応じて、観察者が疲労しているか否かを判定する。視差量制御部は、判定部により観察者が疲労していると判定された場合、立体画像の視差量を低減する制御を行う。
【選択図】図５

Description

本発明の実施形態は、立体画像表示装置に関する。

近年、特にフラットパネルタイプで、且つ、専用の眼鏡等を必要とする方式としない方式の両方の立体画像表示装置、いわゆる３次元ディスプレイが実現されている。この３次元ディスプレイにより生成された立体映像の視聴においては、映像酔いや病的症状には到らない眼の疲労、場合によっては病的症状に到る眼精疲労を発症する問題がある。

従来においては、視聴者の生体情報を用いて立体映像を制御し未然に映像酔いなどの症状を防止する技術や、視聴者の瞳孔径をカメラで取得し、取得した瞳孔径に応じて疲労度を判定し、映像やゲーム内容を制御する技術が知られている。

特開２０１１−２８６３３号公報 特開２００４−３５７７６０号公報 特開２０００−６０８２９号公報

しかしながら、視聴者の生体情報を用いて疲労度を判定する技術においては、接触型のセンサーを視聴者に取り付ける必要があるため、視聴者が違和感を覚える上、構成が複雑化するという問題がある。

また、視聴者の瞳孔径は、映像コンテンツの内容に応じても変化するため、視聴者の瞳孔径に応じて疲労度を判定する技術では、十分な精度で疲労度を判定することができないという問題がある。

本発明が解決しようとする課題は、簡易な構成、かつ、高い精度で、立体画像を観察する観察者が疲労しているか否かを判定可能な立体画像表示装置を提供することである。

実施形態の立体画像表示装置は、表示部と第１取得部と計測部と判定部と視差量制御部とを備える。表示部は、立体画像を表示する。第１取得部は、立体画像の観察位置を含む空間を撮影した撮影画像を取得する。計測部は、第１取得部により取得された撮影画像に映り込んだ観察者の輻輳角を計測する。判定部は、計測部により計測された輻輳角に応じて、観察者が疲労しているか否かを判定する。視差量制御部は、判定部により観察者が疲労していると判定された場合、立体画像の視差量を低減する制御を行う。

実施形態の立体画像表示装置の概念図。 実施形態の立体画像表示装置の構成例を示す図。 実施形態の表示部の構成例を示す図。 実施形態の表示部の模式図。 実施形態の画像処理部の機能構成例を示す図。 実施形態のキャリブレーション部の機能構成例を示す図。 実施形態のテスト画像の一例を示す図。 実施形態の立体画像の飛び出し量と視差量の関係を示す模式図。 実施形態の立体画像表示装置の動作例を示すフローチャート。 実施形態の立体画像表示装置の動作例を示すフローチャート。 変形例の立体画像表示装置の概念図。 変形例のテスト画像の一例を示す図。

以下、添付図面を参照しながら、本発明に係る立体画像表示装置の実施の形態を詳細に説明する。本実施形態の立体画像表示装置は、例えば、インテグラル・イメージング方式（ＩＩ方式）や多眼方式等の３Ｄディスプレイ方式を採用したものであってよい。立体画像表示装置の例としては、例えば視聴者が裸眼で立体画像を観察可能なＴＶ、ＰＣ、スマートフォン、デジタルフォトフレームなどが挙げられる。立体画像とは、互いに視差を有する複数の視差画像を含む画像であり、視差とは、異なる方向から見ることによる見え方の差をいう。なお、実施形態で述べる画像とは、静止画像又は動画像のいずれであってもよい。

図１は、観察者が、本実施形態の立体画像表示装置１の表示部１０１に表示される立体画像を観察する様子を示す概念図である。図２は、立体画像表示装置１の構成例を示す図である。図２に示すように、立体画像表示装置１は、表示部１０１と、カメラ１１１と、画像処理部１２０と、を備える。

表示部１０１は、立体画像を表示する。図３は、表示部１０１の構成例を示す図である。図３に示すように、表示部１０１は、表示パネル１０と、光線制御部２０と、を備える。表示パネル１０は、色成分を有する複数のサブ画素（例えば、Ｒ、Ｇ、Ｂ）を、第１方向（例えば、図３における行方向（左右方向））と、第２方向（例えば、図３における列方向（上下方向））とに、マトリクス状に配列した液晶パネルである。この場合、第１方向に並ぶＲＧＢ各色のサブ画素が１画素を構成する。表示パネル１０のサブ画素の配列は、他の公知の配列であっても構わない。また、サブ画素は、ＲＧＢの３色に限定されない。例えば、４色以上であってもよい。

また、表示パネル１０には、直視型２次元ディスプレイ、例えば、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、投射型ディスプレイなどを用いることができる。また、表示パネル１０は、バックライトを備えた構成でもよい。

光線制御部２０は、表示パネル１０の各サブ画素からの光線の出射方向を制御する。光線制御部２０と表示パネル１０とは、一定の距離（ギャップ）を有する。光線制御部２０は、光線を出射するための光学的開口部が直線状に延伸し、当該光学的開口部が第１方向に複数配列されたものである。光線制御部２０には、例えば、シリンドリカルレンズが複数配列されたレンチキュラーシート、スリットが複数配列されたパララックスバリア等を用いることができる。

光学的開口部は、表示パネル１０の各要素画像に対応して配置される。要素画像とは、光学的開口部に対応したサブ画素単位で表示された視差画像の集合をいい、複数の視差画像の各々の画素を含む画像であると捉えることもできる。ここでは、表示部１０１に表示される要素画像の集合が立体画像を構成する。

図４は、観察者が表示部１０１を観察している状態を示す模式図である。表示パネル１０に複数の要素画像１２が表示されると、複数の視差方向に対応した画像光線が、光線制御部２０の各光学的開口部を透過する。そして、視域（立体画像を観察可能な領域）内に位置する観察者は、要素画像１２に含まれる異なる画素（異なる視差画像の画素）を、左眼２６Ａおよび右眼２６Ｂでそれぞれ観察することになる。このように、観察者の左眼２６Ａおよび右眼２６Ｂに対し、視差の異なる画像をそれぞれ提示することで、観察者は、表示部１０１に表示される立体画像を立体的に視認できる（立体視できる）。

図２に戻って説明を続ける。カメラ１１１は、観察者が立体画像を観察する観察位置を含む所定の空間を連続的に撮影（撮像）する。画像処理部１２０は、カメラ１１１により撮影された画像を示す撮影画像に基づいて観察者の認証を行う。この詳細な内容については後述する。本実施形態では、カメラ１１１は、可視光用のものであり、観察者にはカメラ１１１による撮影を一切意識されない。また、本実施形態では、カメラ１１１は、表示部１０１の筐体の枠内に埋め込まれ、さらに黒い半透明のアクリル素材によりカバーされるので、観察者には、カメラ１１１の存在すらも意識されない。

画像処理部１２０は、立体画像を生成して表示部１０１に表示する制御を行う。図５は、画像処理部の１２０の機能構成例を示すブロック図である。図５に示すように、画像処理部１２０は、第１取得部１２１と、記憶部１２２と、認証部１２３と、計測部１２４と、キャリブレーション部１２５と、第２取得部１２６と、視差量制御部１２７と、判定部１２８とを有する。

第１取得部１２１は、カメラ１１１からの撮影画像を取得する。本実施形態では、第１取得部１２１は、カメラ１１１からの撮影画像を取得するたびに、取得した撮影画像を、認証部１２３および計測部１２４の各々に出力する。記憶部１２２は、観察者ごとに（例えば観察者を識別するＩＤごとに）、顔画像を特定可能な顔特徴情報と、後述の限界視差量とを少なくとも対応付けて記憶する。顔特徴情報は、観察者の顔画像を特定可能な情報であればよく、例えば顔画像そのものであってもよいし、顔に含まれる眼や鼻などの各特徴点を示す情報であってもよい。

認証部１２３は、第１取得部１２１により撮影画像が取得されるたびに、その取得された撮影画像に含まれる顔画像を抽出し、記憶部１２２に登録された１以上の顔特徴情報の中に、抽出した顔画像と一致（類似でもよい）する顔画像を特定可能な顔特徴情報が存在するか否かを判断する。認証部１２３は、記憶部１２２に登録された１以上の顔特徴情報の中に、撮影画像から抽出した顔画像と一致する顔画像を特定可能な顔特徴情報（つまり、撮影画像に含まれる顔画像を特定可能な顔特徴情報）が存在すると判断した場合、当該顔特徴情報に対応する観察者を、判定部１２８による判定の対象として認証する。そして、認証部１２３は、認証した観察者の顔画像を特定可能な顔特徴情報を、計測部１２４および判定部１２８の各々に出力する。

一方、認証部１２３は、記憶部１２２に登録された１以上の顔特徴情報の中に、撮影画像に含まれる顔画像を特定可能な顔特徴情報が存在しないと判断した場合、その旨をキャリブレーション部１２５に通知する。キャリブレーション部１２５の具体的な内容については後述する。

計測部１２４は、第１取得部１２１により取得された撮影画像に映り込んだ観察者の輻輳角を計測する。本実施形態では、計測部１２４は、第１取得部１２１により取得された撮影画像から、認証部１２３により認証された観察者の顔画像を抽出し、抽出した顔画像を用いて、認証部１２３により認証された観察者の輻輳角を計測する。より具体的には、計測部１２４は、抽出した顔画像から、観察者の両眼を検出し、眼に含まれる瞳の寄り角を計測する。

瞳の検出方法は任意であるが、ここでは、一例として、強膜(白眼に相当)と角膜(黒眼に相当)のコントラスト差よりその境界を判定し、瞳の位置や向きを判定する強膜反射法を用いて瞳を検出する。計測部１２４は、強膜反射法により検出した両眼の瞳の位置に基づいて、両眼の瞳の各々の視線方向のなす角度を示す輻輳角を計測する。計測部１２４は、以上の処理を、所定の周期で繰り返し実行し、計測結果を示す情報（認証された観察者の輻輳角を示す情報）を判定部１２８へ出力する。

キャリブレーション部１２５は、観察者が立体視を行うことができる限界の視差量を示す限界視差量を決定するキャリブレーション処理を行う。本実施形態では、キャリブレーション部１２５は、認証部１２３により、記憶部１２２に登録された１以上の顔特徴情報の中に、撮影画像に含まれる顔画像を特定可能な顔特徴情報が存在しないと判断された場合、その撮影画像に含まれる顔画像に対応する未登録の観察者の限界視差量を決定するキャリブレーション処理を行う。そして、キャリブレーション部１２５は、キャリブレーション処理により得られた限界視差量を、未登録の観察者の顔画像を特定可能な顔特徴情報に対応付けて記憶部１２２に登録する。このとき、記憶部１２２には、当該観察者を識別するＩＤと、顔特徴情報と、限界視差量とが対応付けて記憶され、当該観察者が初めて認証された後に、後述の視差量制御部１２７による制御の対象となる視差量を示す制御視差量が、当該観察者に対応付けられて登録される。この内容については後述する。以下、キャリブレーション部１２５の具体的な内容を説明する。

図６は、キャリブレーション部１２５の詳細な機能構成例を示すブロック図である。図６に示すように、キャリブレーション部１２５は、受付部１３０と、第１特定部１３１と、第２特定部１３２と、決定部１３３とを有する。受付部１３０は、キャリブレーション処理に用いられるリモコン（不図示）の操作による入力を受け付ける。

第１特定部１３１は、立体画像を観察する観察者が融像できなくなったときの視差量を示す融象限界の計測に用いるテスト画像の視差量を変化させて、観察者の融像限界を特定する制御を行う。より具体的には、第１特定部１３１は、テスト画像の視差量を増加させていき、テスト画像を観察する観察者が融像できなくなったときのテスト画像の視差量を、当該観察者の融像限界として特定する制御を行う。この例では、融像限界の特定は、飛び出し側および奥行き側のそれぞれについて行われる。本実施形態では、第１特定部１３１は、図７のような縦長の棒状の画像を示すテスト画像を表示部１０１に表示する制御を行い、２Ｄ表示（２次元表示）の状態から徐々に視差を与えていき（視差量を増加させていき）、テスト画像を観察している観察者（キャリブレーション処理の対象となる観察者）に対して、融像できない場合は、リモコンのボタンを押すことを指示する画像または音声を出力する制御を行う。第１特定部１３１は、テスト画像の視差量を増加させる制御を行っている際に、リモコンのボタン操作による入力を受付部１３０で受け付けた場合、その入力を受け付けた時点のテスト画像の視差量を、融像限界として特定する。

また、このとき、計測部１２４が、第１取得部１２１により取得された撮影画像から、キャリブレーション処理の対象となる観察者の顔画像を抽出し、抽出した顔画像を用いて、当該観察者の輻輳角を計測する処理を所定の周期で繰り返し実行する形態であってもよい。第１特定部１３１は、テスト画像の視差量に対応する視差角と、計測部１２４により計測された輻輳角との差分の絶対値が閾値以上の場合（明らかに輻輳位置がずれている場合）や、一方の片眼の挙動が、他方の片眼と異なる位置に推移することを示す場合は、リモコンのボタン操作に関わらず、その時点のテスト画像の視差量を、融像限界として特定することもできる。

第２特定部１３２は、観察者（キャリブレーション処理の対象となる観察者）に対して、輻輳角が増大していくように視点を向けさせる制御を行い、観察者が両眼を寄せることができる限界の輻輳角を示す輻輳近点を特定する制御を行う。本実施形態では、第２特定部１３２は、観察者に対して、手を伸ばした状態で指を凝視することを指示する画像または音声を出力する制御を行った後、徐々に指を鼻に近づけることを指示する画像または音声を出力する制御を行う。同時に、第２特定部１３２は、観察者に対して、指が二重に見えた時点でリモコンのボタンを押すことを指示する画像または音声を出力する制御を行う。

また、このとき、計測部１２４は、第１取得部１２１により取得された撮影画像から、キャリブレーション処理の対象となる観察者の顔画像を抽出し、抽出した顔画像を用いて、当該観察者の輻輳角を計測する処理を所定の周期で繰り返し実行する。第２特定部１３２は、リモコンのボタン操作による入力を受付部１３０で受け付けた場合、その入力を受け付けた時点で計測部１２４により計測された輻輳角を、輻輳近点として特定することもできる。また、例えば、一方の片眼の挙動が、他方の片眼と異なる位置に推移することを示す場合は、リモコンのボタン操作に関わらず、その時点で計測部１２４により計測された輻輳角を、輻輳近点として特定することもできる。

決定部１３３は、第１特定部１３１により特定された融像限界と、第２特定部１３２により特定された輻輳近点とに基づいて、限界視差量を決定する。本実施形態では、決定部１３３は、第１特定部１３１により特定された融像限界の８割以下で、かつ、立体画像の最大飛び出し量が、第２特定部１３２により特定された輻輳近点の１／２以下の視差角に対応する値となるように、限界視差量を決定する。また、例えば決定部１３３は、所定期間（例えば１０分間）の平均視差量が融像限界の１／２以下であることを、視差量制御の条件として決定（設定）することもできる。

再び図５に戻って説明を続ける。第２取得部１２６は、入力画像を取得する。視差量制御部１２７は、立体画像の視差量を可変に制御する。ここでは、認証部１２３による認証が行われる前においては、視差量制御部１２７は、予め設定された入力画像の視差量を示す入力視差量に基づいて立体画像（デフォルトの立体画像と呼ぶ）を生成し、生成した立体画像を表示部１０１に表示する制御を行う。より具体的には、例えば視差量制御部１２７は、入力画像の各画素の奥行き値を表すデプス値と、予め設定された視点の位置（仮想的な視点位置）と、予め設定された飛び出し量（あるいは奥行き量）とに基づいて、各画素の視差量を算出する。そして、視差量制御部１２７は、入力画像の各画素を、算出した視差量（予め設定された視差量）に応じて水平方向にシフトさせることで、多視点の視差画像を生成し、生成した多視点の視差画像に基づいて立体画像を生成する。なお、入力画像は、１台のカメラで撮影された単眼画像であってもよいし、２台のカメラで撮影されたステレオ画像（左眼用画像と右眼用画像）であってもよい。以上の内容は、公知の技術であるため、詳細な説明については省略する。

一方、例えば認証部１２３により、ある観察者が初めて認証された場合（例えばキャリブレーション処理の直後に認証された場合など）、視差量制御部１２７は、当該観察者に対応する限界視差量を記憶部１２２から読み出し、読み出した限界視差量と入力視差量とを比較する。限界視差量が入力視差量の上限値よりも大きい場合は、その入力視差量の上限値を、制御の対象となる視差量を示す制御視差量として当該観察者に対応付けて記憶部１２２に登録する。そして、視差量制御部１２７は、当該観察者に対応付けられた制御視差量（入力視差量の上限値と同じ視差量）と入力画像とに基づいて立体画像を生成（この場合、デフォルトの立体画像を生成）し、生成した立体画像を表示部１０１に表示する制御を行う。

また、視差量制御部１２７は、限界視差量が入力視差量の上限値よりも小さい場合は、その限界視差量を、制御視差量として当該観察者に対応付けて記憶部１２２に登録する。そして、視差量制御部１２７は、当該観察者に対応付けられた制御視差量（限界視差量と同じ視差量）と入力画像とに基づいて立体画像を生成し、生成した立体画像を表示部１０１に表示する制御を行う。したがって、この場合、表示部１０１に表示される立体画像の視差量は、当該観察者の限界視差量以内に制御される。

すなわち、視差量制御部１２７は、認証部１２３により認証された観察者に対応付けられた制御視差量と入力画像とに基づいて立体画像を生成し、生成した立体画像を表示部１０１に表示する制御を行う。

図５に示す判定部１２８は、計測部１２４により計測された輻輳角に応じて、観察者が疲労しているか否かを判定する。より具体的には、判定部１２８は、計測部１２４により計測された輻輳角と、立体画像の視差量に対応する視差角との差分が第１基準値以上の場合、または、計測部１２４により計測された輻輳角のゆらぎの変動幅が第２基準値以上の場合は、観察者が疲労していると判定する。以下、具体的な内容を説明する。

図８は、立体画像の飛び出し量と視差量の関係を説明するための模式図である。図８の例では、観察者が、表示部１０１の表示面（画像が表示される領域）を観察している様子を、天井方向から見た場合を想定している。図８に示すｚ軸方向は奥行き方向を示し、ｚ＝０の位置を表示面とする。また、図８に示すｘ軸方向は、ｚ軸方向に直交し、かつ、表示面に平行な方向を示す。図８に示す点Ｂは観察者の左眼（ある１つの視点）の位置を示し、図８に示す点Ｃは観察者の右眼（別の視点）の位置を示している。また、図８に示す点Ａは、飛び出し位置Ｚａに位置していると観察者に知覚させたい対象物の仮想的な位置を示している。また、図８に示す点Ｄは、左眼に入射する視差画像における対象物の表示位置を表し、図８に示す点Ｅは、右眼に入射する視差画像における対象物の表示位置を表している。つまり、図８の例では、線分ＤＥの長さｄが、視差量に相当する。

図８の例では、視差量ｄに対応する視差角はα、視差量ｄに対応する飛び出し量はＺａで表される。ここでは、観察者が健常な状態（疲労していない状態）であれば、計測部１２４により計測される観察者の輻輳角は、視差角αと一致するものとする。このとき、右眼と左眼とは表示面の手前側を見ている状態（近くを見ている状態）となり、眼の調節筋が緊張した状態となる。このため、この状態が継続すると、観察者の眼が疲れてきて、両眼の視線方向が、眼の調節筋を緩和させる方向を向くようになる（つまり、より遠くの方を見るようになる）。したがって、観察者の輻輳角はαよりも小さい角度に変化していき、飛び出し量Ｚａの立体画像を視認するのが困難になっていくことが想定される。

本実施形態では、以上の点に着目し、判定部１２８は、計測部１２４により計測された輻輳角が、認証部１２３により認証された観察者に対応付けられた制御視差量（立体画像の視差量の上限値）に対応する視差角の１／３以下になった場合は、当該観察者（認証された観察者）が疲労していると判定する。なお、これに限られるものではなく、観察者が疲労しているか否かを判定するための上記第１基準値は、任意に設定可能である。

また、本実施形態では、立体画像を観察する観察者の眼が疲れてくると、当該観察者の輻輳角のゆらぎの変動幅が大きくなってくることに着目し、判定部１２８は、計測部１２４により計測された輻輳角のゆらぎの変動幅が第２基準値以上の場合は、観察者が疲労していると判定する。この例では、判定部１２８は、計測部１２４により計測された輻輳角（そのときの視差角であると捉えることもできる）に対応する飛び出し量（奥行き量でもよい）の変動幅が、予め設定された飛び出し量（例えば図８に示すＺａ、予め設定された奥行き量でもよい）の２／３以上で、周波数が０．０５〜９Ｈｚとなる振動が１０秒以上継続する場合は、認証部１２３により認証された観察者が疲労していると判断する。なお、これに限られるものではなく、例えば判定部１２８は、計測部１２４により計測された輻輳角のバラツキを示す分散が閾値以上の場合は、認証部１２３により認証された観察者が疲労していると判定することもできる。要するに、観察者が疲労しているか否かを判定するための上記第２基準値は任意に設定可能である。

ここで、前述の視差量制御部１２７は、判定部１２８によって観察者が疲労していると判定された場合、立体画像の視差量を低減する制御を行う。本実施形態では、視差量制御部１２７は、判定部１２８によって、認証部１２３により認証された観察者が疲労していると判定された場合、当該観察者に対応付けられた制御視差量（立体画像の視差量の上限値）を、現在の２／３の値に低減する。つまり、記憶部１２２に登録された、当該観察者に対応付けられた制御視差量は、現在の２／３の値に更新される。なお、これに限られるものではなく、制御視差量の低減量は任意に変更可能である。そして、視差量制御部１２７は、低減後の視差量と、入力画像とに基づいて立体画像を生成し、生成した立体画像を表示する制御を行う。これにより、飛び出し量（あるいは奥行き量）が直前の立体画像よりも抑制されるので、３Ｄ効果が低減された立体画像を表示部１０１に表示することができる。

例えばこのとき、視差量制御部１２７は、「３Ｄ映像による眼の疲れが診られます。３Ｄ効果を抑制して表示します」などといったメッセージを表示部１０１に表示する制御を行うことで、３Ｄ効果が低減されることを観察者に報知することができる。また、例えば視差量制御部１２７は、上記メッセージを音声出力することで、３Ｄ効果が低減されることを観察者に報知することもできる。

また、本実施形態では、視差量制御部１２７により低減された後の視差量が入力視差量を下回る量が第３基準値以上である場合、キャリブレーション部１２５は、再びキャリブレーション処理を行い、キャリブレーション処理により得られた限界視差量を、最新の制御視差量として、認証された観察者に対応付けて記憶部１２２に登録する。より具体的には、低減後の視差量が、入力視差量の１／１０以下になった場合は、視差量制御部１２７は、その旨をキャリブレーション部１２５へ通知する。この通知を受けたキャリブレーション部１２５は、再度、認証された観察者の限界視差量を決定するキャリブレーション処理を行い、キャリブレーション処理により得られた限界視差量を、最新の制御視差量として、当該観察者に対応付けて記憶部１２２に登録する制御を行う。そして、視差量制御部１２７は、当該観察者に対応付けられた最新の制御視差量（再度のキャリブレーション処理により得られた限界視差量）と入力画像とに基づいて立体画像を生成し、生成した立体画像を表示部１０１に表示する制御を行う。これにより、表示部１０１に表示される立体画像の視差量は、再度のキャリブレーション処理により得られた限界視差量以内に制御される。なお、キャリブレーション処理をやり直すか否かを判定するための上記第３基準値は任意に設定可能である。

また、本実施形態では、認証された観察者に対して、再度キャリブレーション処理を行う場合は、輻輳近点を特定する処理を省略し、決定部１３３は、第１特定部１３１により特定された融像限界を、限界視差量として決定するが、これに限られるものではない。例えば１回目のキャリブレーション処理（認証されていないときのキャリブレーション処理）と同様に、融像限界および輻輳近点を特定し、それらに基づいて限界視差量を決定することもできる。

次に、本実施形態に係る立体画像表示装置１の動作例を説明する。図９は、認証部１２３により、ある観察者が初めて認証されるときの立体画像表示装置１の動作例を示すフローチャートである。この例では、認証部１２３による認証が行われる前においては、表示部１０１にはデフォルトの立体画像が表示されており、記憶部１２２には、当該観察者に対応付けられた制御視差量は登録されていないことを前提とする。図９に示すように、まず、認証部１２３は、第１取得部１２１により取得された撮影画像から、観察者の顔画像を抽出する（ステップＳ１）。次に、認証部１２３は、記憶部１２２に登録されている１以上の顔特徴情報の中に、抽出した顔画像を特定可能な顔特徴情報が存在するか否かを判断する（ステップＳ２）。

上述のステップＳ２において、認証部１２３は、記憶部１２２に登録されている１以上の顔特徴情報の中に、抽出した顔画像を特定可能な顔特徴情報が存在しないと判断した場合（ステップＳ２：ＮＯ）、その旨をキャリブレーション部１２５へ通知する。そして、キャリブレーション部１２５は、前述のキャリブレーション処理を実行し（ステップＳ３）、キャリブレーション処理により得られた限界視差量を、抽出した顔画像（未登録の観察者の顔画像）を特定可能な顔特徴情報に対応付けて記憶部１２２に登録する。これにより、ステップＳ１で抽出された顔画像に対応する観察者は、認証部１２３により認証される。図９の例では、ステップＳ３の後、前述のステップＳ２以降の処理を繰り返す。

前述のステップＳ２において、認証部１２３が記憶部１２２に登録されている１以上の顔特徴情報の中に、抽出した顔画像を特定可能な顔特徴情報が存在すると判断した場合（ステップＳ２：ＹＥＳ）、認証部１２３は、抽出した顔画像を特定可能な顔特徴情報に対応する観察者を、判定部１２８による判定の対象として認証する（ステップＳ４）。

次に、視差量制御部１２７は、認証部１２３により認証された観察者に対応する限界視差量を記憶部１２２から読み出し、読み出した限界視差量と入力視差量の比較結果に応じて、制御視差量を決定する（ステップＳ５）。前述したように、視差量制御部１２７は、認証された観察者に対応する限界視差量が入力視差量の上限値よりも大きい場合は、その入力視差量の上限値を、制御視差量として当該観察者に対応付けて記憶部１２２に登録する。一方、限界視差量が入力視差量の上限値よりも小さい場合は、その限界視差量を、制御視差量として当該観察者に対応付けて記憶部１２２に登録する。そして、視差量制御部１２７は、当該観察者に対応付けられた制御視差量と入力画像とに基づいて立体画像を生成し、生成した立体画像を表示部１０１に表示する制御を行う（ステップＳ６）。

次に、ある観察者の初めての認証が行われた後の立体画像表示装置１の動作例を説明する。図１０は、ある観察者の初めての認証が行われた後の立体画像表示装置１の動作例を示すフローチャートである。

図１０に示すように、計測部１２４は、認証された観察者の輻輳角を計測し（ステップＳ１０）、計測結果を示す情報を判定部１２８へ出力する。次に、判定部１２８は、計測部１２４により計測された輻輳角と、認証された観察者に対応付けられた制御視差量に対応する視差角との差分が第１基準値以上であるか否かを判定する（ステップＳ１１）。前述したように、本実施形態では、判定部１２８は、計測部１２４により計測された輻輳角が、認証された観察者に対応付けられた制御視差量に対応する視差角の１／３以下であるか否かを判定する。

前述のステップＳ１１において、判定部１２８は、計測部１２４により計測された輻輳角と、認証された観察者に対応付けられた制御視差量に対応する視差角との差分が第１基準値以上ではないと判定した場合（ステップＳ１１：ＮＯ）、計測部１２４により計測された輻輳角のゆらぎの変動幅が第２基準値以上であるか否かを判定する（ステップＳ１２）。前述したように、本実施形態では、判定部１２８は、計測部１２４により計測された輻輳角（そのときの視差角）に対応する飛び出し量の変動幅（振幅）が、予め設定された飛び出し量の２／３以上で、周波数が０．０５〜９Ｈｚである振動が１０秒以上継続する場合は、観察者が疲労していると判断する。

前述のステップＳ１２において、判定部１２８が、計測部１２４により計測された輻輳角のゆらぎの変動幅が第２基準値以上ではないと判定した場合（ステップＳ１２：ＮＯ）、処理は終了する。つまり、この場合は、認証された観察者は疲労していないと判断され、当該観察者に対応付けられた制御視差量を低減する制御（立体画像の視差量を低減する制御）は行われない。

一方、前述のステップＳ１１において、計測部１２４により計測された輻輳角と、認証された観察者に対応付けられた制御視差量に対応する視差角との差分が第１基準値以上であると判定した場合（ステップＳ１１：ＹＥＳ）、または、前述のステップＳ１２において、計測部１２４により計測された輻輳角のゆらぎの変動幅が第２基準値以上であると判定した場合（ステップＳ１２：ＹＥＳ）、判定部１２８は、現在の観察者の状態が、異常な状態（健常な状態ではない状態）であることを示す異常モードになっていると判定し、異常モードが所定期間継続しているか否かを判断する（ステップＳ１３）。

前述のステップＳ１３において、異常モードが所定期間継続していないと判断された場合（ステップＳ１３：ＮＯ）、前述のステップＳ１０以降の処理が繰り返される。また、前述のステップＳ１３において、異常モードが所定期間継続したと判断された場合（ステップＳ１３：ＹＥＳ）、視差量制御部１２７は、現在の観察者の状態が、危険な状態（３Ｄ効果を弱める必要がある状態）であることを示す危険モードになっていると判定し、立体画像の視差量を低減する制御を行う（ステップＳ１４）。前述したように、本実施形態では、視差量制御部１２７は、認証された観察者に対応付けられた制御視差量を、現在の２／３の値に低減する制御を行う。

次に、視差量制御部１２７は、低減後の視差量が入力視差量を下回る量が第３基準値以上であるか否かを判断する（ステップＳ１５）。前述したように、本実施形態では、視差量制御部１２７は、低減後の視差量が入力視差量の１／１０以下であるか否かを判断する。低減後の視差量が入力視差量を下回る量が第３基準値以上ではないと判断した場合（ステップＳ１５：ＮＯ）、視差量制御部１２７は、低減後の視差量と、入力画像とに基づいて立体画像を生成し、生成した立体画像を表示する制御を行う（ステップＳ１６）。

一方、前述のステップＳ１５において、低減後の視差量が入力視差量を下回る量が第３基準値以上であると判断された場合（ステップＳ１５：ＹＥＳ）、キャリブレーション部１２５は、再度、キャリブレーション処理を行う（ステップＳ１７）。前述したように、本実施形態では、キャリブレーション部１２５は、認証された観察者の限界視差量を決定するキャリブレーション処理を行い、キャリブレーション処理により得られた限界視差量を、最新の制御視差量として、当該観察者に対応付けて記憶部１２２に登録する制御を行う。そして、視差量制御部１２７は、当該観察者に対応付けられた最新の制御視差量（再度のキャリブレーション処理により得られた限界視差量）と入力画像とに基づいて立体画像を生成し、生成した立体画像を表示部１０１に表示する制御を行う（ステップＳ１８）。

以上に説明したように、本実施形態では、撮影画像に映り込んだ観察者の輻輳角を計測し、その計測した輻輳角に応じて、観察者が疲労しているか否かを判定するので、接触型のセンサーを視聴者に取り付ける必要が無い上、映像コンテンツの内容に依存することなく、観察者が疲労しているか否かを判定できるという有利な効果を奏する。

より具体的には、本実施形態では、立体視を行っている観察者の眼が疲れてくると、両眼の視線方向が、眼の調節筋を緩和させる方向を向く（より遠くの方を見るようになる）、または、輻輳角のゆらぎの変動幅が大きくなってくることに着目し、撮影画像に基づいて計測された観察者の輻輳角と、立体画像の視差量に対応する視差角（認証された観察者に対応付けられた制御視差量に対応する視差角）との差分が第１基準値以上の場合、または、撮影画像に基づいて計測された観察者の輻輳角のゆらぎの変動幅が第２基準値以上の場合は、観察者が疲労していると判定する。これにより、簡易な構成、かつ、高い精度で、立体画像を観察する観察者が疲労しているか否かを判定することができる。

また、本実施形態では、立体画像を観察する観察者が疲労していると判定した場合は、当該観察者に対応付けられた制御視差量（立体画像の視差量）を低減し、飛び出し量（あるいは奥行き量でもよい）を元の映像より抑制することで、３Ｄ効果が緩和された立体映像を提供する。つまり、眼の疲労を生じにくい映像を提供することができる。すなわち、本実施形態によれば、立体視が得意な者から不得意な者まで、各観察者に適した立体画像（観察者が疲れにくく、かつ、臨場感は維持された立体画像）を提供することができる。

なお、上述の実施形態の画像処理部１２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを含んだハードウェア構成となっている。上述した各部（第１取得部１２１、記憶部１２２、認証部１２３、計測部１２４、キャリブレーション部１２５、第２取得部１２６、視差量制御部１２７、判定部１２８）の機能は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、上述した各部の機能のうちの少なくとも一部を専用のハードウェア回路で実現することもできる。

また、上述の実施形態の画像処理部１２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の実施形態の画像処理部１２０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の実施形態の画像処理部１２０で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

（変形例）
以下、変形例を説明する。

（１）変形例１
例えば、立体画像を観察中の観察者が、３Ｄ効果を強める３Ｄ拡大モードを選択できる形態であってもよい。例えば観察者は、前述のリモコンを操作することで、３Ｄ拡大モードを選択することができる。そして、３Ｄ拡大モードが選択された場合、視差量制御部１２７は、立体画像の視差量（観察者に対応付けられた制御視差量）を、その直前の１．５倍まで拡大する制御を行うことができる。なお、３Ｄ拡大モードが選択される前に、前述の危険モードであると判定され、立体画像の視差量を低減する制御が行われた後であっても、観察者は、３Ｄ拡大モードを選択できる形態であってもよい。ただし、３Ｄ拡大モードが選択された後においても、上述の実施形態と同様に、認証された観察者の輻輳角に応じて立体画像の視差量を制御する処理は行われる。

なお、３Ｄ拡大モードが選択された後に、危険モードであると判定された場合には、まず同一視差量のまま奥行き側に映像をシフトさせ、観察者の輻輳角をモニターする形態であってもよい。例えば表示部１０１の表示面の中央を原点（基準点）に設定し、その原点を通る表示面の法線方向をｚ軸、ｚ軸方向の正側（表示面よりも手前側）を飛び出し側、ｚ軸方向の負側（表示面よりも奥側）を奥行き側とし、視差量制御部１２７は、同一視差量のまま、飛び出し量と奥行き量との比率が３：７になるように、シフト量を制御することもできる。奥行き側に映像をシフトさせても、危険モードであると判定された場合は、視差量制御部１２７は、飛び出し量と奥行き量との比率を正規の比率に戻して、視差量を低減する制御を行うという形態であってもよい。

同様に、上述の実施形態においても、危険モードであると判定された場合は、立体画像の視差量を低減する前に、まず同一視差量のまま奥行き側に映像をシフトさせ、観察者の輻輳角をモニターする形態であってもよい。

（２）変形例２
以上においては、裸眼式の立体画像表示装置を例に挙げて説明したが、これに限らず、例えば眼鏡式の立体画像表示装置にも本実施形態を適用することができる。図１１は、観察者が、眼鏡式の立体画像表示装置２の表示部２００に表示される立体画像を観察する様子を示す概念図である。この場合、観察者の輻輳角を正確に計測するためには、例えば図１１に示すように、眼鏡１０２のレンズのうち内側の領域（観察者側の領域）にカメラ１１２が配置される形態であることが好ましい。眼鏡１０２を掛けた状態で観察者の顔が撮影された場合、レンズでの光の反射の影響を受けることにより、瞳の位置と向きを精度良く検出できないおそれがあるためである。

また、前述のキャリブレーション処理において、第２特定部１３２は、観察者に対して、手を伸ばした状態で眼鏡１０２の所定の位置を見ることを指示する制御を行った後、徐々に眼鏡１０２を持った手を顔の方に近づけていくことを指示する制御を行い、同時に、観察者に対して、所定の位置（眼鏡１０２）が二重に見えた時点でリモコンのボタンを押すことを指示する制御を行うこともできる。この場合も、上述の実施形態と同様に、計測部１２４は、観察者の輻輳角を計測する処理を所定の周期で繰り返し実行し、第２特定部１３２は、リモコンのボタン操作による入力を受付部１３０で受け付けた場合、その入力を受け付けた時点で計測部１２４により計測された輻輳角を、輻輳近点として特定することもできる。

（３）変形例３
なお、上述の実施形態では、ひとりの観察者のみが認証される例を挙げて説明したが、これに限らず、例えば複数の観察者が認証される形態であってもよい。この場合、キャリブレーション処理は、観察者ごとに個別に行われてもよい。また、例えば複数のリモコンが用意されていて、全員のキャリブレーション処理が同時に行われてもよい。

例えば眼鏡式の立体画像表示装置において、複数の観察者が認証された場合は、認証された複数の観察者と１対１に対応する複数の制御視差量のうち、最小の制御視差量が視差量制御部１２７による制御の対象となる。また、例えばＩＩ方式の立体画像表示装置のように、視域内の観察者が位置する領域に応じて視差量を可変に制御可能な場合は、当該領域内に存在する観察者に対応する制御視差量が、視差量制御部１２７による制御の対象となる。例えばある領域内に、認証された複数の観察者が存在する場合は、その認証された複数の観察者と１対１に対応する複数の制御視差量のうち、最小の制御視差量が視差量制御部１２７による制御の対象となる。

（４）変形例４
例えば認証されていた観察者が、立体画像の観察を中断してカメラ１１１の撮影範囲外の領域に移動し（観察位置を離れ）、所定時間経過後に、再び観察位置に戻って立体画像の観察を行うような場合には、視差量制御部１２７は、当該観察者が観察位置を離れる直前の制御視差量（当該観察者に対応付けられた制御視差量）を制御対象としてもよい。また、例えば認証された観察者が、カメラ１１１の撮影範囲外の領域に移動した時点（認証されなくなった時点）、または、認証されなくなってから所定時間経過した時点で、当該観察者が観察位置を離れる直前の制御視差量（当該観察者に対応付けられた制御視差量）が破棄される形態であってもよい。この形態では、当該観察者が再び観察位置に戻ってきた場合は、視差量制御部１２７は、当該観察者に対応する限界視差量を記憶部１２２から読み出し、読み出した限界視差量と入力視差量の比較結果に応じて、制御視差量を決定し、決定した制御視差量を、認証された観察者に対応付けて記憶部１２２に登録する制御を行う。以降の処理は、上述の実施形態と同様である。

（５）変形例５
上述の本実施形態では、光線制御部２０は、その光学的開口部の延伸方向が、表示パネル１０の第２方向（列方向）に一致するように配置される構成（いわゆる垂直レンズ）であるが、これに限らず、例えば光線制御部２０は、その光学的開口部の延伸方向が表示パネル１０の第２方向（列方向）に対して、所定の傾きを有するように配置される構成（いわゆる斜めレンズ）であってもよい。

（６）変形例６
上述の実施形態では、観察者の輻輳角に応じて、当該観察者が疲労しているか否かを判定しているが、例えば観察者の眼の調節位置（視距離）に応じて、当該観察者が疲労しているか否かを判定し、当該観察者が疲労していると判定した場合は、立体画像の視差量を低減する制御を行うこともできる。この場合、赤外線カメラなどで撮影された画像に映り込んだ観察者の顔画像から、当該観察者の眼の調節反応を計測することにより、当該観察者の眼の調節位置を測定することができる。そして、測定された調節位置と、立体画像の飛び出し位置（または奥行き位置）との差分が閾値以上の場合は、観察者が疲労していると判定することができる。例えば測定された調節位置が、立体画像の視差に相当する飛び出し位置（または奥行き位置）に対して、２倍以上の視差に相当する位置である場合は、観察者が疲労していると判定することもできる。

また、測定された調節位置のゆらぎの変動幅が閾値以上の場合は、観察者が疲労していると判定することもできる。例えば上述の輻輳角の場合と同様に、測定された調節位置の変動幅が、立体画像の飛び出し量（または奥行き量）の２／３以上で、周波数が０．０５〜９Ｈｚとなる振動が１０秒以上継続する場合は、観察者が疲労していると判断することもできる。

（７）変形例７
上述のテスト画像は、図７のような縦長の棒状の画像に限られるものではなく、例えば図１２に示す「＊」のようなマークの画像であってもよい。要するに、テスト画像は、キャリブレーション処理の対象となる観察者が、注視し易い態様であればよい。なお、以上の実施形態および変形例は任意に組み合わせることが可能である。

１ 立体画像表示装置
１０ 表示パネル
２０ 光線制御部
１０１ 表示部
１２０ 画像処理部
１２１ 第１取得部
１２２ 記憶部
１２３ 認証部
１２４ 計測部
１２５ キャリブレーション部
１２６ 第２取得部
１２７ 視差量制御部
１２８ 判定部
１３０ 受付部
１３１ 第１特定部
１３２ 第２特定部
１３３ 決定部

Claims (10)

1. 立体画像を表示する表示部と、
   前記立体画像の観察位置を含む空間を撮影した撮影画像を取得する第１取得部と、
   前記第１取得部により取得された前記撮影画像に映り込んだ観察者の輻輳角を計測する計測部と、
   前記計測部により計測された前記輻輳角に応じて、前記観察者が疲労しているか否かを判定する判定部と、
   前記判定部により前記観察者が疲労していると判定された場合、前記立体画像の視差量を低減する制御を行う視差量制御部と、を備える、
   立体画像表示装置。
2. 前記判定部は、前記立体画像の視差量に対応する視差角と、前記計測部により計測された前記輻輳角との差分が第１基準値以上の場合は、前記観察者が疲労していると判断する、
   請求項１に記載の立体画像表示装置。
3. 前記判定部は、前記計測部により計測された前記輻輳角のゆらぎの変動幅が第２基準値以上の場合は、前記観察者が疲労していると判定する、
   請求項１または請求項２に記載の立体画像表示装置。
4. 前記観察者ごとに、顔画像を特定可能な顔特徴情報と、前記観察者が立体視を行うことができる限界の前記視差量を示す限界視差量とを対応付けて記憶する記憶部と、
   前記撮影画像に含まれる顔画像を抽出し、前記記憶部に登録された１以上の前記顔特徴情報の中に、その抽出した顔画像を特定可能な前記顔特徴情報が存在するか否かを判断し、その抽出した顔画像を特定可能な前記顔特徴情報に対応する前記観察者を、前記判定部による判定の対象として認証する認証部と、
   前記限界視差量を決定するキャリブレーション処理を行うキャリブレーション部と、を備え、
   前記キャリブレーション部は、
   前記認証部によって、前記記憶部に登録された１以上の前記顔特徴情報の中に、前記撮影画像に含まれる顔画像を特定可能な前記顔特徴情報が存在しないと判断された場合、前記撮影画像に含まれる顔画像に対応する未登録の前記観察者の前記限界視差量を決定する前記キャリブレーション処理を行い、
   前記キャリブレーション処理により得られた前記限界視差量を、未登録の前記観察者の顔画像を特定可能な前記顔特徴情報に対応付けて前記記憶部に登録する、
   請求項１に記載の立体画像表示装置。
5. 入力画像を取得する第２取得部を備え、
   前記視差量制御部は、
   前記認証部により認証された前記観察者に対応する前記限界視差量が、予め設定された前記入力画像の視差量を示す入力視差量よりも大きい場合は、前記入力視差量を、制御の対象となる前記視差量を示す制御視差量として、当該観察者に対応付けて前記記憶部に登録する一方、当該観察者に対応する前記限界視差量が、前記入力視差量よりも小さい場合は、前記限界視差量を、前記制御視差量として当該観察者に対応付けて前記記憶部に登録する、
   請求項４に記載の立体画像表示装置。
6. 前記視差量制御部は、前記認証部により認証された前記観察者に対応付けられた前記制御視差量と、前記入力画像とに基づいて前記立体画像を生成し、生成した前記立体画像を前記表示部に表示する制御を行う、
   請求項５に記載の立体画像表示装置。
7. 前記計測部は、前記撮影画像から、前記認証部により認証された前記観察者の顔画像を抽出し、抽出した顔画像を用いて前記輻輳角を計測し、
   前記判定部は、前記計測部により計測された前記輻輳角に応じて、前記認証部により認証された前記観察者が疲労しているか否かを判定し、
   前記視差量制御部は、前記判定部によって、前記認証部により認証された前記観察者が疲労していると判定された場合、当該観察者に対応付けられた前記制御視差量を低減する制御を行う、
   請求項６に記載の立体画像表示装置。
8. 低減後の視差量が前記入力視差量を下回る量が第３基準値以上である場合、前記キャリブレーション部は、再び前記キャリブレーション処理を行い、当該キャリブレーション処理により得られた前記限界視差量を、最新の前記制御視差量として、前記認証部により認証された前記観察者に対応付けて前記記憶部に登録する、
   請求項７に記載の立体画像表示装置。
9. 前記キャリブレーション部は、
   前記立体画像を観察する前記観察者が融像できなくなったときの視差量を示す融象限界の計測に用いるテスト画像の視差量を変化させて、前記観察者の前記融像限界を特定する制御を行う第１特定部と、
   前記観察者に対して、前記輻輳角が増大していくように視点を向けさせる制御を行い、前記観察者が両眼を寄せることができる限界の前記輻輳角を示す輻輳近点を特定する制御を行う第２特定部と、
   前記第１特定部により特定された前記融像限界と、前記第２特定部により特定された前記輻輳近点とに基づいて前記限界視差量を決定する決定部と、を備える、
   請求項４に記載の立体画像表示装置。
10. 前記第１特定部は、前記テスト画像の視差量を増加させていき、前記テスト画像を観察する前記観察者が融像できなくなったときの前記テスト画像の視差量を、当該観察者の前記融像限界として特定する制御を行う、
    請求項９に記載の立体画像表示装置。

Images