JP2005031480A

JP2005031480A - 撮像機能具備型表示装置

Info

Publication number: JP2005031480A
Application number: JP2003271738A
Authority: JP
Inventors: Hideaki Kotoi; 英明小樋
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-07-08
Filing date: 2003-07-08
Publication date: 2005-02-03

Abstract

【課題】テレビ電話やテレビ会議システムなどの双方向映像通信システムに好適に用いられる撮像機能具備型表示装置を提供する。
【解決手段】本発明による撮像機能具備型表示装置は、マトリクス状に配列された複数の画素領域１１、１２、１３を有し、複数の画素領域１１、１２、１３のそれぞれにおいて、表示を行う表示部１０ａと、撮像を行う少なくとも１つの撮像部１０ｂとを有する。表示部１０ａによる表示と、撮像部１０ｂによる撮像とが所定のタイミングで交互に切り替えて行われる。
【選択図】図１

Description

本発明は、表示装置に関し、特に、撮像機能を具備する表示装置に関する。

近年、通信技術の発達に伴い、音声のみならず画像のやり取りをリアルタイムに行えるテレビ電話やテレビ会議システムが普及しつつある。また、携帯電話や携帯情報端末、無線通信技術の急速な進歩により、上記のようなテレビ電話機能を備えた携帯型の電子機器も普及し始めており、これらの普及はほぼ確実な状況である。

現在、このような機器やシステムとしては、表示装置（ディスプレイ）の横に撮像機能を担うカメラを配置した構成が一般的である。しかし、この構成では、カメラが話者の視線上に位置しないので、話者間で視線の不一致が生じてしまう。そのため、臨場感の欠如や違和感の発生が話者に不快感を与え、また、音声のみならず画像をもやり取りして深く意思を疎通させ、そのことによって正確な情報の伝達を行うという本来の目的が十分には達成されない。

話者間での視線の不一致という問題を、特許文献１や特許文献２のように機械的な手段や光学的な手段で解決しようとする試みがなされている。

特許文献１では、ディスプレイの横にカメラを設置するのではなく、透明な保持部材を使ってディスプレイの前面にカメラを設置するという極めて簡単な方式で問題の解決を図っている。また、特許文献２では、半透鏡をディスプレイの前面に設置することによって、話者の光学像をディスプレイの横に設置したカメラまで光路を換えて導くという方式で問題の解決を図っている。

これらの方式は、いずれも特別困難な技術を必要とせず、必要な部材をディスプレイの前面に設置するだけで視線不一致の問題を解決することができる。しかし、これらの方式では、ディスプレイの前面に新たに部材を設置するため、表示品位が損なわれてしまい、話者に新たなストレスを与えてしまう。また、これらの方式に用いられる機械的、光学的な手段は構造的に大掛かりであるので、今後ディスプレイの主流になると予想される平面ディスプレイには適していない。

特許文献３、４および５は、平面ディスプレイを用いたテレビ電話やテレビ会議システムにおいて話者間の視線の一致を実現する方法を開示している。

特許文献３に開示されている方法では、反射型の液晶ディスプレイが備える反射板に光シャッター機能を持たせることにより、シャッターを閉じて反射板としての機能を発揮している間は反射型の液晶ディスプレイによる外光を利用した表示を行い、シャッターを開けて反射板としての機能を失くしている間はディスプレイの背面に設置したカメラで撮像を行う。光シャッター機能を有する反射板としては、調光ガラス等が用いられている。

また、特許文献４に開示されている方法では、透過型の液晶ディスプレイの背面にカメラを設置するとともに、ディスプレイとカメラとの間に光散乱状態と光透明状態とを切り替え可能な光拡散板を設置し、拡散板が光散乱状態にある期間に表示を行い、拡散板が光透過状態にある期間に撮像を行う。

そして、特許文献５に開示されている方法では、ディスプレイに光透過性の像の取り入れ部を設けることによって、ディスプレイの背面に配置した撮像装置を用いて撮像を行なう。

ところが、特許文献３、４および５に開示されている方式では、ディスプレイの背面にカメラや撮像装置を配置するので、システム全体を薄型化することが困難である。

一方、特許文献６には、ディスプレイを構成する一対の透明基板（典型的には間に液晶層が保持される）の一方上に複数の画素に対応するようにマトリクス状に複数の光電変換素子が設けられ、表示部と撮像部とが隣接した構成の装置が開示されている。この装置では、撮像部がディスプレイの内部に作りこまれているので、カメラや撮像装置を別途にディスプレイの背面に配置する必要がなく、薄型化が実現される。
特開平１１−２８４９７０号公報特許第３０５８３６７号公報特許第２８５９４１６号公報特許第３０６２２３８号公報特開２００２−３１４８９９号公報特開平７−２８０９５号公報

しかしながら、特許文献６に開示されている装置のように、表示部と撮像部とが隣接していると、表示部において表示に用いられる光が撮像部にも入射してしまう。例えば、光が液晶層や透明基板あるいはディスプレイ表面の透明膜などに進入する際に界面反射が発生し、この界面反射による光が撮像部に入射してしまう。そのため、撮像部で本来取り入れるべき光学像以外の光がノイズとして撮像部に入射し、正常な撮像動作が妨げられてしまう。また、表示部からの光による悪影響が無視できる距離、すなわち、表示部からの光が撮像部に実質的に入射しない距離だけ表示部と撮像部とを離して設けると、表示部や撮像部の配列ピッチが大きくなり、表示や撮像の高精細化が妨げられてしまう。

本発明は、上記問題に鑑みてなされたものであり、その目的は、テレビ電話やテレビ会議システムなどの双方向映像通信システムに好適に用いられる撮像機能具備型表示装置を提供することにある。

本発明による撮像機能具備型表示装置は、マトリクス状に配列された複数の画素領域を有し、前記複数の画素領域のそれぞれにおいて、表示を行う表示部と、撮像を行う少なくとも1つの撮像部とを有し、前記表示部による表示と、前記少なくとも１つの撮像部による撮像とが所定のタイミングで交互に切り替えて行われ、そのことによって上記目的が達成される。

前記所定のタイミングは、人間の目に発生する残像現象に基づいて設定されたタイミングであることが好ましい。

前記少なくとも１つの撮像部は、表示面の面内方向に沿って前記表示部に隣接していることが好ましい。

前記少なくとも１つの撮像部は、複数の撮像部であってもよい。

ある好適な実施形態において、本発明による撮像機能具備型表示装置は、前記複数の画素領域のそれぞれに設けられ、特定の波長域の光を遮る遮光層をさらに有する。

ある好適な実施形態において、前記表示部は発光素子を含む。

ある好適な実施形態において、前記表示部は光変調素子を含む。

本発明によると、テレビ電話やテレビ会議システムなどの双方向映像通信システムに好適に用いられる撮像機能具備型表示装置が提供される。

本発明による表示装置を用いると、話者間での視線を一致させることができ、臨場感にあふれた違和感のない双方向通信が可能になる。また、本発明による表示装置は薄型化に適している。さらに、本発明による表示装置は、表示部からの光による悪影響が抑制・防止された撮像が可能である。

以下、図面を参照しながら、本発明の実施形態を説明する。なお、本発明は以下の実施形態に限定されるものではない。

まず、図１および図２を参照しながら、本実施形態における撮像機能具備型表示装置（以下、単に「表示装置」と称する）１００の構成を説明する。なお、図１および図２では、表示装置１００を右上に示し、表示装置１００が有する複数の画素領域のうちの特定の画素領域の構造を中央に拡大して示している。

表示装置１００は、マトリクス状に配列された（表示面の面内方向に沿って２次元に配列された）複数の画素領域１１、１２、１３、・・・を有している。

各画素領域１１、１２、１３、・・・は、表示を行う表示部１０ａと、表示部１０ａに隣接し、撮像を行う撮像部１０ｂとを有している。撮像部１０ｂは、表示面の面内方向に沿って表示部１０ａに隣接している。

表示部１０ａには、典型的には、発光素子または光変調素子が設けられており、画素領域ごとに、発光素子から発する光の強度が所定の強度に制御されることによって、あるいは、光変調素子で光源からの光および／または周囲光が所定の状態に変調されることによって、表示が行われる。発光素子としては、例えば、有機エレクトロルミネッセンス素子、無機エレクトロルミネッセンス素子が用いられる。また、光変調素子としては、例えば、光変調層としての液晶層を含む液晶素子が用いられる。

撮像部１０ｂには、典型的には、光信号を電気信号に変換する光電変換素子が設けられており、画素領域ごとに表示装置１００の前面から入射する光の強度が光電変換素子で検知されることによって、光学像が電気的な画像データに変換され、撮像が行われる。光電変換素子としては、例えば、フォトダイオードが用いられる。

各画素領域において、表示部１０ａによる表示（表示動作）と、撮像部１０ｂによる撮像（撮像動作）とは同時には行われない。表示部１０ａによる表示と、撮像部１０ｂによる撮像とは、スイッチングコントローラ（切替制御手段）４によって所定のタイミングで交互に切り替えて行われる。なお、スイッチングコントローラ４を省略し、外部からの信号入力により表示と撮像とを切り替えてもよい。

本実施形態における表示装置１００では、後述するように、表示部１０ａによる表示と撮像部１０ｂによる撮像とは、人間の目に発生する残像現象に基づいて設定されたタイミングで交互に切り替えて行われる。このタイミングについては、後ほど詳述することとする。

また、本実施形態では、画素領域ごとに、表示部１０ａおよび撮像部１０ｂの前面に、特定の波長域の光を遮る遮光層としてのカラーフィルタ３が設けられている。なお、図１および図２では、わかりやすさのために、表示部１０ａおよび撮像部１０ｂとカラーフィルタ３とを間隔をあけて示している。カラーフィルタ３は、ここでは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタである。

カラーフィルタ３が設けられていることによって、図１に示すように、表示部１０ａからの白色光がＲ、Ｇ、Ｂの光となるので、カラー表示を行うことができる。また、カラーフィルタ３が設けられていることによって、撮像部１０ｂでＲ、Ｇ、Ｂの各光の強度を検知することができ、カラー撮像を行うことができる。なお、表示装置の用途によっては、モノクロ表示およびモノクロ撮像で十分な場合もあるので、その場合にはカラーフィルタ３を省略してもよい。

表示装置１００では、各画素領域に設けられた撮像部１０ｂで撮像を行うので、表示装置１００をテレビ電話等に用いると、話者間での視線を一致させることができ、臨場感にあふれた違和感のない双方向通信が可能になる。また、撮像部１０ｂは、各画素領域に作り込まれている（典型的には表示面の面内方向において表示部１０ａに隣接している）ので、装置の薄型化が可能になる。

次に、図３を参照しながら、表示部１０ａによる表示動作および撮像部１０ｂによる撮像動作と、これらを切り替えるタイミングとを説明する。

各画素領域において、表示動作および撮像動作は所定の期間Ｔ_frm内で一度ずつ行われる。期間Ｔ_frmは、表示が行われる表示期間Ｔ_Dと、撮像が行われる撮像期間Ｔ_Cと、表示から撮像への移行期間Ｔ_D-Cと、撮像から次フレームにおける表示への移行期間Ｔ_C-Dとから構成される。

まず、スイッチングコントローラ４から表示部１０ａにオン信号が出力されることによって、表示部１０ａは表示期間Ｔ_D中、表示が可能な状態（オン状態）とされる。また、スイッチングコントローラ４から撮像部１０ｂにオフ信号が出力されることによって、撮像部１０ｂは表示期間Ｔ_D中、撮像が不可能な待機状態（オフ状態）とされる。表示部１０ａへのオン信号の出力および撮像部１０ｂへのオフ信号の出力は、前フレームにおける撮像からこのフレームの表示への移行期間Ｔ_C-Dの終了までに行われる。表示期間Ｔ_D中、表示部１０ａは、デコーダー等から供給される表示情報に基づいた表示を行う。

次に、表示から撮像への移行期間Ｔ_D-Cの開始までにスイッチングコントローラ４から表示部１０ａにオフ信号が出力されることによって、表示部１０ａは表示が不可能な状態（オフ状態）とされる。つまり、移行期間Ｔ_D-Cの開始から次フレームの表示期間Ｔ_Dの開始までの間、表示部１０ａは表示を行わない。ただし、表示装置１００では、１単位期間Ｔ_frmのうちの表示期間Ｔ_Dを除いた期間は、表示期間Ｔ_Dでの表示による残像が人間の目に発生している残像発生期間Ｔ_eyeとなっており、観察者には表示が行われているように見える。

続いて、移行期間Ｔ_D-Cの終了までに撮像部１０ｂにオン信号が出力されることによって、撮像部１０ｂは撮像期間Ｔ_C中、撮像が可能な状態（オン状態）とされる。撮像期間Ｔ_C中、撮像部１０ｂは撮像を行って電気的な画像情報を取得し、この画像情報はエンコーダ等へ送られる。

その後、このフレームの撮像から次フレームの表示への移行期間Ｔ_C-Dが終了するまでに、撮像部１０ｂへのオフ信号の出力および表示部１０ａへのオン信号の出力が再び行われ、以降、上記の動作が繰り返し行われる。

上述したように、本発明による表示装置１００においては、表示部１０ａによる表示と、撮像部１０ｂによる撮像とが、所定のタイミング、より具体的には、人間の目に発生する残像現象に基づいて設定されたタイミングで交互に切り替えて行われる。そのため、表示部１０ａにおいて表示に用いられる光が撮像部１０ｂに入射することによる撮像への悪影響が防止される。

つまり、表示期間Ｔ_Dおよび移行期間Ｔ_D-Cでは、表示部１０ａからの光が構成部材によって反射されることがあるが、このときには撮像部１０ｂは撮像が不可能な待機状態（オフ状態）であり、一方、撮像部１０ｂが撮像可能な状態（オン状態）である撮像期間Ｔ_Cにおいては、表示部１０ａが表示不可能な状態（オフ状態）であるので、撮像部１０ｂへのノイズとしての表示光の入射が防止される。

そのため、表示装置１００では撮像を好適に行うことができる。また、表示部１０ａと撮像部１０ｂとを、表示部１０ａからの光が撮像部１０ｂに実質的に入射しない距離だけ離して設ける必要がないので、高精細な表示・撮像が可能になる。

なお、「残像現象に基づいて設定されたタイミングで表示と撮像とを切り替える」ということは、具体的には、「表示および撮像を行う１単位期間のうち表示期間を除いた期間が残像の発生する期間よりも短くなるように、表示と撮像とを交互に切り替える」ことを意味する。

残像現象は、人間の持つ生理学的視覚効果であり、人間の見た画像がわずかな期間網膜に焼き付けられることに基づいている。この現象を利用すれば、静止画を動画のように見せることができ、１秒間に２４コマ以上の画像を映し出す映像であれば、人間はちらつきを全く感じなくなることが知られている。つまり、２４Ｈｚ以上（約４１．６７ｍｓ以内）で画像を入れ替えていくことによって動画に見えることが公知である。したがって、Ｔ_eyeは、典型的には１／２４秒（約４１．６７ｍｓ）以下である。そのため、例えば、表示および撮像を行う１単位期間Ｔ_frmのうち表示期間Ｔ_Dを除いた期間が１／２４秒（約４１．６７ｍｓ）以下となるように表示と撮像とを交互に切り替えることによって上記の動作が可能になる。

また、上記の理由から、表示および撮像を行う１単位期間Ｔ_frmも、典型的には１／２４秒（約４１．６７ｍｓ）以下である。通常のＴＶでは１秒間に３０枚（３０Ｈｚ、約３３．３ｍｓの周期）、高画質ＴＶでは１秒間に６０枚（６０Ｈｚ、約１６．７ｍｓの周期）画像を切り替えることや、通常のテレビカメラでは垂直走査周期が約１６．７ｍｓであることが知られているので、１単位期間Ｔ_frmを例えば１／３０秒や１／６０秒としてもよい。

また、上記の説明では、表示期間Ｔ_Dと撮像期間Ｔ_Cとの間に移行期間Ｔ_D-C、Ｔ_C-Dを設ける場合について説明したが、これらの移行期間Ｔ_D-C、Ｔ_C-Dは理想的には省略してもよい。ただし、表示部１０ａのオン状態と撮像部１０ｂのオン状態とが重なることによる悪影響を確実に防止する観点からは、所定の長さの移行期間Ｔ_D-C、Ｔ_C-Dを設けることが好ましい。画素領域ごとに薄膜トランジスタを備えたアクティブマトリクス型の表示装置の場合、薄膜トランジスタののスイッチングの切替は、約数十ｎｓ（０．１μｓ以下）で可能であるので、これよりも長い移行期間Ｔ_D-C、Ｔ_C-Dを設けることによって、表示部１０ａのオン状態と撮像部１０ｂのオン状態とが重なることを十分に抑制できる。なお、撮像部１０ｂによる撮像は、例えば約数十ｎｓ（０．１μｓ以下）で可能であるので、撮像期間Ｔ_Cはこれ以上であればよい。

また、表示部１０ａが液晶素子などの光変調素子を有する場合には、表示部１０ａへのオフ信号の出力は行わず、移行期間Ｔ_D-Cの開始までに黒表示のための信号を表示部１０ａに供給し、残像発生期間T_eye中は表示部１０ａで黒表示を行う。つまり、一般的にはホールド駆動される光変調素子を、擬似インパルス駆動する。本願明細書において、「表示部による表示」は、特にことわらない限り、所定の画像の表示を意味し、残像発生期間T_eye中の黒表示を指さないものとする。

表示部１０ａに液晶素子が設けられている場合に液晶素子を擬似インパルス駆動するには、例えば、特開平９−１２７９１７号公報に開示されている手法を用いることができる。

なお、図１および図２には、１つの画素領域に１つの撮像部が設けられている構成を示したが、各画素領域に複数の撮像部を設けてもよい。

図４に示す表示装置１００Ａは、各画素領域１１、２１、３１、・・・に複数の撮像部１０ｂ１〜１０ｂ４を有している点以外は、図１および図２に示す表示装置１００と実質的に同じ構成を有している。なお、図４では、カラーフィルタを省略して示している。

表示装置１００Ａでは、各画素領域１１、２１、３１、・・・に複数の撮像部１０ｂ１〜１０ｂ４が設けられているので、撮像期間において複数の撮像部１０ｂ１〜１０ｂ４のそれぞれごとに光の強度が検知され、各撮像部ごとに区別された情報がエンコーダ等へ送られる。そのため、撮像の解像度を高くすることが可能となる。したがって、表示装置１００Ａは、映像を含む患者情報の伝送に基づいて遠隔地から診断、指示などの医療行為を行う、いわゆる「遠隔医療」などの用途に特に好適に用いられる。

なお、駆動方式によっては、撮像期間Ｔ_Cにある画素領域に、表示期間Ｔ_Dにある画素領域が隣接することがある。表示期間Ｔ_Dにある隣接した画素領域の表示部１０ａからの悪影響を抑制するために、図５に示す表示装置１００Ｂのように、隣接した画素領域の表示部１０ａからの光を遮る遮光部１０ｃを設けてもよい。遮光部１０ｃは、例えば、周囲の構成要素とは屈折率が異なる材料から形成され、表示部１０ａからの光を全反射する遮光壁である。

あるいは、図６に示す表示装置１００Ｃのように、ある画素領域の撮像部と、その画素領域に隣接した画素領域の表示部との間に、隣接した画素領域の撮像部が存在するような配置としてもよい。

表示装置１００Ｃでは、図６に示すように、各画素領域１１、１２、１３は４分割されており、1つの表示部１０ａがＬ字状に配列された３つの撮像部１０ｂ１〜１０ｂ３によって取り囲まれている。したがって、例えば、中央の画素領域１２の撮像部１０ｂ１〜１０ｂ３と、左側の画素領域１１の表示部１０ａとの間には、左側の画素領域１１の撮像部１０ｂ１、１０ｂ３が存在し、これらは互いに十分離れている。そのため、中央の画素領域１２が撮像期間Ｔ_Cにあるときに、左側の画素領域１１が表示期間Ｔ_Dにあっても、左側の画素領域１１の表示部１０ａからの悪影響が抑制される。また、このような配置を採用した場合、図５に示すように遮光部１０ｃを設ける配置を採用した場合に比べ、遮光部１０ｃの幅（光を遮るだけの所定の幅が必要とされる）を確保する必要がなくなるので、高精細化に有利である。

本発明による撮像機能具備型表示装置１００を模式的に示す図である。本発明による撮像機能具備型表示装置１００を模式的に示す図である。表示部による表示と撮像部による撮像とを切り替えるタイミングを説明するための図である。本発明による他の撮像機能具備型表示装置１００Ａを模式的に示す図である。本発明による他の撮像機能具備型表示装置１００Ｂを模式的に示す図である。本発明による他の撮像機能具備型表示装置１００Ｃを模式的に示す図である。

符号の説明

３カラーフィルタ（遮光層）
４スイッチングコントローラ
１０ａ表示部
１０ｂ撮像部
１０ｂ１、１０ｂ２、１０ｂ３、１０ｂ４撮像部
１０ｃ遮光部
１１、１２、１３画素領域
１００、１００Ａ、１００Ｂ、１００Ｃ撮像機能具備型表示装置

Claims

マトリクス状に配列された複数の画素領域を有し、
前記複数の画素領域のそれぞれにおいて、表示を行う表示部と、撮像を行う少なくとも1つの撮像部とを有し、
前記表示部による表示と、前記少なくとも１つの撮像部による撮像とが所定のタイミングで交互に切り替えて行われる、撮像機能具備型表示装置。
前記所定のタイミングは、人間の目に発生する残像現象に基づいて設定されたタイミングである請求項１に記載の撮像機能具備型表示装置。
前記少なくとも１つの撮像部は、表示面の面内方向に沿って前記表示部に隣接している、請求項１または２に記載の撮像機能具備型表示装置。
前記少なくとも１つの撮像部は、複数の撮像部である請求項１から３のいずれかに記載の撮像機能具備型表示装置。
前記複数の画素領域のそれぞれに設けられ、特定の波長域の光を遮る遮光層をさらに有する、請求項１から４のいずれかに記載の撮像機能具備型表示装置。
前記表示部は発光素子を含む請求項１から５のいずれかに記載の撮像機能具備型表示装置。
前記表示部は光変調素子を含む請求項１から５のいずれかに撮像機能具備型表示装置。