JP2017026519A - 処理装置、その制御方法、及びキャリブレーション装置 - Google Patents
処理装置、その制御方法、及びキャリブレーション装置 Download PDFInfo
- Publication number
- JP2017026519A JP2017026519A JP2015146836A JP2015146836A JP2017026519A JP 2017026519 A JP2017026519 A JP 2017026519A JP 2015146836 A JP2015146836 A JP 2015146836A JP 2015146836 A JP2015146836 A JP 2015146836A JP 2017026519 A JP2017026519 A JP 2017026519A
- Authority
- JP
- Japan
- Prior art keywords
- screen
- display device
- display
- image
- observation direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing Of Optical Devices Or Fibers (AREA)
- Image Analysis (AREA)
Abstract
【課題】ディスプレイにカメラが正対していない場合においてもカメラを用いて精度良くキャリブレーションを行う。【解決手段】表示装置の画面を撮像装置により撮影して得られた撮影画像を取得する第1取得手段と、前記撮影画像に基づき、前記撮像装置に正対する方向に対する前記表示装置の画面の方向を取得する第2取得手段と、前記表示装置の画面に対する観察方向と観察される光学的な物理量との関係を示す観察方向特性の情報を取得する第3取得手段と、前記物理量の目標値及び測定値を取得する第4取得手段と、前記表示装置の画面の方向と、前記観察方向特性と、前記目標値及び前記測定値とに基づき、前記表示装置をキャリブレーションする必要があるか判定する判定手段と、を備える。【選択図】図10
Description
本発明は、処理装置、その制御方法、及びキャリブレーション装置に関するものである。
ディスプレイの表示特性を維持するためにはキャリブレーションを行う必要がある。キャリブレーションでは、測定用の画像を表示させた状態で光学特性を測定器で測定し、測定結果と目標値とを比較してバックライトや液晶パネルの制御値を補正する。ディスプレイの画面サイズが大きい場合、測定器を画面に正対させていても、画面の中央部と周縁部とで画面に対する測定器の観察方向が異なることが問題になり得る。一般にディスプレイの観察される表示特性は、画面をどの方向から観察するかによって変動するからである。この特性を観察方向特性と呼ぶ。周縁部の輝度や色調に関して、ディスプレイの観察方向特性を考慮に入れて補正を行う方法が特許文献1に提案されている。特許文献1には、CCDカメラを用いてディスプレイの輝度ムラを測定する際に、周縁部の輝度が中央部の輝度に対しパネルの観察方向特性により変化するのを打ち消すように測定値を補正し、その測定値を用いてムラ補正を行う方法が開示されている。
キャリブレーションはユーザが手動で行う必要があり、多数のディスプレイを有する病院等の施設では、キャリブレーションのための作業負荷が大きいという問題が生じる。ユーザの負荷軽減のため、ディスプレイ内部に設けたセンサにより表示特性を検出して自動的にキャリブレーションを行うシステムもあるが、外部測定器によるキャリブレーションと比較して精度に制限がある。
近年、ネットワークとつながった監視カメラが普及し画質も向上しているため、監視カメラを測定器として用いてキャリブレーションを行うことが考えられる。しかし、監視カメラを用いてキャリブレーションを行う場合、ディスプレイとカメラとの位置関係が必ずしも正対しているとは限らず、画面がカメラの正対方向に対し斜めになっている場合もありえる。
特許文献1の方法は、ディスプレイの画面がカメラに正対していることを前提として、中央部に対する観察方向と周縁部に対する観察方向の差を求め、これをもとに周縁部に対する測定値を補正している。しかし、カメラがディスプレイに正対していない状況においては、正しくキャリブレーションできない。
近年、ネットワークとつながった監視カメラが普及し画質も向上しているため、監視カメラを測定器として用いてキャリブレーションを行うことが考えられる。しかし、監視カメラを用いてキャリブレーションを行う場合、ディスプレイとカメラとの位置関係が必ずしも正対しているとは限らず、画面がカメラの正対方向に対し斜めになっている場合もありえる。
特許文献1の方法は、ディスプレイの画面がカメラに正対していることを前提として、中央部に対する観察方向と周縁部に対する観察方向の差を求め、これをもとに周縁部に対する測定値を補正している。しかし、カメラがディスプレイに正対していない状況においては、正しくキャリブレーションできない。
本発明は、ディスプレイにカメラが正対していない場合においてもカメラを用いて精度良くキャリブレーションを行うことを可能にすることを目的とする。
本発明は、表示装置の画面を撮像装置により撮影して得られた撮影画像を取得する第1取得手段と、
前記撮影画像に基づき、前記撮像装置に正対する方向に対する前記表示装置の画面の方向を取得する第2取得手段と、
前記表示装置の画面に対する観察方向と観察される光学的な物理量との関係を示す観察
方向特性の情報を取得する第3取得手段と、
前記物理量の目標値及び測定値を取得する第4取得手段と、
前記表示装置の画面の方向と、前記観察方向特性と、前記目標値及び前記測定値とに基づき、前記表示装置をキャリブレーションする必要があるか判定する判定手段と、
を備える処理装置である。
前記撮影画像に基づき、前記撮像装置に正対する方向に対する前記表示装置の画面の方向を取得する第2取得手段と、
前記表示装置の画面に対する観察方向と観察される光学的な物理量との関係を示す観察
方向特性の情報を取得する第3取得手段と、
前記物理量の目標値及び測定値を取得する第4取得手段と、
前記表示装置の画面の方向と、前記観察方向特性と、前記目標値及び前記測定値とに基づき、前記表示装置をキャリブレーションする必要があるか判定する判定手段と、
を備える処理装置である。
本発明は、光学特性が観察方向によって変化する光学部材を備えた表示装置を撮像装置により撮影して得られた撮影画像を取得する第1取得手段と、
前記撮影画像と、前記光学部材に対する観察方向と前記光学特性との関係と、に基づき前記撮像装置に正対する方向に対する前記表示装置の画面の方向を取得する第2取得手段と、
前記表示装置の画面に対する観察方向と観察される光学的な物理量との関係を示す観察方向特性の情報を取得する第3取得手段と、
前記物理量の目標値及び測定値を取得する第4取得手段と、
前記表示装置の画面の方向と、前記観察方向特性と、前記目標値及び前記測定値とに基づき、前記表示装置をキャリブレーションする必要があるか判定する判定手段と、
を備える処理装置である。
前記撮影画像と、前記光学部材に対する観察方向と前記光学特性との関係と、に基づき前記撮像装置に正対する方向に対する前記表示装置の画面の方向を取得する第2取得手段と、
前記表示装置の画面に対する観察方向と観察される光学的な物理量との関係を示す観察方向特性の情報を取得する第3取得手段と、
前記物理量の目標値及び測定値を取得する第4取得手段と、
前記表示装置の画面の方向と、前記観察方向特性と、前記目標値及び前記測定値とに基づき、前記表示装置をキャリブレーションする必要があるか判定する判定手段と、
を備える処理装置である。
本発明は、表示装置の画面を撮像装置により撮影して得られた撮影画像を取得する第1取得工程と、
前記撮影画像に基づき、前記撮像装置に正対する方向に対する前記表示装置の画面の方向を取得する第2取得工程と、
前記表示装置の画面に対する観察方向と観察される光学的な物理量との関係を示す観察方向特性の情報を取得する第3取得工程と、
前記物理量の目標値及び測定値を取得する第4取得工程と、
前記表示装置の画面の方向と、前記観察方向特性と、前記目標値及び前記測定値とに基づき、前記表示装置をキャリブレーションする必要があるか判定する判定工程と、
を有する処理装置の制御方法である。
前記撮影画像に基づき、前記撮像装置に正対する方向に対する前記表示装置の画面の方向を取得する第2取得工程と、
前記表示装置の画面に対する観察方向と観察される光学的な物理量との関係を示す観察方向特性の情報を取得する第3取得工程と、
前記物理量の目標値及び測定値を取得する第4取得工程と、
前記表示装置の画面の方向と、前記観察方向特性と、前記目標値及び前記測定値とに基づき、前記表示装置をキャリブレーションする必要があるか判定する判定工程と、
を有する処理装置の制御方法である。
本発明は、コンピュータに、
表示装置の画面を撮像装置により撮影して得られた撮影画像を取得する第1取得工程と、
前記撮影画像に基づき、前記撮像装置に正対する方向に対する前記表示装置の画面の方向を取得する第2取得工程と、
前記表示装置の画面に対する観察方向と観察される光学的な物理量との関係を示す観察方向特性の情報を取得する第3取得工程と、
前記物理量の目標値及び測定値を取得する第4取得工程と、
前記表示装置の画面の方向と、前記観察方向特性と、前記目標値及び前記測定値とに基づき、前記表示装置をキャリブレーションする必要があるか判定する判定工程と、
を実行させるプログラムである。
表示装置の画面を撮像装置により撮影して得られた撮影画像を取得する第1取得工程と、
前記撮影画像に基づき、前記撮像装置に正対する方向に対する前記表示装置の画面の方向を取得する第2取得工程と、
前記表示装置の画面に対する観察方向と観察される光学的な物理量との関係を示す観察方向特性の情報を取得する第3取得工程と、
前記物理量の目標値及び測定値を取得する第4取得工程と、
前記表示装置の画面の方向と、前記観察方向特性と、前記目標値及び前記測定値とに基づき、前記表示装置をキャリブレーションする必要があるか判定する判定工程と、
を実行させるプログラムである。
本発明によれば、ディスプレイにカメラが正対していない場合においてもカメラを用いて精度良くキャリブレーションを行うことができる。
以下、実施例を用いて本発明の詳細な記述を行う。
一般に、カメラ装置には、レンズやカメラ本体の設計により固有の収差や歪曲、変形、或いは口径蝕により画像の周縁部が暗く撮影されるシェーディング特性等、を持つ場合がある。以下の実施例では、それらレンズやカメラ本体固有の特性は補正され、理想結像系で結像する場合の画像が撮影画像として得られているものとして記述する。
一般に、カメラ装置には、レンズやカメラ本体の設計により固有の収差や歪曲、変形、或いは口径蝕により画像の周縁部が暗く撮影されるシェーディング特性等、を持つ場合がある。以下の実施例では、それらレンズやカメラ本体固有の特性は補正され、理想結像系で結像する場合の画像が撮影画像として得られているものとして記述する。
(実施例1)
実施例1は、病院の読影室に複数の医療用ディスプレイが置かれている状況である。また、この読影室には、夜間等、医師やオペレーターがいない時間帯においても、室内を監視するためのカメラが設置されている。
これら複数のディスプレイとカメラとは、病院内のネットワーク(イントラネット)、さらには病院外のネットワーク(インターネット)と接続されており、ネットワーク上の制御コンピュータと接続されている。ディスプレイやカメラの各機器は、それぞれに固有のネットワークアドレスを有することにより、ネットワークに個別にアクセスできるように接続されている。
実施例1は、病院の読影室に複数の医療用ディスプレイが置かれている状況である。また、この読影室には、夜間等、医師やオペレーターがいない時間帯においても、室内を監視するためのカメラが設置されている。
これら複数のディスプレイとカメラとは、病院内のネットワーク(イントラネット)、さらには病院外のネットワーク(インターネット)と接続されており、ネットワーク上の制御コンピュータと接続されている。ディスプレイやカメラの各機器は、それぞれに固有のネットワークアドレスを有することにより、ネットワークに個別にアクセスできるように接続されている。
図1に実施例1において、ディスプレイとカメラが置かれている部屋、ネットワーク、及び制御装置の概略を示す。部屋には第1のディスプレイ1、第2のディスプレイ2、カメラ3があり、それらを制御する制御装置4が、ネットワークシステム5により接続されている。
図2に、カメラから見た第1のディスプレイ1及び第2のディスプレイ2の設置状態を示す。第1のディスプレイ1は、画面1−1、画面の枠部(ベゼル部)1−2を有し、第2のディスプレイ2は、画面2−1、画面の枠部(ベゼル部)2−2を有する。第2のディスプレイの画面2−1はカメラに正対しているが、第1のディスプレイの画面1−1はカメラに正対しておらず、斜め左の方向に向いている。これを第1の設置状態とする。
図3に、カメラから見た第1のディスプレイ1及び第2のディスプレイ2の他の設置状態を示す。第1のディスプレイ1は、画面1−1、画面の枠部(ベゼル部)1−2を有し、第2のディスプレイ2は、画面2−1、画面の枠部(ベゼル部)2−2を有する。第2のディスプレイの画面2−1は、第1の設置状態と同じようにカメラに正対しているが、
第1のディスプレイの画面1−1はカメラに正対しておらず、第1の設置状態と反対側、斜め右の方向に向いている。これを第2の設置状態とする。
第1のディスプレイの画面1−1はカメラに正対しておらず、第1の設置状態と反対側、斜め右の方向に向いている。これを第2の設置状態とする。
図4に、画面の中央部に対する観察方向と周縁部に対する観察方向の差(観察方向差という)を求める方法の例を示す。観察方向差Φは、ディスプレイの中央部と周縁部との間の距離rと、カメラからディスプレイまでの距離Lとから、以下の式で求めることができる。
Φ=tan−1(r/L)
しかし、カメラ3に正対する方向に対するディスプレイ1の画面1−1の方向であるディスプレイの画面の向きΘは、観察方向差Φとは独立のパラメータであるから、上記の方法で求めることはできない。
Φ=tan−1(r/L)
しかし、カメラ3に正対する方向に対するディスプレイ1の画面1−1の方向であるディスプレイの画面の向きΘは、観察方向差Φとは独立のパラメータであるから、上記の方法で求めることはできない。
実施例1においては、ディスプレイの画面に所定のパターン画像を表示させた状態でカメラにより撮影して得られた撮影画像における、パターン画像の形状の、元の形状に対する歪みを解析することにより、ディスプレイの画面の向きΘを算出する。ここでは、パターン画像は、高さa、幅bの矩形の画像とする。
図5に、パターン画像を、図2に示した第1の設置状態のディスプレイに表示させた状態でカメラにより撮影して得られた撮影画像を示す。第1のディスプレイ1の画面1−1にはパターン画像1−1−Pattern1が表示され、第2のディスプレイ2の画面2−1にはパターン画像2−1−Pattern1が表示されている。第2のディスプレイ2の画面2−1はカメラに正対しているため、撮影画像におけるパターン画像は元のパターン画像と相似の矩形の形状である。しかし、第1のディスプレイ1の画面1−1はカメラに正対しておらず、斜め左の方向に向いているため、撮影画像におけるパターン画像は元のパターン画像と相似の矩形の形状ではなく、元の形状に対して変形した台形の形状である。
図6(B)に、カメラによる撮影画像における、第2のディスプレイの画面に表示されたパターン画像を示す。第2のディスプレイの画面はカメラに正対しているため、撮影画像におけるパターン画像は、元のパターン画像と相似の矩形の形状である。パターン画像に向かって左側の辺(左辺)の高さをa1、画面に向かって右側の辺(右辺)の高さをa2、幅をb1とすると、次の式が成り立つ。
a1=a2
a1/b1=a2/b1=a/b
a1=a2
a1/b1=a2/b1=a/b
図6(A)に、カメラによる撮影画像における、第1のディスプレイの画面に表示されたパターン画像を示す。第1のディスプレイの画面はカメラに正対しておらず、斜め左の方向に向いているため、撮影画像におけるパターン画像は、元のパターン画像と相似の矩形の形状ではなく、変形した台形の形状である。パターン画像の左辺の高さをa1、右辺の高さをa2、幅をb1とすると、次の式が成り立つ。
a1<a2
a1/b1≠a2/b1
また、一般的には、次の式が成り立つ。
a1/b1≠a/b
a2/b1≠a/b
a1<a2
a1/b1≠a2/b1
また、一般的には、次の式が成り立つ。
a1/b1≠a/b
a2/b1≠a/b
図7に、パターン画像を、図3に示した第2の設置状態のディスプレイに表示させた状態でカメラにより撮影して得られた撮影画像を示す。第1のディスプレイ1の画面1−1にはパターン画像1−1−Pattern1が表示され、第2のディスプレイ2の画面2−1にはパターン画像2−1−Pattern1が表示されている。第2のディスプレイ2の画面2−1はカメラに正対しているため、撮影画像におけるパターン画像は元のパターン画像と相似の矩形の形状である。しかし、第1のディスプレイ1の画面1−1はカメラに正対しておらず、やや斜め右の方向に向いているため、撮影画像におけるパターン画像は元のパターン画像と相似の矩形の形状ではなく、元の形状に対して変形した台形の形状である。
第2の設置状態において、カメラによる撮影画像における、第2のディスプレイの画面に表示されたパターン画像は、図6(B)に示した第1の設置状態におけるものと同じである。第1のディスプレイの画面に表示されたパターン画像は、第1の設置状態におけるものとは異なる。
図8(A)に、カメラによる撮影画像における、第1のディスプレイの画面に表示されたパターン画像を示す。第1のディスプレイの画面はカメラに正対しておらず、やや斜め右の方向に向いているため、撮影画像におけるパターン画像は、元のパターン画像と相似の矩形の形状ではなく、変形した台形の形状である。パターン画像の左辺の高さをa1、右辺の高さをa2、幅をb1とすると、次の式が成り立つ。
a1>a2
a1/b1≠a2/b1
また、一般的には、次の式が成り立つ。
a1/b1≠a/b
a2/b1≠a/b
a1>a2
a1/b1≠a2/b1
また、一般的には、次の式が成り立つ。
a1/b1≠a/b
a2/b1≠a/b
実施例1では、ディスプレイに表示されたパターン画像をカメラにより撮像して得られた撮影画像における元の形状に対する歪みの程度に基づき、ディスプレイの画面の方向を算出する。実施例1では、歪みの程度を表す指標として、次の値を用いる。
縦横比α=(a1+a2)/2b1
縦横比αは、ディスプレイの画面に矩形の画像を表示させた状態でカメラにより撮影された撮影画像において、矩形の左辺及び右辺の高さの合計を矩形の幅で除した値である。縦横比αは、ディスプレイの画面の向きΘに依存して変化する。
縦横比α=(a1+a2)/2b1
縦横比αは、ディスプレイの画面に矩形の画像を表示させた状態でカメラにより撮影された撮影画像において、矩形の左辺及び右辺の高さの合計を矩形の幅で除した値である。縦横比αは、ディスプレイの画面の向きΘに依存して変化する。
図9に、理論的に算出した、縦横比αとディスプレイの画面の向きΘとの関係である縦横比特性のグラフと、第1の設置状態と第2の設置状態それぞれにおける縦横比αに基づき求められる第1のディスプレイの向きΘを示す。
第1の設置状態では、a1<a2であるので、縦横比の値と縦横比特性曲線の左半分側との交点から、第1のディスプレイの向きΘは−45°と求められる。第2の設置状態では、a1>a2であるので、縦横比の値と縦横比特性曲線の右半分側との交点から、第1
のディスプレイの向きΘは+15°と求められる。
第1の設置状態では、a1<a2であるので、縦横比の値と縦横比特性曲線の左半分側との交点から、第1のディスプレイの向きΘは−45°と求められる。第2の設置状態では、a1>a2であるので、縦横比の値と縦横比特性曲線の右半分側との交点から、第1
のディスプレイの向きΘは+15°と求められる。
カメラに正対しておらず、ディスプレイの画面の向きが斜めの方向に向いている状態で、カメラを用いて、表示装置の光学的な物理量としての輝度をキャリブレーションする例を説明する。
一般にディスプレイの観察される光学的な物理量(表示特性)は、画面をどの方向から観察するか(画面に対する観察方向)によって変動する。この特性を観察方向特性と呼ぶ。表示装置のキャリブレーション要否の確認やキャリブレーションの実施を正確に行うためには、観察方向特性を考慮に入れる必要がある。
一般にディスプレイの観察される光学的な物理量(表示特性)は、画面をどの方向から観察するか(画面に対する観察方向)によって変動する。この特性を観察方向特性と呼ぶ。表示装置のキャリブレーション要否の確認やキャリブレーションの実施を正確に行うためには、観察方向特性を考慮に入れる必要がある。
ここで、画面に対しカメラが正対している場合に観察される画面の輝度の目標値が100cd/m2であるとする。また、キャリブレーションをしようとする第1のディスプレイ1の、輝度の観察方向特性は、左右の斜め方向から見たとき、その角度(観察方向)の絶対値が大きくなるほど輝度が低下する特性を持つものとする。
いま、ディスプレイの画面の向きがΘであるとき、ディスプレイの画面に対するカメラの観察方向Ψは、Θと同じとなる。
Ψ=Θ
実施例1では、このようにしてディスプレイの画面の向きΘからディスプレイの画面に対するカメラの観察方向Ψを求め、これに基づきキャリブレーションを行う。
Ψ=Θ
実施例1では、このようにしてディスプレイの画面の向きΘからディスプレイの画面に対するカメラの観察方向Ψを求め、これに基づきキャリブレーションを行う。
図10に、キャリブレーションをしようとする第1のディスプレイ1の、輝度の観察方向特性を示す。第1のディスプレイ1の、正対する観察方向(Ψ=0°)から観察した場合の輝度が100cd/m2であるとすると、第1の設置状態に対応する観察方向(Ψ=−45°)から観察した場合の輝度は60cd/m2である。第2の設置状態に対応する観察方向(Ψ=+15°)から観察した場合の輝度は95cd/m2である。従って、第1の設置状態においては、斜め左方向に向いている第1のディスプレイについては、輝度60cd/m2になるようにキャリブレーションを行えば良い。また、第2の設置状態においては、斜め右方向に向いている第1のディスプレイについては、輝度95cd/m2になるように、キャリブレーションを行えば良い。このように、ディスプレイの画面の向きに応じて設定される目標値を用いてキャリブレーションすることにより、正対する方向から見て100cd/m2になるようにキャリブレーションを行うことができる。
図11に、実施例1のシステムの機能ブロックを示す。実施例1のシステムは、ディスプレイ(表示装置)A、カメラ(撮像装置)B、制御装置C(処理装置、キャリブレーション装置)を含むを示す。
制御装置Cは、ディスプレイ型番認識部C−1、ディスプレイ観察方向特性データベースC−2、観察方向情報検出部C−3、キャリブレーション部C−4を有するキャリブレーション装置である。
観察方向情報検出部C−3は、画像生成部C−3−1、画像認識部C−3−2、画像解析部C−3−3を有する。キャリブレーション部C−4は、表示確認部C−4−1、表示補正部C−4−2を有する。
制御装置Cは、ディスプレイ型番認識部C−1、ディスプレイ観察方向特性データベースC−2、観察方向情報検出部C−3、キャリブレーション部C−4を有するキャリブレーション装置である。
観察方向情報検出部C−3は、画像生成部C−3−1、画像認識部C−3−2、画像解析部C−3−3を有する。キャリブレーション部C−4は、表示確認部C−4−1、表示補正部C−4−2を有する。
なお、観察方向情報検出部C−3に含まれる画像生成部C−3−1は、実施例1においては存在するが、実施例3、実施例4においては存在しなくても良い。また、キャリブレーション部C−4に含まれる表示補正部C−4−2は、キャリブレーションを行わず表示確認のみ行う構成では存在しなくても良い。図11の制御装置Cの内部に存在する各部は、それぞれ個別のハードウェアとして実現しても良いし、ソフトウェアの機能として実現
しても良い。また、それら機能は、ネットワーク等の方法で相互に情報の受け渡しの可能な複数のハードウェアによるシステムによって実現しても良い。
しても良い。また、それら機能は、ネットワーク等の方法で相互に情報の受け渡しの可能な複数のハードウェアによるシステムによって実現しても良い。
図11の各部は、図1の概略図と次のように対応する。図11のディスプレイAは、図1の第1のディスプレイ1及び第2のディスプレイ2に対応し、図11のカメラBは、図1のカメラ3に対応し、図11の制御装置Cは、図1の制御装置4(またはその中にあるソフトウェア)に対応する。制御装置CとディスプレイA及びカメラBは、それぞれネットワークを介してつながっており、制御装置Cとの間で、図11に示すような各種信号やデータを交換することができる。
図12に、実施例1のキャリブレーション方法のフローチャートを示す。
ステップS1では、キャリブレーションプログラム起動が行われる。
例えば毎月1日の午前零時にキャリブレーションを開始するよう構成の場合、開始タイミングにおいてタイマー装置よりトリガーがかかり、制御装置Cはキャリブレーションを実行するためのプログラムを起動する。なお、ユーザが手動でプログラムを起動する構成でも良い。
ステップS1では、キャリブレーションプログラム起動が行われる。
例えば毎月1日の午前零時にキャリブレーションを開始するよう構成の場合、開始タイミングにおいてタイマー装置よりトリガーがかかり、制御装置Cはキャリブレーションを実行するためのプログラムを起動する。なお、ユーザが手動でプログラムを起動する構成でも良い。
ステップS2では、キャリブレーション対象ディスプレイの型番情報の読み出しが行われる。
ディスプレイ型番認識部C−1は、キャリブレーション対象ディスプレイにネットワーク経由でアクセスして、当該ディスプレイの型番情報を取得する。型番情報は、ディスプレイ固有の観察方向特性の情報をディスプレイ観察方向特性データベースC−2から取得するために用いられる。
ディスプレイ型番認識部C−1は、キャリブレーション対象ディスプレイにネットワーク経由でアクセスして、当該ディスプレイの型番情報を取得する。型番情報は、ディスプレイ固有の観察方向特性の情報をディスプレイ観察方向特性データベースC−2から取得するために用いられる。
ステップS3では、キャリブレーション対象ディスプレイに対し向き検出画像の表示指示が行われる。
画像生成部C−3−1は、図5のようなパターン画像を向き検出画像として生成し、観察方向情報検出部C−3は当該向き検出画像をキャリブレーション対象ディスプレイに出力して表示させる。
画像生成部C−3−1は、図5のようなパターン画像を向き検出画像として生成し、観察方向情報検出部C−3は当該向き検出画像をキャリブレーション対象ディスプレイに出力して表示させる。
ステップS4では、カメラに対し撮像指示が行われる。
観察方向情報検出部C−3は、カメラBに対し、向き検出画像を表示した状態のキャリブレーション対象ディスプレイの画面を撮像させる。
観察方向情報検出部C−3は、カメラBに対し、向き検出画像を表示した状態のキャリブレーション対象ディスプレイの画面を撮像させる。
ステップS5では、撮影画像を解析してディスプレイの向きの検出が行われる。
画像認識部C−3−2は、カメラから向き検出画像の撮影画像を取得する。画像認識部C−3−2は、表示装置の画面を撮像装置により撮影して得られた撮影画像を取得する第1取得手段である。
画像解析部C−3−3は、図9に示した方法によって、撮影画像を解析してディスプレイの向きを検出する。画像解析部C−3−3は、撮影画像に基づき、特に画像解析により、撮像装置に正対する方向に対する表示装置の画面の方向を取得する第2取得手段である。
画像認識部C−3−2は、カメラから向き検出画像の撮影画像を取得する。画像認識部C−3−2は、表示装置の画面を撮像装置により撮影して得られた撮影画像を取得する第1取得手段である。
画像解析部C−3−3は、図9に示した方法によって、撮影画像を解析してディスプレイの向きを検出する。画像解析部C−3−3は、撮影画像に基づき、特に画像解析により、撮像装置に正対する方向に対する表示装置の画面の方向を取得する第2取得手段である。
ステップS6では、ディスプレイの型番に対応する観察方向特性の取得が行われる。
キャリブレーション部C−4は、ステップS2で取得したディスプレイの型番情報に基づき、ディスプレイ固有の観察方向特性の情報を、ディスプレイ観察方向特性データベースC−2から読み出す。観察方向特性は、表示装置の画面に対する観察方向と観察される光学的な物理量との関係を示す。キャリブレーション部C−4は、観察方向特性の情報を取得する第3取得手段である。
キャリブレーション部C−4は、ステップS2で取得したディスプレイの型番情報に基づき、ディスプレイ固有の観察方向特性の情報を、ディスプレイ観察方向特性データベースC−2から読み出す。観察方向特性は、表示装置の画面に対する観察方向と観察される光学的な物理量との関係を示す。キャリブレーション部C−4は、観察方向特性の情報を取得する第3取得手段である。
ステップS7では、観察方向特性データに基づき目標輝度の補正が行われる。
表示確認部C−4−1は、図10に示した方法によって、ディスプレイに対するカメラの観察方向に応じてキャリブレーションの目標輝度を補正する。この目標輝度は、カメラがディスプレイの画面に正対している場合に観察される輝度の目標値である。この補正は、この目標輝度を、ディスプレイの画面の方向と観察方向特性とに基づき補正したものである。特に、ここでは、補正は、ディスプレイの画面の方向に基づき求めたディスプレイの画面に対するカメラの観察方向に応じて行われる。これにより、カメラが当該観察方向をもってディスプレイの画面に対している場合に適用される目標輝度が得られる。
表示確認部C−4−1は、図10に示した方法によって、ディスプレイに対するカメラの観察方向に応じてキャリブレーションの目標輝度を補正する。この目標輝度は、カメラがディスプレイの画面に正対している場合に観察される輝度の目標値である。この補正は、この目標輝度を、ディスプレイの画面の方向と観察方向特性とに基づき補正したものである。特に、ここでは、補正は、ディスプレイの画面の方向に基づき求めたディスプレイの画面に対するカメラの観察方向に応じて行われる。これにより、カメラが当該観察方向をもってディスプレイの画面に対している場合に適用される目標輝度が得られる。
ステップS8では、キャリブレーションの実施が行われる。
キャリブレーション部C−4は、ディスプレイのキャリブレーションを実施する。キャリブレーションは一般的な方法で行うことができる。すなわち、表示確認部C−4−1は、所定のパターン画像をディスプレイに表示させたときの画面の輝度の測定値を取得し、測定値と上記補正した目標輝度とを比較する。測定値と目標輝度との間に所定の閾値以上の差異がある場合に、表示確認部C−4−1は当該ディスプレイの輝度についてキャリブレーションをする必要があると判定する。その場合、表示補正部C−4−2はキャリブレーションを行う。測定値と目標輝度の差が閾値より小さい場合、表示確認部C−4−1は当該ディスプレイの輝度についてキャリブレーションを行う必要はないと判定し処理を終了する。表示確認部C−4−1は、表示装置の画面において観察される光学的な物理量の目標値及び測定値を取得する第4取得手段である。また、表示確認部C−4−1は、表示装置の画面の方向と、観察方向特性と、目標値及び測定値とに基づき、表示装置をキャリブレーションする必要があるか判定する判定手段である。
キャリブレーション部C−4は、ディスプレイのキャリブレーションを実施する。キャリブレーションは一般的な方法で行うことができる。すなわち、表示確認部C−4−1は、所定のパターン画像をディスプレイに表示させたときの画面の輝度の測定値を取得し、測定値と上記補正した目標輝度とを比較する。測定値と目標輝度との間に所定の閾値以上の差異がある場合に、表示確認部C−4−1は当該ディスプレイの輝度についてキャリブレーションをする必要があると判定する。その場合、表示補正部C−4−2はキャリブレーションを行う。測定値と目標輝度の差が閾値より小さい場合、表示確認部C−4−1は当該ディスプレイの輝度についてキャリブレーションを行う必要はないと判定し処理を終了する。表示確認部C−4−1は、表示装置の画面において観察される光学的な物理量の目標値及び測定値を取得する第4取得手段である。また、表示確認部C−4−1は、表示装置の画面の方向と、観察方向特性と、目標値及び測定値とに基づき、表示装置をキャリブレーションする必要があるか判定する判定手段である。
ステップS9では、ディスプレイの補正データ書き換えが行われる。
表示補正部C−4−2は、キャリブレーションの結果に基づきディスプレイの制御値の決定に係るデータを書き換え、例えばバックライトの発光輝度を調整することで目標輝度が得られるようにする。表示補正部C−4−2は、判定手段によりキャリブレーションする必要があると判定された場合に、光学的な物理量を目標値に近づけるように表示装置のキャリブレーションを行うキャリブレーション手段である。
表示補正部C−4−2は、キャリブレーションの結果に基づきディスプレイの制御値の決定に係るデータを書き換え、例えばバックライトの発光輝度を調整することで目標輝度が得られるようにする。表示補正部C−4−2は、判定手段によりキャリブレーションする必要があると判定された場合に、光学的な物理量を目標値に近づけるように表示装置のキャリブレーションを行うキャリブレーション手段である。
ステップS10では、終了処理が行われる。
キャリブレーション部C−4は、ディスプレイのキャリブレーション処理を終了する。
キャリブレーション部C−4は、ディスプレイのキャリブレーション処理を終了する。
実施例1においては、ディスプレイの画面上に表示する所定のパターン画像として、高さa、幅bの矩形画像を用いる例を示したが、ディスプレイの画面の向きを検出するために表示するパターン画像はこれに限定されるものではない。
実施例1においては、上記画像がカメラに写ったときの形状の歪みを解析する方法として、歪みの程度を表す指標である縦横比αを用いる例を示したが、これに限定されるものではない。また形状の歪みを解析してディスプレイの向きを求める方法も、様々な方法が考えられる。例えば一般性の高い手法としては、左右方向(水平方向)の歪みだけではなく上下方向等の歪みをも含めて、アフィン変換によって取り扱うことができる。カメラが正対していれば得られるであろう画像と、実際にカメラで撮像された画像とを解析して、アフィン変換の行列を求め、水平及び垂直の各方向の歪みを求めることができる。この歪みの情報から、カメラが正対する方向に対しディスプレイの画面が上下方向及び左右方向にどの程度傾いているか推定することができる。ディスプレイの光学的物理量の観察方向特性には、上述した左右方向の観察方向特性だけでなく、上下方向の観察方向特性もある。ディスプレイの画面の上下方向及び左右方向の傾きに応じて、上下方向及び左右方向の観察方向特性に基づき、目標輝度を補正することで、精度良くキャリブレーションすることができる。
実施例1では、ディスプレイの画面に表示させた所定のパターン画像をカメラで撮影した撮影画像において画像の形状の歪みを解析してディスプレイの画面の向きを推定する方法を説明した。図2に示したようなディスプレイの画面の枠部(ベゼル部)1−2,2−2をカメラで撮影した撮影画像おいてベゼルの元の形状に対する撮影画像におけるベゼルの形状の歪みを解析してディスプレイの画面の向きを推定しても良い。画面にパターン画像を表示させる方法の方が寸法の精度や撮影画像のコントラストの点でベゼルを撮影する方法より有利であるが、パターン画像の表示制御をする必要がない点でベゼルを撮影する方法の方が簡便である。
(実施例2)
ディスプレイの画面の大きさが大きい場合や、ディスプレイとカメラとの距離が短い場合、画面内の位置によって画面に対するカメラの観察方向が大きく異なることがあるため、画面内の位置毎に、カメラの観察方向に基づきキャリブレーションを行う必要がある。実施例2では、画面内の異なる複数の位置、具体的には中央部と周縁部とのそれぞれについて、カメラの観察方向の差(観察方向差)Φを考慮したキャリブレーションを行う例を説明する。なお、実施例2では、画面内の異なる複数の位置が中央部と周縁部である場合を例に説明するが、複数の位置はこれに限らない。
以下、ディスプレイの画面の中央部に対するカメラの観察方向と周縁部に対する観察方向との差(観察方向差)Φを求める方法をいくつか説明する。
ディスプレイの画面の大きさが大きい場合や、ディスプレイとカメラとの距離が短い場合、画面内の位置によって画面に対するカメラの観察方向が大きく異なることがあるため、画面内の位置毎に、カメラの観察方向に基づきキャリブレーションを行う必要がある。実施例2では、画面内の異なる複数の位置、具体的には中央部と周縁部とのそれぞれについて、カメラの観察方向の差(観察方向差)Φを考慮したキャリブレーションを行う例を説明する。なお、実施例2では、画面内の異なる複数の位置が中央部と周縁部である場合を例に説明するが、複数の位置はこれに限らない。
以下、ディスプレイの画面の中央部に対するカメラの観察方向と周縁部に対する観察方向との差(観察方向差)Φを求める方法をいくつか説明する。
<第1の方法>
図13に基づき、ディスプレイに対するカメラの観察方向差Φを求める第1の方法を説明する。第1のディスプレイ1の画面1−1にはパターン画像1−1−Pattern1が表示されている。ディスプレイの中央部と周縁部の距離rであり、カメラ3からディスプレイまでの距離Lである。
ディスプレイの画面の向きΘは、カメラ3により撮影された画像におけるパターン画像1−1−Pattern1の歪みの解析に基づき、実施例1に述べた方法によって求めることができる。
ディスプレイに対するカメラの観察方向差Φは、ディスプレイの中央部と周縁部の距離rと、カメラからディスプレイまでの距離Lとから、以下の式で求めることができる。
Φ=tan−1(r/L)
図13に基づき、ディスプレイに対するカメラの観察方向差Φを求める第1の方法を説明する。第1のディスプレイ1の画面1−1にはパターン画像1−1−Pattern1が表示されている。ディスプレイの中央部と周縁部の距離rであり、カメラ3からディスプレイまでの距離Lである。
ディスプレイの画面の向きΘは、カメラ3により撮影された画像におけるパターン画像1−1−Pattern1の歪みの解析に基づき、実施例1に述べた方法によって求めることができる。
ディスプレイに対するカメラの観察方向差Φは、ディスプレイの中央部と周縁部の距離rと、カメラからディスプレイまでの距離Lとから、以下の式で求めることができる。
Φ=tan−1(r/L)
<第2の方法>
図14、図15に基づき、ディスプレイに対するカメラの観察方向差Φを求める第2の方法を説明する。
図14、図15に基づき、ディスプレイに対するカメラの観察方向差Φを求める第2の方法を説明する。
図14(A)はディスプレイ1とカメラ3の配置を示す。ディスプレイ1の画面1−1の中央部にはパターン画像1−1−Pattern1が表示されている。カメラ3は撮影方向を調節可能であるとする。図14(B)は、この配置においてカメラ3により撮像された画像を示す。図14(B)の撮影画像は、ディスプレイの画面の中央部に表示されたパターン画像が撮影画像の中心になるようにカメラの撮影方向を調節して撮影された画像である。この撮影画像におけるパターン画像1−1−Pattern1の歪みを実施例1に示した方法により解析することにより、図14(A)のカメラ3の撮影方向に正対する方向に対するディスプレイの画面の方向Θ(第1の方向)が求められる。
図15(A)はディスプレイ1とカメラ3の配置を示す。ディスプレイ1の画面1−1の周縁部にはパターン画像1−1−Pattern1が表示され値得る。図14の場合と
異なり、カメラ3の撮影方向は画面の周縁部に表示されたパターン画像の方向である。図15(B)は、この配置においてカメラ3により撮像された画像を示す。図15(B)の撮影画像は、ディスプレイの画面の周縁部に表示されたパターン画像が撮影画像の中心になるようにカメラの撮影方向を調節して撮影された画像である。つまり、この状態ではカメラはディスプレイの左側周縁部に正対している。この撮影画像におけるパターン画像1−1−Pattern1の歪みを実施例1に示した方法により解析することにより、図15(A)のカメラ3の撮影方向に正対するディスプレイの画面の方向Θ1(第2の方向)が求められる。第2の方向Θ1は、カメラからディスプレイの周縁部に向かう方向を基準とした場合のディスプレイの画面の向きを表す。
異なり、カメラ3の撮影方向は画面の周縁部に表示されたパターン画像の方向である。図15(B)は、この配置においてカメラ3により撮像された画像を示す。図15(B)の撮影画像は、ディスプレイの画面の周縁部に表示されたパターン画像が撮影画像の中心になるようにカメラの撮影方向を調節して撮影された画像である。つまり、この状態ではカメラはディスプレイの左側周縁部に正対している。この撮影画像におけるパターン画像1−1−Pattern1の歪みを実施例1に示した方法により解析することにより、図15(A)のカメラ3の撮影方向に正対するディスプレイの画面の方向Θ1(第2の方向)が求められる。第2の方向Θ1は、カメラからディスプレイの周縁部に向かう方向を基準とした場合のディスプレイの画面の向きを表す。
このとき、第1の方向Θと第2の方向Θ1との差はディスプレイに対するカメラの観察方向差Φと等しい。
Φ=Θ1−Θ
Φ=Θ1−Θ
<第3の方法>
ディスプレイに対するカメラの観察方向差Φを求める第3の方法を説明する。図14におけるカメラの撮影方向と、図15におけるカメラの撮影方向の差ε(撮影方向差という)は、ディスプレイに対するカメラの観察方向差Φと等しい。
Φ=ε
従って、撮影方向差εを取得できれば、上記のように第2の方向Θ1を求めることをしなくても、観察方向差Φを求めることができる。撮影方向差εは、例えばカメラが左右の動き(パン)の角度や上下の傾き(ティルト)の角度を制御可能な可動雲台に設置されている場合に、雲台の制御値から取得できる。雲台の制御は図11の制御装置CがカメラBに対する制御として実行するように構成すれば良い。この場合の制御装置Cは撮像装置の撮影方向を取得する第5取得手段である。
ディスプレイに対するカメラの観察方向差Φを求める第3の方法を説明する。図14におけるカメラの撮影方向と、図15におけるカメラの撮影方向の差ε(撮影方向差という)は、ディスプレイに対するカメラの観察方向差Φと等しい。
Φ=ε
従って、撮影方向差εを取得できれば、上記のように第2の方向Θ1を求めることをしなくても、観察方向差Φを求めることができる。撮影方向差εは、例えばカメラが左右の動き(パン)の角度や上下の傾き(ティルト)の角度を制御可能な可動雲台に設置されている場合に、雲台の制御値から取得できる。雲台の制御は図11の制御装置CがカメラBに対する制御として実行するように構成すれば良い。この場合の制御装置Cは撮像装置の撮影方向を取得する第5取得手段である。
以上、ディスプレイに対するカメラの観察方向差Φを求める方法を3通り説明したが、観察方向差Φを求める方法はこれに限らない。
以下、ディスプレイの画面の方向Θとディスプレイに対するカメラの観察方向差Φに基づき、ディスプレイの画面内の複数の異なる位置のそれぞれについて画面に対するカメラの観察方向を求め、キャリブレーションの目標値を補正する方法を説明する。
ここでは、以下の場合を例に説明する。
ディスプレイの画面の向きΘ=−45°
ディスプレイの観察方向差Φ=±5°
ディスプレイの画面の向きΘ=−45°
ディスプレイの観察方向差Φ=±5°
ディスプレイの画面の中央部に対するカメラの観察方向ΨCはディスプレイの画面の向きΘと同じである。
ΨC=Θ
=−45°
ΨC=Θ
=−45°
ディスプレイの画面の左側周縁部に対するカメラの観察方向ΨLは、中央部に対する観察方向と左側周縁部に対する観察方向との差ΦL(=−5°)を用いて、以下の式で求められる。
ΨL=Θ+ΦL
=−50°
ΨL=Θ+ΦL
=−50°
ディスプレイの画面の右側周縁部に対するカメラの観察方向ΨRは、中央部に対する観察方向と右側周縁部に対する観察方向との差ΦR(=+5°)を用いて、以下の式で求められる。
ΨR=Θ+ΦR
=−40°
ΨR=Θ+ΦR
=−40°
図16に基づき、上記のようして画面内の位置毎のカメラの観察方向ΨC、ΨL、ΨRに基づき画面内の位置毎にキャリブレーションの目標輝度を求める方法を示す。
図16によれば、正対する方向(Ψ=0°)から観察した場合の輝度が100cd/m2のディスプレイを、観察方向−50°(=ΨL)から観察した場合の輝度は53cd/m2である。また、観察方向−45°(=ΨC)から観察した場合の輝度は60cd/m2である。また、観察方向−40°(=ΨR)から観察した場合は輝度は65cd/m2である。観察方向−50°は、ディスプレイの画面の左側周縁部に対するカメラの観察方向ΨLに等しい。観察方向−45°は、ディスプレイの画面の中央部に対するカメラの観察方向ΨCに等しい。観察方向−40°は、ディスプレイの画面の右側周縁部に対するカメラの観察方向ΨRに等しい。
従って、ディスプレイの画面の左側周縁部については、目標輝度を53cd/m2とする。ディスプレイの画面の中央部については、目標輝度60cd/m2とする。ディスプレイの画面の右側周縁部については、目標輝度65cd/m2とする。これらの目標輝度に基づき、画面内の位置毎にキャリブレーションを行うことにより、ディスプレイに対して正対していないカメラを用いて、画面内の各位置について、正対する方向から見て100cd/m2になるように精度良く補正することができる。
(実施例3)
実施例1及び実施例2では、ディスプレイの画面の向きΘを推定する方法として、ディスプレイの画面に所定のパターン画像を表示し、カメラによる撮影画像における当該パターン画像の形状の元の形状に対する歪みを解析する方法を用いた。
実施例1及び実施例2では、ディスプレイの画面の向きΘを推定する方法として、ディスプレイの画面に所定のパターン画像を表示し、カメラによる撮影画像における当該パターン画像の形状の元の形状に対する歪みを解析する方法を用いた。
この方法では、ディスプレイの向きΘの場合に撮影画像におけるパターン画像の形状に生じる歪みの大きさは、表示する画像の形や大きさにもよるが、一般にcosΘに比例する。従って、ディスプレイの向きが正対に近く、Θの値が小さい(0に近い)場合、撮影画像におけるパターン画像の形状に生じる歪みが少なく検出感度が低くなる。
一方、ディスプレイの画面に表示したパターン画像ではなく、ディスプレイの奥行き方向の構造を撮影した撮影画像においては、当該構造の形状の元の形状に対する歪みの大きさは、一般にsinΘに比例する。そのため、Θの値が小さい(0に近い)場合に検出感度が高くなる。
一方、ディスプレイの画面に表示したパターン画像ではなく、ディスプレイの奥行き方向の構造を撮影した撮影画像においては、当該構造の形状の元の形状に対する歪みの大きさは、一般にsinΘに比例する。そのため、Θの値が小さい(0に近い)場合に検出感度が高くなる。
図17に基づき、ディスプレイの奥行き方向の構造をカメラにより撮影した撮影画像に
おける当該奥行き方向の構造の形状の元の形状に対する歪みを解析してディスプレイの向きΘを推定する方法を説明する。図17において、第1のディスプレイ1には、画面1−1、画面の枠部(ベゼル部)1−2、奥行き方向の構造として画面の側面部1−3がある。第2のディスプレイ2については、画面2−1、画面の枠部(ベゼル部)2−2がある。第2のディスプレイの画面2−1はカメラに正対しているが、第1のディスプレイの画面1−1はカメラに正対しておらず、斜め左の方向に向いている。
おける当該奥行き方向の構造の形状の元の形状に対する歪みを解析してディスプレイの向きΘを推定する方法を説明する。図17において、第1のディスプレイ1には、画面1−1、画面の枠部(ベゼル部)1−2、奥行き方向の構造として画面の側面部1−3がある。第2のディスプレイ2については、画面2−1、画面の枠部(ベゼル部)2−2がある。第2のディスプレイの画面2−1はカメラに正対しているが、第1のディスプレイの画面1−1はカメラに正対しておらず、斜め左の方向に向いている。
実施例1の図2と異なり、実施例3のディスプレイは奥行き方向にある程度の厚みがある構造を有している。そのため、カメラに正対しておらず、斜めの方向に向いている第1のディスプレイ1は、奥行き方向の構造の側面部1−3が撮影画像に写っている。一方、カメラに正対している第2のディスプレイ2は、奥行き方向の構造の側面部が撮影画像に写っていない。
この奥行き方向の構造の撮影画像における形状の歪みを解析することにより、ディスプレイの向きΘを推定することができる。特にΘが小さい値の場合でも精度良く推定することができる。
この奥行き方向の構造の撮影画像における形状の歪みを解析することにより、ディスプレイの向きΘを推定することができる。特にΘが小さい値の場合でも精度良く推定することができる。
画像解析に利用する奥行き方向の構造の形状は、側面部に限らず、上面部や下面部の構造であっても良い。また、ディスプレイの奥行き方向の構造の側面部、上面部、下面部に限らず、何らかの奥行きを持つ構造を利用しても良い。
(実施例4)
実施例4では、光学特性(見え方)が観察方向によって顕著に変化する光学部材を備えるディスプレイをカメラにより撮影して得られた撮影画像において、この光学部材の部分の画像を解析することにより、ディスプレイの画面の向きΘを推定する。ここでは、この光学部材(光学素子、光学構造)をインジケータ部と称する。
実施例4では、図11における画像認識部C−3−2は、光学特性が観察方向によって変化する光学部材を備えた表示装置を撮像装置により撮影して得られた撮影画像を取得する第1取得手段である。また、光学部材に対する観察方向と観察方向によって変化する光学部材の光学特性との関係の情報は、観察方向情報検出部C−3が有する記憶装置に記憶されているものとする。画像解析部C−3−3は、撮影画像を解析して画像内の光学部材の光学特性を求め、光学部材に対する観察方向と観察方向に応じた光学部材の光学特性との関係の情報に基づき、撮像装置に正対する方向に対する表示装置の画面の方向を取得する第2取得手段である。
キャリブレーション部C−4が、観察方向特性の情報を取得する第3取得手段であるのは実施例1と同様である。表示確認部C−4−1が、表示装置の画面において観察される光学的な物理量の目標値及び測定値を取得する第4取得手段であるのも実施例1と同様である。表示確認部C−4−1が、表示装置の画面の方向と、観察方向特性と、目標値及び測定値とに基づき、表示装置をキャリブレーションする必要があるか判定する判定手段であるのも実施例1と同様である。
実施例4では、光学特性(見え方)が観察方向によって顕著に変化する光学部材を備えるディスプレイをカメラにより撮影して得られた撮影画像において、この光学部材の部分の画像を解析することにより、ディスプレイの画面の向きΘを推定する。ここでは、この光学部材(光学素子、光学構造)をインジケータ部と称する。
実施例4では、図11における画像認識部C−3−2は、光学特性が観察方向によって変化する光学部材を備えた表示装置を撮像装置により撮影して得られた撮影画像を取得する第1取得手段である。また、光学部材に対する観察方向と観察方向によって変化する光学部材の光学特性との関係の情報は、観察方向情報検出部C−3が有する記憶装置に記憶されているものとする。画像解析部C−3−3は、撮影画像を解析して画像内の光学部材の光学特性を求め、光学部材に対する観察方向と観察方向に応じた光学部材の光学特性との関係の情報に基づき、撮像装置に正対する方向に対する表示装置の画面の方向を取得する第2取得手段である。
キャリブレーション部C−4が、観察方向特性の情報を取得する第3取得手段であるのは実施例1と同様である。表示確認部C−4−1が、表示装置の画面において観察される光学的な物理量の目標値及び測定値を取得する第4取得手段であるのも実施例1と同様である。表示確認部C−4−1が、表示装置の画面の方向と、観察方向特性と、目標値及び測定値とに基づき、表示装置をキャリブレーションする必要があるか判定する判定手段であるのも実施例1と同様である。
図18に基づいて説明する。第1のディスプレイ1は、画面1−1、画面の枠部(ベゼル部)1−2を有し、枠部1−2にインジケータ部1−4が設けられている。第2のディスプレイ2は、画面2−1、画面の枠部(ベゼル部)2−2を有し、枠部2−2にインジケータ部2−4が設けられている。第2のディスプレイ2の画面2−1はカメラに正対しているが、第1のディスプレイ1の画面1−1はカメラに正対しておらず、斜め左の方向に向いている。
図19(A)に、図18における第1のディスプレイ1の拡大図を示す。図19(A)において、インジケータ部1−4は、暗く見えている。図19(B)に、図18における第2のディスプレイ2の拡大図を示す。図19(B)において、インジケータ部2−4は
、明るく輝いて見えている。
このように、インジケータ部は、それを観察する方向によって見え方が顕著に変わる性質のため、それを撮像した画像の解析から、ディスプレイの画面の向きΘを精度良く推定することができる。インジケータ部を実現する光学部材の構造には種々のものが考えられる。
、明るく輝いて見えている。
このように、インジケータ部は、それを観察する方向によって見え方が顕著に変わる性質のため、それを撮像した画像の解析から、ディスプレイの画面の向きΘを精度良く推定することができる。インジケータ部を実現する光学部材の構造には種々のものが考えられる。
図20(A)に、視差を用いたインジケータ部の構造を示す。このインジケータ部は、第1の透明板101、第2の透明板102、拡散板103、発光素子(例えばLED(Light Emitting Diode))104を有する。この例では、インジケータ部は、微細なストライプパターンを形成した2枚の透明板を、数mm程度の距離を隔てて重ねあわせた構造になっている。また、その、奥側の透明板の裏面に拡散板とLEDを置き、これらの構造を裏側から照明している。この構造は、2枚の透明板のストライプパターンの視差により、顕著な観察方向特性を持つ。また、2枚の透明板に形成するパターンや重ねあわせの距離を変更することで、観察方向特性の顕著さを制御することができる。
図20(B)に、部分的に透過率や透過色を異ならせて形成した透明板を用いたインジケータ部の構造を示す。インジケータ部は、部分的に透過率や透過色を異ならせて形成した透明板201、発光素子(例えば白色LED)202を有する。この例では、インジケータ部は、部分的に透過率や透過色を異ならせて形成した透明板からなっている。その、裏側にLEDを置き、この透明板を裏側から照明している。この構造では、観察方向の違いによって、LEDからの発光が、透明板201の異なる部分を透過して観察されるため、透明板を透過するときの透過率や透過色が異なり、顕著な観察方向特性を持つ。
図20(C)に、回折構造を用いたインジケータ部の構造を示す。このインジケータ部は、透明板上に回折構造を形成した光学素子301、発光素子(例えばLED)302を有する。この例では、インジケータ部は、透明板上に、非常に微細なストライプパターンの回折格子を形成した透過型の光学素子からなっている。その、裏側に白色LEDを置き、この光学素子を裏側から照明している。この構造では、回折格子が、白色LEDからの発光を、波長によって異なる角度に回折するために、顕著な観察方向特性を持つ。回折構造を有する光学素子は、図20(C)のように、一般的な回折格子であっても良いが、より複雑な回折構造を有する光学素子であっても良い。
図21に、複雑な回折構造の光学素子を用いたインジケータ部の構造を示す。このインジケータ部は、反射型ホログラム401、発光素子(例えばLED)402を有する。この例では、インジケータ部は、干渉縞、或いは微細な凹凸構造等で、立体を記録したホログラム素子からなっている。ホログラム素子の斜め前面にLEDを置き、このホログラム素子を表側から照明している。この構造では、ホログラム素子に立体図形が記録されているため、ホログラム素子自体は薄くとも、光学的に、奥行き構造が実現されており、顕著な観察方向特性を持つ。ホログラムは、反射型ホログラムでも良いが、透過型ホログラムでも良い。
上記各実施例によれば、監視カメラ等の撮像装置によって一又は複数のディスプレイの画面を撮影し、撮影画像に基づき自動的にキャリブレーションを行うことができる。上述したように、本発明によれば、カメラがディスプレイに正対していない場合でも精度良くキャリブレーションを行うことができる。これにより、キャリブレーションに係るユーザの負担軽減が実現できる。また、例えば病院の読影室など、一つの部屋に多数のディスプレイがある場合に、これら複数のディスプレイを監視カメラで自動的に同時に、又は順次にキャリブレーションすることにより、キャリブレーションを効率的に行うことができる。よって、多数のディスプレイを常に適切にキャリブレーションされた状態に維持することができる。
(変形例)
キャリブレーションには、現状でのディスプレイの表示状態が本来の正しい表示状態であるかどうかを確認する表示確認の段階と、それ正しい状態にない場合に、正しい状態になるようディスプレイの制御条件を補正する表示補正の段階との2つの段階がある。上記実施例では、表示補正を行うシステムを例示したが、表示確認のみを行うシステムでも良い。その場合、表示確認によって正しい状態にないと判定された場合に、警告を出す等の処理を行っても良い。
キャリブレーションには、現状でのディスプレイの表示状態が本来の正しい表示状態であるかどうかを確認する表示確認の段階と、それ正しい状態にない場合に、正しい状態になるようディスプレイの制御条件を補正する表示補正の段階との2つの段階がある。上記実施例では、表示補正を行うシステムを例示したが、表示確認のみを行うシステムでも良い。その場合、表示確認によって正しい状態にないと判定された場合に、警告を出す等の処理を行っても良い。
上記実施例ではキャリブレーションに際してディスプレイに対するカメラの観察方向Ψに応じてキャリブレーションの目標輝度を補正する方法を示したが、カメラによる輝度の測定値の方を補正しても良い。この場合の補正係数は、前者の場合の補正係数の逆数程度になるのが普通である。また、ディスプレイの画面に対しカメラが正対している場合に観察される物理量の目標値と、ディスプレイの画面の方向と観察方向特性とに基づき補正した測定値と、を比較することによりキャリブレーション要否の判定を行う。
上記実施例ではカメラで輝度の測定値も取得する構成を示したが、輝度を測定するセンサをカメラとは別途設けて当該センサによる測定値を取得する構成としても良い。この構成では、カメラは撮影画像におけるパターン画像の歪みに基づき観察方向を検出するために用い、キャリブレーションのための現在値の測定は輝度センサによって行うこととなる。
上記実施例では、複数のディスプレイと、カメラと、制御装置と、がネットワークで接続され、制御装置がディスプレイ及びカメラに制御コマンドやデータを送信可能な構成に本発明を適用した例を説明したが、これに限らない。例えば、複数のディスプレイと画像ケーブル及び通信ケーブルで接続されたPC(Personal Computer)が制御装置であって
も良い。この場合、カメラも、例えばUSBケーブルや無線LAN等の有線又は無線接続でこのPCに接続される構成でも良い。また、上記実施例では複数のディスプレイに対しキャリブレーションを行う例を示したが、キャリブレーションを行うディスプレイの数はこれに限らず、1台でも3台以上であっても良い。
も良い。この場合、カメラも、例えばUSBケーブルや無線LAN等の有線又は無線接続でこのPCに接続される構成でも良い。また、上記実施例では複数のディスプレイに対しキャリブレーションを行う例を示したが、キャリブレーションを行うディスプレイの数はこれに限らず、1台でも3台以上であっても良い。
また、上記実施例では輝度のキャリブレーションを行う例を示したが、パターン画像をRGB等の複数の色について用意して各色のパターン画像について同様のキャリブレーションを行うことでホワイトバランス等の色に関するキャリブレーションも可能である。
また、キャリブレーション用の画像は矩形に限らない。また、複数の異なるパターン画像を表示させて解析を行うことでキャリブレーション対象のディスプレイの画面の向きをより精度良く推定することができる。パターン画像は単色で構成された画像である必要はなく、例えば2次元バーコードのように2値又はそれ以上の異なる色や明るさの画素から構成される画像であっても良い。
また、画面を複数のエリアに分割し、各エリアにパターン画像を表示させたときの撮影画像に基づきエリア毎にキャリブレーションを行っても良い。こうすることで面内ムラを補正することもできる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
C−3−2:画像認識部、C−3−3:画像解析部、C−4:キャリブレーション部、C−4−1:表示確認部
Claims (20)
- 表示装置の画面を撮像装置により撮影して得られた撮影画像を取得する第1取得手段と、
前記撮影画像に基づき、前記撮像装置に正対する方向に対する前記表示装置の画面の方向を取得する第2取得手段と、
前記表示装置の画面に対する観察方向と観察される光学的な物理量との関係を示す観察方向特性の情報を取得する第3取得手段と、
前記物理量の目標値及び測定値を取得する第4取得手段と、
前記表示装置の画面の方向と、前記観察方向特性と、前記目標値及び前記測定値とに基づき、前記表示装置をキャリブレーションする必要があるか判定する判定手段と、
を備える処理装置。 - 前記第2取得手段は、前記撮影画像に対し画像解析を行うことで前記表示装置の画面の方向を取得する請求項1に記載の処理装置。
- 前記撮影画像は、前記表示装置の画面に所定の画像を表示させた状態で前記撮像装置により撮影された画像であり、
前記第2取得手段は、前記所定の画像の元の形状に対する、前記撮影画像における前記所定の画像の形状の歪みを解析することにより、前記表示装置の画面の方向を取得する請求項2に記載の処理装置。 - 前記撮影画像は、前記表示装置のベゼルを前記撮像装置により撮影した画像であり、
前記第2取得手段は、前記表示装置のベゼルの元の形状に対する、前記撮影画像における前記表示装置のベゼルの形状の歪みを解析することにより、前記表示装置の画面の方向を取得する請求項2に記載の処理装置。 - 前記撮影画像は、前記表示装置の奥行き方向の構造を前記撮像装置により撮影した画像であり、
前記第2取得手段は、前記表示装置の奥行き方向の構造の元の形状に対する、前記撮影画像における前記表示装置の奥行き方向の構造の形状の歪みを解析することにより、前記表示装置の画面の方向を取得する請求項2に記載の処理装置。 - 前記第2取得手段は、前記歪みに対しアフィン変換による解析を行うことにより、前記表示装置の画面の方向を取得する請求項3〜5のいずれか1項に記載の処理装置。
- 前記撮影画像は、前記表示装置の画面に矩形の画像を表示させた状態で前記撮像装置により撮影された画像であり、
前記第2取得手段は、前記矩形の左辺及び右辺の高さの合計を矩形の幅で除した値である縦横比に基づき、前記表示装置の画面の方向を取得する請求項2に記載の処理装置。 - 前記目標値は、前記表示装置の画面に対し前記撮像装置が正対している場合に観察される前記物理量の目標値であり、
前記判定手段は、前記表示装置の画面の方向と前記観察方向特性とに基づき前記目標値を補正し、前記補正した目標値と前記測定値とを比較することにより、前記判定を行う請求項1〜7のいずれか1項に記載の処理装置。 - 前記目標値は、前記表示装置の画面に対し前記撮像装置が正対している場合に観察される前記物理量の目標値であり、
前記判定手段は、前記表示装置の画面の方向と前記観察方向特性とに基づき前記測定値
を補正し、前記目標値と前記補正した測定値とを比較することにより、前記判定を行う請求項1〜7のいずれか1項に記載の処理装置。 - 前記判定手段は、前記表示装置の画面の方向に基づき、前記表示装置の画面に対する前記撮像装置の観察方向を求め、前記撮像装置の観察方向に基づき前記判定を行う請求項1〜9のいずれか1項に記載の処理装置。
- 前記判定手段は、前記表示装置の画面内の異なる複数の位置のそれぞれについて、前記表示装置の画面に対する前記撮像装置の観察方向を求め、前記画面内の位置毎に、前記撮像装置の観察方向に基づき前記判定を行う請求項10に記載の処理装置。
- 前記表示装置の画面内の異なる複数の位置は、少なくとも前記表示装置の画面の中央部と周縁部とを含む請求項11に記載の処理装置。
- 前記判定手段は、前記画面の中央部に対する前記撮像装置の観察方向と前記画面の周縁部に対する前記撮像装置の観察方向との差である観察方向差を求め、当該観察方向差と前記表示装置の画面の方向とに基づき、前記画面の中央部に対する前記撮像装置の観察方向と、前記画面の周縁部に対する前記撮像装置の観察方向とを求める請求項12に記載の処理装置。
- 前記判定手段は、前記画面の中央部と周縁部との間の距離と、前記画面と前記撮像装置との距離と、に基づき、前記観察方向差を求める請求項13に記載の処理装置。
- 前記撮像装置は撮影方向を調節可能であり、
前記第2取得手段は、前記画面の中央部が撮影画像の中心になるように撮影方向を調節した場合の撮影画像に基づき、当該撮影方向に正対する方向に対する前記表示装置の画面の方向である第1の方向を取得するとともに、前記画面の周縁部が撮影画像の中心になるように撮影方向を調節した場合の撮影画像に基づき、当該撮影方向に正対する方向に対する前記表示装置の画面の方向である第2の方向を取得し、
前記判定手段は、前記第1の方向と前記第2の方向との差に基づき、前記観察方向差を求める請求項13に記載の処理装置。 - 前記撮像装置は撮影方向を調節可能であり、
前記撮像装置の撮影方向を取得する第5取得手段をさらに備え、
前記判定手段は、前記画面の中央部が撮影画像の中心になるように調節した場合の撮影方向と、前記画面の周縁部が撮影画像の中心になるように調節した場合の撮影方向との差である撮影方向差を求め、当該撮影方向差に基づき前記観察方向差を求める請求項13に記載の処理装置。 - 光学特性が観察方向によって変化する光学部材を備えた表示装置を撮像装置により撮影して得られた撮影画像を取得する第1取得手段と、
前記撮影画像と、前記光学部材に対する観察方向と前記光学特性との関係と、に基づき前記撮像装置に正対する方向に対する前記表示装置の画面の方向を取得する第2取得手段と、
前記表示装置の画面に対する観察方向と観察される光学的な物理量との関係を示す観察方向特性の情報を取得する第3取得手段と、
前記物理量の目標値及び測定値を取得する第4取得手段と、
前記表示装置の画面の方向と、前記観察方向特性と、前記目標値及び前記測定値とに基づき、前記表示装置をキャリブレーションする必要があるか判定する判定手段と、
を備える処理装置。 - 請求項1〜17のいずれか1項に記載の処理装置と、
前記処理装置によりキャリブレーションする必要があると判定された場合に、前記光学的な物理量を前記目標値に近づけるように前記表示装置のキャリブレーションを行うキャリブレーション手段と、
を備えるキャリブレーション装置。 - 表示装置の画面を撮像装置により撮影して得られた撮影画像を取得する第1取得工程と、
前記撮影画像に基づき、前記撮像装置に正対する方向に対する前記表示装置の画面の方向を取得する第2取得工程と、
前記表示装置の画面に対する観察方向と観察される光学的な物理量との関係を示す観察方向特性の情報を取得する第3取得工程と、
前記物理量の目標値及び測定値を取得する第4取得工程と、
前記表示装置の画面の方向と、前記観察方向特性と、前記目標値及び前記測定値とに基づき、前記表示装置をキャリブレーションする必要があるか判定する判定工程と、
を有する処理装置の制御方法。 - コンピュータに、
表示装置の画面を撮像装置により撮影して得られた撮影画像を取得する第1取得工程と、
前記撮影画像に基づき、前記撮像装置に正対する方向に対する前記表示装置の画面の方向を取得する第2取得工程と、
前記表示装置の画面に対する観察方向と観察される光学的な物理量との関係を示す観察方向特性の情報を取得する第3取得工程と、
前記物理量の目標値及び測定値を取得する第4取得工程と、
前記表示装置の画面の方向と、前記観察方向特性と、前記目標値及び前記測定値とに基づき、前記表示装置をキャリブレーションする必要があるか判定する判定工程と、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015146836A JP2017026519A (ja) | 2015-07-24 | 2015-07-24 | 処理装置、その制御方法、及びキャリブレーション装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015146836A JP2017026519A (ja) | 2015-07-24 | 2015-07-24 | 処理装置、その制御方法、及びキャリブレーション装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017026519A true JP2017026519A (ja) | 2017-02-02 |
Family
ID=57946477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015146836A Pending JP2017026519A (ja) | 2015-07-24 | 2015-07-24 | 処理装置、その制御方法、及びキャリブレーション装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017026519A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113063385A (zh) * | 2021-03-22 | 2021-07-02 | 飞天联合(北京)系统技术有限公司 | 屏幕角度校准方法及设备 |
-
2015
- 2015-07-24 JP JP2015146836A patent/JP2017026519A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113063385A (zh) * | 2021-03-22 | 2021-07-02 | 飞天联合(北京)系统技术有限公司 | 屏幕角度校准方法及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10931924B2 (en) | Method for the generation of a correction model of a camera for the correction of an aberration | |
US20140307100A1 (en) | Orthographic image capture system | |
US8717420B2 (en) | Head mounted image-sensing display device and composite image generating apparatus | |
US7856172B2 (en) | Jiggle measuring system and jiggle measuring method | |
TWI394431B (zh) | 評價立體影像顯示面板的方法及系統 | |
WO2005002240A1 (ja) | 表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置 | |
JP6945620B2 (ja) | システムの作動方法及びプログラム | |
JP6984071B1 (ja) | 器具なしレンズメータシステム | |
KR100775202B1 (ko) | 디스플레이의 다이나믹 영상 컬러 편이의 평가 시스템 및평가 방법 | |
JP2005318652A (ja) | 画像歪み補正機能を備えたプロジェクタ装置 | |
US20220148223A1 (en) | Lens Calibration System | |
JP4193342B2 (ja) | 3次元データ生成装置 | |
US10955235B2 (en) | Distance measurement apparatus and distance measurement method | |
WO2020194529A1 (ja) | 興味判定装置、興味判定システム、興味判定方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
JP2015119344A (ja) | 撮像素子の感度分布の測定装置及びその制御方法、画像表示装置のキャリブレーション装置及びその制御方法 | |
US11902504B2 (en) | Method and system for mapping the non-uniformity of an image sensor | |
JP2017026519A (ja) | 処理装置、その制御方法、及びキャリブレーション装置 | |
JP2021027584A (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR20160100824A (ko) | 배광 특성 측정 장치 및 배광 특성 측정 방법 | |
JP6885764B2 (ja) | レンズメータ | |
KR102487590B1 (ko) | 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법 | |
CN110174351B (zh) | 颜色测量装置及方法 | |
KR20180006814A (ko) | 자동 조정 기능을 구비하는 의료용 모니터 | |
JP6885762B2 (ja) | レンズメータ | |
CN107945236B (zh) | 一种适于通用光学系统的亚像素级非线性标定方法 |