JP2008102931A

JP2008102931A - 調整方法、システム、およびチップ

Info

Publication number: JP2008102931A
Application number: JP2007268689A
Authority: JP
Inventors: Doug Mcfadyen; マックファディエンダグ; Tatiana P Kadantseva; パブロブナカダントセバタティアナ
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2006-10-17
Filing date: 2007-10-16
Publication date: 2008-05-01
Anticipated expiration: 2027-10-16
Also published as: CN101166288A; US20080089611A1; JP4618287B2; KR20080034797A; US7835592B2; CN101166288B; TW200829956A; TWI357985B

Abstract

【課題】ヘッドアップ・ディスプレイ・システム用較正手法。
【解決手段】ゆがんだ面に投影される画像を調節する方法が提供される。方法はゆがんだ
面に投影された較正画像内の較正点を取り込むことで開始される。方法は較正点を分析し
て較正点間の相対位置を判定することを含む。一実施形態で、方法は較正点の連続行の開
始点をみつけるために擬似基点を用いる。較正点は相対位置に従って順序付けられる。順
序付けられた較正点は画像データをゆがんだ面に投影する前に画像データを変更するため
に用いることができる。ゆがんだ面に投影された画像がゆがんで見えないように点を較正
するシステムも提供される。
【選択図】図９

Description

本発明は、調整方法、システム、およびチップに関する発明である。

自動車における安全機能を向上させる試みとして、いくつかの自動車機種でヘッドアッ
プ・ディスプレイ（ＨＵＤ）が購入者に対しオプションとして提供されている。計器パネ
ルからフロント・ガラスに虚像が投影される。フロント・ガラスは運転者の目に対し平た
く、または垂直でないことから、ゆがみがなく読み易くするために画像を補正しなければ
ならない。解決法によっては特別な楔形中間層を用いてガラスのジオメトリを変え、画像
反映に必要な光学補正を提供している。他の解決法においては自動車製造の際技術者が光
学レンズを手動で調節し、知覚される画像にゆがみがないよう投影画像を変える。

米国特許出願公開第２００５０１５７３９８号明細書

しかし、現在の解決法はすべてプロジェクタの変更、観察者の視点、またはフロント・
ガラスの変化に対し適応する能力に欠けている。従って、最初に設定した後に何かが変化
した場合、車両の持ち主はその変化に対応するために車両を修理に持ち込み、システムを
再調節しなければならない。これらの制限のため現在利用できるＨＵＤシステムは融通が
利かず、高価になる。

結果として、消費者に広く受け入れられるためには先行技術の問題を解決し、費用効率
良い方法で調節できるＨＵＤシステムを提供する必要がある。

おおまかに言って、本発明は見る者がゆがみなしで画像を見ることができるよう画像を
ゆがんだ面に投影するまえに調節するためのデータを提供する較正手法を提供することに
よりこれらのニーズを満たす。本発明はプロセス、装置、システム、デバイス、または方
法を含み多数の形で実施できることが理解されよう。以下に本発明の創意に富んだいくつ
かの実施形態が説明される。

一実施形態で、ゆがんだ面に投影される画像を調節する方法が提供される。方法はゆが
んだ面に投影される較正画像内の較正点を取り込むことから開始する。一実施形態で、較
正画像は中の頂点に点を有するグリッドで、較正画像はデジタル形式で取り込まれる。方
法は較正点を分析し較正点間の相対位置を判定することを含む。一実施形態で、方法は較
正点の連続する行に対し開始点をみつけるために擬似基点を利用する。較正点は相対位置
に従って順序付けられる。順序付けられた較正点は画像データをゆがんだ面に投影する前
に画像データを変更するために適用することができる。

別の実施形態で、ゆがんだ面に投影された画像がゆがんでいない面に投影されたと知覚
されるために画像をどのように修正するかを判定する方法が提供される。方法はパターン
を有する較正画像を第１視点からゆがんだ面上に投影し、ゆがんだ面からの影響を受けた
較正画像を取り込むことを含む。一実施形態で、画像はデジタル・カメラを通して取り込
まれる。方法はさらに取り込まれた較正画像の分析を通してパターンの点を認識すること
を含む。一実施形態で、左上の較正点をみつけ、次に残りの点の距離および相対位置に従
い行毎に残りの較正点をみつける。みつけられた点は次に取り込まれた較正画像のパター
ンに対応するようアレイ内で順序付けられる。各方法は第２視点から繰り返される。次に
第１視点からのアレイまたは第２視点からのアレイを適用し、画像がゆがんでいない面に
投影されていると知覚されるよう対応視点から投影される画像データを調節することがで
きる。

さらに別の実施形態で、湾曲面上の点の相対位置を定義するシステムが提供される。シ
ステムは湾曲面にパターン化画像を投影するよう構成される画像生成装置および湾曲面に
投影されたパターン化画像をデジタル化して取り込む画像取り込み装置を含む。プロセッ
サおよびメモリを有する演算システムも提供される。メモリはデジタル化して取り込まれ
たデジタル点を認識するよう攻勢される較正論理を含む。較正論理はさらにデジタル化し
て取り込まれたパターン化画像の左上のデジタル点を認識し、最上行および続く各行にお
ける残りのデジタル点を順序付けるよう構成される。

本発明の一態様である、ゆがんだ面に投影された画像を調節する方法は、ゆがんだ面に
投影された較正画像内の較正点を取り込むステップと、較正点を分析し較正点間の相対位
置を判定するステップと、相対位置に従い較正点を順序付けるステップと、順序付けられ
た較正点を適用してゆがんだ面への投影前に画像を変更するステップとを含む。

また、さらに、順序付けられた較正点を適用してゆがんだ面に投影される画像を調節す
るステップを含むものでもよい。

また、ゆがんだ面に投影された較正画像内の較正点を取り込むステップは観察者の視点
から較正画像をデジタル化して撮影するステップを含むものでもよい。

また、較正点を分析し較正点間の相対位置を判定するステップは、較正画像をスキャン
して各較正点をみつけるステップと、較正点各々の位置を表す座標をアレイに加えるステ
ップとを含むものでもよい。

また、較正画像をスキャンして各較正点をみつけるステップは、閾値より高い輝度値を
有するピクセル値をみつけるステップと、ピクセル値に対応するピクセルを囲む領域を定
義するステップと、領域において閾値より高い輝度値を有する各ピクセルを特定するステ
ップと、特定されたピクセルすべてを囲むクロッピング・ボックスを計算するステップで
、クロッピング・ボックスは領域内で定義されるステップと、クロッピング・ボックスの
中心を特定するステップと、較正点の１つにクロッピング・ボックスの中心の座標を割り
当てるステップとを含むものでもよい。

また、閾値より高い輝度を有する各ピクセルの値は特定後閾値より低くリセットされる
ものでもよい。

また、相対位置に従って較正点を順序付けるステップは、ａ）最小Ｙ座標を有する較正
点を特定するステップと、ｂ）最小Ｙ座標を有する較正点および最小Ｙ座標を有する較正
点に最も近い点との距離を判定するステップと、ｃ）距離の倍数内のすべての較正点を特
定するステップと、ｄ）距離の倍数内のどの較正点が較正点のＸ座標より低いＸ座標およ
び最小Ｙ座標を有するか判定するステップと、を含むものでもよい。

また、さらに、距離の倍数内の較正点すべてが較正点の閾値未満であるまでａ）〜ｄ）
を続けるステップとを含むものでもよい。

また、較正点の閾値は３以下であってもよい。

また、相対位置に従い較正点を順序付けるステップは、最上行の左端の点に最も近い擬
似基点を定義し、次行における左端の点をみつけるのに用いるステップと、続く行に対し
定義を繰り返すステップを含むものでもよい。

また、さらに、各行を渡り、相当する行内の較正点の相対位置を判定するステップを含
み、相当する行内の較正点各々がみつかるにつれ、各々の較正点識別子は未整理のアレイ
から順序付けられたアレイに移動されるものでもよい。

た、相対位置に従い較正点を順序付けるステップは、分析ステップにより判定された較
正点の相対位置を表すデータを未整理のアレイから順序付けられたアレイに移転するステ
ップと、順序付けられたアレイの相対位置を表すデータを較正点の座標に対するオフセッ
トに変換するステップを含むものでもよい。

また、相対位置に従い較正点を順序付けるステップは、取り込まれた較正点に余分の１
列および余分の１行を追加したために導入されるエッジ・スキューを補正するために投影
された画像の外側エッジに沿う較正点の座標を調節するステップを含むものでもよい。

本発明の一態様である、ゆがんだ面に投影された画像がゆがんでいない面に投影された
と知覚されるために画像を調整する調整方法は、パターンを有する較正画像を第１視点か
らゆがんだ面に投影するステップと、ゆがんだ面の影響を含む較正画像を取り込むステッ
プと、取り込まれた較正画像の分析によりパターンの点を認識すること、取り込まれた較
正画像のパターンに対応させるようアレイ内の点を順序付けるステップと、各々のステッ
プを第２視点から繰り返すステップと、画像がゆがんでいない面に投影されていると知覚
されるよう、第１視点からのアレイまたは第２視点からのアレイのいずれかを対応する視
点から投影された画像データで処理するステップとを含む。

また、パターンはグリッド上のドットであってもよい。

また、ゆがんだ面は車両のフロント・ガラスであってもよい。

また、パターンの点は各々の点に輝度値を輝度の閾値と比較することにより認識される
ものでもよい。

また、取り込まれた較正画像のパターンに対応させるようアレイ内の点を順序付けるス
テップは、ａ）取り込まれた較正画像の左上の点をみつけるステップと、ｂ）較正画像に
おける最上行内の続く点をみつけるステップと、ｃ）較正画像の続く行に対しａ）および
ｂ）を繰り返すステップと、前記続く点を表すデータを取り込まれた較正画像に対応する
順序付けられたアレイに格納するステップとを含むものでもよい。

また、取り込まれた較正画像のパターンに対応させるようアレイ内の点を順序付けるス
テップは、取り込まれた較正画像の左上の点をみつけるステップと、左上の点から最も近
い点までの距離を計算するステップと、左上の点からの距離に擬似基点を定義するステッ
プと、擬似基点から次行の左上の点をみつけるステップと、を含むものでもよい。

また、さらに、擬似基点を定義後、未整理アレイから左上の点を削除するステップと、
擬似基点を定義する左上の点からの距離を差し引くステップと、を含むものでもよい。

また、ステップの各々はコンピュータ読み取り可能な媒体上のプログラム命令として具
現されるものでもよい。

本発明の一態様である、湾曲面上における点の相対位置を定義するシステムは、湾曲面
にパターン化画像を投影するよう構成される画像生成装置と、湾曲面に投影されたパター
ン化画像をデジタル化して取り込むよう構成される画像取り込み装置、プロセッサおよび
メモリを有する演算システムで、メモリはデジタル化して取り込まれたパターン化画像の
デジタル点を認識するよう構成される較正論理を含み、較正論理はさらにデジタル化して
取り込まれたパターン化画像の左上のデジタル点を特定し最上行および続く各行の残りの
デジタル点を順序付けるよう構成される、演算システムを含む。

また、パターン化画像はグリッドでデジタル点はグリッドの頂点であってもよい。

また、演算システムは画像取り込み装置に組み込まれているものであってもよい。

また、較正論理は一ピクセル領域内で最小Ｙ座標および最小の隣接ピクセル数を有する
デジタル点を特定することにより左上のデジタル点をみつけるものであってもよい。

また、較正論理は左上のデジタル点をみつけた後擬似基点を生成し、擬似基点は次行の
左上のデジタル点をみつけるために用いられるものであってもよい。

また、デジタル点の位置を表す値を未整理のアレイから順序付けられたアレイに移転し
移転後未整理アレイからデジタル点を削除することにより順序が維持されるものであって
もよい。

また、画像取り込み装置は異なった視点から投影される複数の画像を取り込み、複数の
画像各々に対する順序付けられたアレイを維持するものであってもよい。

また、位置を表す値はオフセットとして格納されるものであってもよい。

本発明の一態様である、複数の較正点を適用して画像を調節するシステムに用いられる
チップは、閾値より高い輝度値を有するピクセル値をみつけ、ピクセル値に対応するピク
セルを囲む領域を定義し、領域内で閾値より高い輝度値を有する各ピクセルを特定し、特
定されたピクセルすべてを囲むクロッピング・ボックスを計算し、クロッピング・ボック
スは領域内で定義され、クロッピング・ボックスの中心を特定し、クロッピング・ボック
スの中心の座標を較正点の１つに対し割り当てる較正論理を含む。本発明の一態様である
、複数の較正点を適用して画像を調節するシステムは、閾値より高い輝度値を有するピク
セル値をみつけ、ピクセル値に対応するピクセルを囲む領域を定義し、領域内で閾値より
高い輝度値を有する各ピクセルを特定し、特定されたピクセルすべてを囲むクロッピング
・ボックスを計算し、クロッピン・ボックスは領域内で定義され、クロッピング・ボック
スの中心を特定し、クロッピング・ボックスの中心の座標を較正点の１つに対し割り当て
る較正論理を含む。

本発明の利点は発明の原理を例示する添付図面と併せて以下の詳細な説明により明らか
になろう。

本発明は添付図面と併せて以下の詳細な説明により容易に理解されよう。類似する参照
番号は類似する構成要素を指す。以下の説明において、本発明の充分な理解を与えるため
に多数の具体的な詳細が記述される。しかし、当業者であれば、本発明はこれら具体的な
詳細のいくつかがなくても実施できることを理解しよう。逆に、発明を不必要に分かりに
くくしないよう周知のプロセス手順および実施の詳細は詳しく説明していない。

ゆがんだ面にゆがみを修正した画像を形成するために、以下に説明する実施形態に従い
一回限りの較正プロセスが実施される。この較正プロセスは各投影、面および観察者の視
点の場合に対し実施される。すなわち、プロジェクタ、または画像生成装置が変更もしく
は動かされた場合、または面が変更もしくは動かされた場合、または観察者の視点が移動
した場合、新たな較正プロセスが必要となる。一実施形態で、複数の較正プロセスからの
データを保存することができる。この実施形態では例えばプロジェクタの、観察者の視点
の等々、変化に応答して保存データをアクセスすることができる。従って、変化した状態
に対応するために手動で光学レンズを調節しなければならない代わりに、保存された較正
データをアクセスしてはるかに効率的な形でデジタルな解決法を提供することができる。

較正プロセスのハイレベルな概要として次の操作が実施される。較正画像がゆがんだ面
に通常の形で投影される。ゆがんだ面に投影された較正画像は観察者の視点からデジタル
化して撮影される。次にデジタル写真のデータはさらに詳細に後述される機能を有するソ
フトウェアにより分析され処理される。処理の結果は逆ゆがみソフトウェアとも呼ばれる
ゆがみ修正ソフトウェアの入力データとなり、ソフトウェアは較正結果に基づき意図的に
データを操作し、ゆがみ修正ソフトウェアで修正された投影画像は観察者から見た時にゆ
がみなしに見えるようにする。

図１Ｂ乃至図１Ｅは発明の一実施形態によりデジタル画像上の各較正点をみつける手法
を示す簡略化された概略図である。図１Ａではデジタル点のグリッドが提供され、デジタ
ル化して取り込まれる。一実施形態で、デジタル点のグリッドはゆがんだ面に投影され、
デジタル・カメラで取り込まれる。ゆがんだ面１０３は湾曲した面を有するとともに、キ
ーストン効果をもたらす、プロジェクタに対し平面的な角度を有する自動車のフロント・
ガラスであり得ることが理解されよう。しかし、本明細書で説明される実施形態は任意の
適当なゆがんだ面に適用することができる。面は凹面、凸面、または双方の組み合わせを
含むことができ、面は角度を持った傾斜を有することもできる。一実施形態で、ゆがんだ
面１０３の湾曲度は取り込み装置の方向に対し４５度の回転またはキーストン化であるこ
とができるが、当業者であれば本明細書に記載される実施形態はより大きい湾曲度に対応
するために調節して適用できることを理解しよう。本明細書で説明する較正プロセスはド
ット／点に対し機能し、これらドット／点は正方形（ｑｕａｄ）の４頂点にたまたま対応
しているが、これは限定を意図していない。すなわち、本明細書でデジタル点のグリッド
に関し考察している点はデジタル点がフリッド内の長方形の頂点でもある１つの代表的な
実施形態であるので、頂点という用語は実施形態を限定することを意図していない。

図１Ｂは図１におけるグリッド内の単独のデジタル点を図示しており、単独のデジタル
点は複数のピクセルを含む。デジタル点１００は輝度が異なるピクセルを含んでいる。一
実施形態で、ソフトウェアは取り込んだデジタル画像をスキャンしてデジタル点を捜す。
デジタル点をみつけることは画像ピクセルにわたりスキャンしながらピクセル値を比較し
、特定の閾値を越えた輝度を有する値をみつけることにより達成できる。一実施形態で閾
値はプログラムができ、照明条件に基づき変更することができる。図１Ｂはピクセルのク
ラスタ１００ａを含むデジタル点１００を図示している。図１Ｃでは、ピクセル値の外部
境界は閾値を越えていないので、閾値を用いてピクセル値の外部境界を除外する。このよ
うに、デジタル点１００は閾値を越えていない値を有するピクセルを取り除いた後、図１
Ｃでクラスタ１００’として定義される。図１Ｄは発明の一実施形態に従い画像をスキャ
ンする際ピクセルのクラスタ１００’の周りに定義される領域を図示し、１００ａはデジ
タル点を表す。図１Ｄにおいて、一旦、デジタル点の最初のピクセルがみつかると、ピク
セルのクラスタ１００ａの周りにスキャン区域１０２が定義される。発明の一実施形態で
スキャン区域１０２のサイズはデジタル画像のサイズに関する数学的計算に基づく。当業
者であればスキャン区域１０２のサイズを定義するのに多数の手法を用いることができる
ことを理解しよう。スキャン区域１０２は成長長方形と呼ぶことができるが、較正点を定
義する特定領域内のすべてのピクセルをみつけることでスキャン・プロセスを援助するこ
とが特記される。加えて、本明細書に説明する実施形態はスキャンが次のピクセルに移る
前に削除、すなわち閾値を越えたピクセル値についてピクセル値を黒に設定することを含
む。当業者であれば特定のクラスタ１００’のピクセルすべてが削除されない、すなわち
ピクセル値が０、黒、または閾値より低い何らかの値に設定されない場合、これらのピク
セルはスキャン・プロセスの際再度見られ、二重またはゴースト・ピクセルとなる。

図１Ｅは発明の一実施形態で、ピクセルのクラスタ全体のスキャンが完了後定義された
中央点を有するピクセルのクラスタを図示する。図１Ｅにおいて、ピクセルのクラスタ１
００’の周りにクロッピング・ボックス１０２’が定義される。クロッピング・ボックス
１０２’はデジタル点１００の範囲を表す。クロッピング・ボックス１０２’からソフト
ウェアはクラスタの中央点１０４を計算する。この中央点は次にクラスタ１００’の相対
座標として用いられる。クラスタ１００’の座標は較正座標のアレイに加えられ格納され
る。較正グリッドにおいて各デジタル点がみつかるにつれプロセスは続けられ、図１Ｂな
いし１Ｅに関して上述したスキャンを通してこれらデジタル点が見出されるにつれアレイ
は成長する。

上述のように、一実施形態で較正画像はグリッド・パターンに均一に間隔を取ったドッ
ト（または点）のアレイを含む。通常、点の間隔は最も一般的なブロック・サイズの２つ
である１６または３２ピクセルのいずれかである。較正画像は静的ビットマップでも良く
、ソフトウェアにより生成されても良い。代表的な幅６４０ピクセル×高さ４８０行の表
示解像度の場合、領域は１６または３２のブロック・サイズを用いて均等にグリッドに分
割される。例えば３２ピクセルのブロック・サイズを用いた場合、水平方向に２１点、垂
直方向に１６点できる。この例では較正画像において合計３３６点形成される。

６４０／３２＝２０で４８０／３２＝１５であるが、右端のエッジに１列余分の点が加
えられ水平合計を２１とし、下端のエッジに１行余分の点が加えられ垂直合計を１６とし
てあることが特記される。点の余分の行／列はまさに画像のエッジを事実上表し、論理的
に多少「画像からはずれて」移動させるために何らかのソフトウェア調節が必要となる。
これは後ほどより詳細に説明される。ソフトウェアはデジタル写真を分析し、ゆがんだ面
に投影されたと「見られた」すべての点をみつけようとする。投影された較正点より明る
いピクセルはソフトウェアにより認識されるので、デジタル写真はこれらの点を含まない
ことが理解されよう。ゆがんだ面に投影されデジタル・カメラにより見られた較正点は、
較正点をそれらの強度または輝度を通して識別した場合、デジタル写真において最も明る
いオブジェクトである。上述のように、較正ソフトウェアは較正点の相対位置に関心があ
るため、デジタル写真内における較正点のアレイの位置は重要でない。元に投影された較
正画像は分かっているので、較正ソフトウェアはすべての点をみつけ、正しい順序に順序
付ける。較正点の絶対座標は相対座標に変換され、次に後述するようにゆがみ修正ソフト
ウェアにより処理される。このように、図１Ｂ〜１Ｅに関し、スキャンが完了し上記例の
グリッドが用いられた場合、アレイに３３６点あるはずである。最終アレイに３３６点な
い場合、輝度閾値を変更し、スキャン・プロセスを繰り返すことができる。

図２は発明の一実施形態により、スキャンされたアレイの左上較正点を見つける援助を
するために格納されたアレイの最高および最小のＸおよびＹを見つける手法を図示する簡
略化された概略図である。図２において、較正点のアレイの周りに境界付けボックス１０
６が有効に作成される。点のアレイを整理するために左上の較正点をみつける際、Ｙ_min
における点は重要であることが理解されよう。すなわち、Ｙ_minにみつけられる較正点、
またはデジタル点、は境界付けボックス１０６内におけるデジタル点のアレイの最上行に
位置していることが保証される。ソフトウェアはこれが最上行のどの点であるかまだ認識
していないので、Ｙ_minにおける現在の点から左上の点１０８に移るためにスキャン・プ
ロセスが開始される。

図３は発明の一実施形態により、デジタル点のアレイの左上にある点に向かうために近
辺の点の位置確認を図示する簡略化された概略図である。アルゴリズムはＹ_minに位置す
る点からアレイ上で最も近い距離を測定する。一旦の距離（Ｄ）が分かると、Ｄの約１．
８倍の半径を用いて現在点の近辺の点が定義される。当業者であれば、１.８の倍数はい
くつかの変量に基づき変更することができ、倍数は１．８という値に限定する意図ではな
いことが明らかであろう。アルゴリズムは次にＤ１１０内の近辺のデジタル点すべて、す
なわち点１〜点５を判定し、Ｙ_minの左にある点、すなわち点１を選択する。この点は最
小のＹ座標および近辺の点のＹ_min未満のＸ座標を有する点として選択することができる
。このプロセスは点１から、左上の点がみつかるまで続けられることが理解されよう。さ
らに詳細に後述されるとおり、アルゴリズムは半径内で近辺ある点の数を数え、点の数が
閾値未満である場合スキャンを停止することができる。

図４は発明の一実施形態により、左上の点の位置確認を図示する簡略化された概略図で
ある。ここでは、アルゴリズムが点１０８をみつけ、半径内で近辺にある点の数が数えら
れると、点１Ａ〜点３Ａが特定される。点の数が３以下である場合、ソフトウェアはスキ
ャンを停止し、現在の点が求める左上の点であるとみなす。すなわち、左上の点に到達す
ると、点１０８より左にもはや列がないのでそばにある点の数が５から３に減り、左上の
点に到達したことを示す。

図５Ａおよび図５Ｂは発明の一実施形態により、一旦左上の点がみつかった場合に点の
アレイを順序付ける手法を図示する。較正点のアレイは事実上順序立っていない。未整理
のアレイは左から右、上から下に順序付けられた（英語を読む場合と同じ）新たな順序付
けられたアレイにコピーされる。未整理のアレイから順序付けられたアレイに点がコピー
されるにつれ、各行の初めに擬似基点が作成される。擬似基点はアレイが処理され順序付
けられるにあたり後続の各行の左端の点を位置づける手助けとして各行の初めに作成され
る。図５Ａで、点１および最も近い点２０２までの距離２００が計算される。一旦最上行
が順序付けられると、距離２００を点１のＸ座標から差し引くことにより次の行の初期基
点として用いる擬似基点２０４（点３）が定義される。擬似基点２０４は次の行の第１点
になる。図５Ｂに図示するように、後続する行では擬似基点２０４を用い、最も近い点（
３Ｐ）までの距離２００’が計算される。最も近い点（３Ｐ）がその行の第１点となる。
この行をスキャンする前に、距離（４Ｐ）が計算され、後続する行に対し新たな擬似基点
（５Ｐ）が計算される。従って各行に対し新たな擬似基点が計算される。各行の第１点は
擬似基点に最も近い点であるはずであるので、このプロセスは各行の第１点が確実にみつ
かることを保証する。擬似基点の使用は続く行の開始点を間違って特定する可能性を最小
限にとどめる。

図６Ａおよび図６Ｂは発明の一実施形態により、行の第１点が一旦みつかった後の行内
のスキャン・プロセスを示す。基本的に、図６Ａおよび図６Ｂの実施形態は現在の行を左
から右に渡る。アルゴリズムは基本的に現在点の右にあり最小のＹ値を有する点をみつけ
る。１行内の各点がみつかると点は最初に格納されていた未整理のアレイから順序付けら
れたアレイに移され、その点が次に現在点になり、プロセスは行に渡り続けられる。図６
Ａにおいて、現在点各々に対し２つの最も近い点３０２および３０４が特定される。行は
左から右に渡り、図６Ｂに図示されるように点３００は場合により現在の点２９０の右に
位置することができる。この例では上述のとおり点３００および３０２が特定される。し
かしソフトウェアは点２９０の右にあり最小Ｙ値を有する点を選択し、これは点３０２に
なる。点が見つかるにあたり未整理のアレイから取り除かれる。従って一旦点がみつかり
順序付けられたアレイに移されるとその点はそれ以上スキャン・プロセスに介入しない。
一旦すべての行がスキャンされると、点はすべて順序付けられたアレイに移されたことに
なり、未整理のアレイは空になりそれ以上使用されなくなる。

図７Ａ乃至図７Ｄは発明の一実施形態による、エッジ境界点の調節を図示する。元の較
正画像は正しい位置から多少はずれたエッジ点を含むことが理解されよう。このエッジの
スキュー（ｅｄｇｅｓｋｅｗｉｎｇ）は較正グリッドのデジタル画像を取り込むデジタ
ル・カメラまたは装置が４つのエッジ付近の点をすべて確実に解像できるようになされる
。これらの点がスキューされなかった場合、最上行および左端の点は非常に淡く、最下行
および右端の点は見ることすらできなくなる（論理的には画像からはずれているため）。
較正ソフトウェアはエッジのスキュー量および較正画像を知っているので、スキューはこ
のスキューによるオフセットを帳消しにするために補正することができる。すなわち、一
実施形態で較正画像は３×３のピクセル・クラスタを含む点を含む。最上行および左端の
点は図７Ａおよび７Ｃに示すように１ピクセル分スキューされ、一方最下行および右端は
図７Ｂおよび７Ｄに示すように２ピクセル分スキューされている。最上行の点のＹ座標は
点のサイズ１／３分上方に調節される（図７Ａ参照）。左列の点のＸ座標は点のサイズ１
／３分左に調節される（図７Ｃ参照）。右列の点のＸ座標は点のサイズ２／３分右に調節
される（図７Ｂ参照）。最下行の点のＹ座標は点のサイズ２／３分下方に調節される（図
７Ｄ参照）。従って最上および左の点は点のサイズ１／３分調節されることができ、最下
および右の点は点のサイズ２／３分調節されることができる。

発明の一実施形態で、これらの調節は点に対し定位置でなされる。調節は直交のみであ
るが（角度は考慮されない）、調節は極めてわずかなため、角度を考慮しないことは無視
できる。エッジの点は較正画像においてスキューされたので、エッジの調節はエッジの点
が各々およそどこにあるべきかを予測することによりゆがみグリッドのエッジの向上に役
立つ。

図８は発明の一実施形態により本明細書に説明する実施形態を実施し得るシステムの簡
略化された概略図である。チップ４００は中央演算装置（ＣＰＵ）４０２、メモリ４０４
、および入出力モジュール４０８を含む。メモリ４０４は較正論理４０６を含む。一実施
形態で較正論理４０６は本明細書で説明する機能を実行できるプログラム命令を含む。較
正論理４０６はソフトウェア、ハードウェア、または双方の何らかの組み合わせであるこ
とができる。加えて、一実施形態で、較正論理はグラフィックス・プロセッサまたはＨＵ
Ｄを生成するチップなど、処理チップに組み込むことができる。あるいは、較正論理は独
立型装置に組み込むことができ、すなわちＨＵＤモジュールに組み込まれなくても良い。
当業者であれば装置／機器は多数の構成を有し得、これら構成のいずれも本明細書で説明
する実施形態で用いて装置／機器に投影された画像に対するゆがんだ面の影響を分析する
機能性を提供できることを理解しよう。一実施形態で、チップ４００はデジタル・カメラ
などの画像取り込み装置に組み入れることができる。もちろん取り込み装置により取り込
まれたデジタル画像はチップ４００を含む演算装置に提供することができるので、デジタ
ル・カメラに組み入れることは必要ではない。

図９はゆがんだ面に投影される画像がゆがんでいない面に投影されたと知覚されるよう
に画像をどのように修正するかを判定する方法を図示するフローチローチ図である。方法
はステップＳ５００で開始し、パターンを有する較正画像が第１視点からゆがんだ面に投
影される。ここで、較正画像は図１Ｂ乃至図１Ｅについて上述したようにグリッド形式の
一連のドットであることができ、各ドットはグリッドの幾何学的形状の頂点となる。較正
画像は次にゆがんだ面の影響が現れた形で取り込まれる。例えば、デジタル・カメラを用
いてゆがんだ面に投影された較正画像を撮影することができる。方法は次にステップＳ５
０２に進み、取り込まれた較正画像の分析によりパターンのドットが認識される。一実施
形態で、図１Ｂ乃至図１Ｅに関して上述したようにピクセル値がスキャンされ、輝度の閾
値と比較される。方法は次にステップＳ５０４に進み、アレイ内の点が取り込まれた較正
画像のパターンに対応するよう順序付けられる。このステップにおいて、左上の較正点が
みつけられ、各行は図４乃至図６に関して説明したように渡られる。上述のように、擬似
基点を定義して点のアレイの順序付けに役立てることができる。加えて、データの各行は
上述のようにわたることができる。多数の視点を取り込むか、またはゆがんだ面の変化等
々に対応するため、ステップＳ５０６において各方法を繰り返すことにより複数の較正を
実施することができる。

順序付けられたアレイはデジタル写真の世界空間における較正点の座標を含む。通常あ
らたな境界付けボックスが計算され、次に境界付けボックスの左上の隅である新たなバー
チャル基点に対しすべての座標が調節される。次に座標はすべてデジタル写真のスケール
から画像スケール（通常６４０×４８０）にスケールされる。最後に、一実施形態で座標
はオフセット（デルタ）に変換され、これはソフトウェアが各較正点に対する実際の座標
を知っているので行うことができる。較正データを使用することができる較正ソフトウェ
アおよびゆがみ修正ソフトウェア双方とも較正画像を認識しており各較正点の位置を知っ
ているので、これらの工程は主観的である。すなわち、当業者であれば較正データがどの
ようにゆがみ修正ソフトウェアにわたされるかには多数のオプションがあることが明らか
であろう。

図１０は発明の一実施形態により上記に説明する較正手法がヘッドアップ・ディスプレ
イ（ＨＵＤ）装置の全体的な処理の中でどのように当てはまるかを示すハイレベルのフロ
ーチローチである。方法はステップＳ６００で開始し、較正画像はある視点からゆがんだ
面に投影される。方法は次にステップＳ６０２に進み、較正画像はゆがんだ面による影響
を含んで取り込まれる。図１Ａおよび９に関して上述のように、デジタル点の任意のパタ
ーンをデジタル化して取り込むことができ、図１Ａはデジタル点の代表的なパターンを１
つ提供している。方法は次にステップＳ６０４に進み、取り込まれた画像データの分析に
より取り込まれた画像のデジタル点が認識される。上記図２〜図９に関し考察したように
、デジタル点は順序付けられたアレイに整理され、例えばゆがみ修正プロセスにおいてい
ずれ利用される。ステップＳ６０８で較正データの視覚的検証が必要か判定される。視覚
的検証が必要な場合、順序付けられたアレイは表示画像をゆがめるために用いられるオフ
セット表にロードされ、視覚的検証はステップＳ６１２に示すように行われる。ステップ
Ｓ６０８で視覚的検証が必要ないと判定された場合、方法はステップＳ６１０に進み、さ
らに視点が望ましいか判定される。例えば、車両の運転者に関すれば、異なった座席の位
置は異なった視点に対応するかもしれない。加えて運転者の身長が異なれば異なった視点
がもたらされるかもしれない。ゆがんだ面に画像を投影する装置を移動することにより任
意数の異なった視点を取り込み得ることが理解されよう。追加視点が必要な場合、方法は
ステップＳ６００に戻り、上述のように繰り返す。追加視点が必要でない場合、方法はス
テップＳ６１４に移る。視覚的検証は表示画像がステップＳ６１３で指定するように受け
入れられるか判定する。表示画像が受け入れられる場合、方法はステップＳ６１０に進む
。表示画像が受け入れられない場合、方法はステップＳ６００に戻り、上述のように繰り
返す。

引き続き図１０を参照して、ステップＳ６１４で較正プロセスによりもたらされた順序
付けられたアレイから１つの順序付けられたアレイが選択される（１つ以上ある場合）。
選択された順序付けられたアレイは次にステップＳ６１６でゆがみ修正アルゴリズムを用
いて処理されオフセット表に入れられる。ステップＳ６１６から方法は６１８に進み、画
像がゆがんでいない面に投影されていると知覚されるようにオフセット表を用いて表示画
像のゆがみを視覚的に修正する。図１０に図示するように、ステップＳ６１２およびステ
ップＳ６１８はハードウェア・プロセス内で行われる。ステップＳ６００〜ステップＳ６
１０に示す較正プロセスは基本的にゆがんだ（非平面状、非正方形）面の性質を捉え、そ
の面の領域を等間隔でサンプルし、面の概算的な数量化を導く。面上の基準点の位置に注
目することにより、４つの基準点で囲まれる各領域、すなわちカッド、内にあるすべての
ピクセルを補間することにより面が原因となるゆがみを概算することが可能であることが
特記される。

上記実施形態を念頭に、発明はコンピュータ・システムに格納されるデータに係わるコ
ンピュータ実施の各種操作を用いることが理解されよう。これらの操作は物理量の物理的
操作を必要とするものである。必ずではないが、これらの量は通常格納、転送、組み合わ
せ、比較、およびその他の方法で操作できる電気的または磁気的信号の形を取る。さらに
、実施される操作はしばしば生み出す、識別する、判定する、または比較するなどの用語
で呼ばれる。

本明細書で説明され、発明の一部をなす操作は有用な機械操作である。発明はさらにこ
れらの操作を行う装置または機器に関する。機器は要求される目的用に特別に構成するこ
とができ、または汎用コンピュータでコンピュータ内に格納されるコンピュータ・プログ
ラムにより選択的に稼動されまたは設定されるものであっても良い。特に、各種汎用機を
本明細書の教示に従って書かれたコンピュータ・プログラムと共に用いることができ、ま
たは要求される操作を実施するためにより特化された機器を構築する方が便利かもしれな
い。

発明はさらにコンピュータ読み取り可能な媒体上のコンピュータ読み取り可能なコード
として具現することもできる。コンピュータ読み取り可能な媒体はデータを格納できる任
意のデータ記憶装置で、データはその後コンピュータ・システムにより読み取られ得る。
コンピュータ読み取り可能な媒体の例としてはハード・ドライブ、ネットワーク接続記憶
装置（ＮＡＳ）、読み取り専用メモリ、ランダムアクセス・メモリ、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、ＣＤ−ＲＷ、磁気テープ、および他の光学および非光学データ記憶装置が挙げられ
る。コンピュータ読み取り可能な媒体はさらにコンピュータ読み取り可能なコードが分散
的に格納され実行されるようにネットワーク接続コンピュータ・システム上に分散される
こともできる。

前述の発明は明快な理解の目的からかなり詳細に説明されたが、添付クレームの範囲内
で特定の変更および修正が可能であることが理解されよう。従って本実施形態は限定的で
はなく例示的であるとみなすべきで、発明は本明細書で提供される詳細に限定されず、添
付クレームの範囲およびその相当内で修正できる。

Ａは発明の一実施形態によりデジタル化して取り込むことのできる較正点のグリッドを示す簡略化された概略図、Ｂは、発明の一実施形態によりデジタル画像の各較正点をみつける手法を示す簡略化された概略図、Ｃは、発明の一実施形態によりデジタル画像の各較正点をみつける手法を示す簡略化された概略図Ｄは、発明の一実施形態によりデジタル画像の各較正点をみつける手法を示す簡略化された概略図、Ｅは、発明の一実施形態によりデジタル画像の各較正点をみつける手法を示す簡略化された概略図。発明の一実施形態により左上の較正点またはスキャンされたアレイをみつける手法の一部を示す概略図。デジタル点の左上点に歩むために点の近辺の位置を示す簡略化された概略図。発明の一実施形態により左上の点の位置を示す簡略化された概略図。Ａは、一旦左上の点がみつけられた後に点のアレイを順序付ける手法を示し、Ｂは、一旦左上の点がみつけられた後に点のアレイを順序付ける手法を示す。Ａは、図５Ａおよび図５Ｂにより定義されるように行内の最初の点が一旦みつけられた後の行内をスキャンするプロセスを示し、Ｂは、図５Ａおよび図５Ｂにより定義されるように行内の最初の点が一旦みつけられた後の行内をスキャンするプロセスを示す。Ａは、発明の一実施形態によるエッジ境界点の調節を示し、Ｂは、発明の一実施形態によるエッジ境界点の調節を示し、Ｃは、発明の一実施形態によるエッジ境界点の調節を示し、Ｄは、発明の一実施形態によるエッジ境界点の調節を示す。発明の一実施形態により本明細書で説明する実施形態を実施できるシステムの簡略化された概略図。ゆがんだ面に投影された画像がゆがんでいない面に投影されたと知覚されるために画像をどのように修正するかを判定する方法を示すフローチローチ図。発明の一実施形態により上記に説明する較正手法がヘッドアップ・ディスプレイ（ＨＵＤ）装置の全体的な処理の中でどのように当てはまるかを示すハイレベルのフローチローチ。

符号の説明

１００’，１００ａ…クラスタ、１００…デジタル点、１０２’…クロッピング・ボッ
クス、１０２…スキャン区域、１０３…ゆがんだ面、１０４…中央点、１０６…境界付け
ボックス、１０８，２０２，２９０，３００，３０２…点、２００’，２００…距離、２
０４…擬似基点、４００…チップ、４０２…中央演算装置（ＣＰＵ）、４０４…メモリ、
４０６…較正論理、４０８…入出力モジュール。

Claims

ゆがんだ面に投影された画像を調節する調整方法であって、
前記ゆがんだ面に投影された較正画像内の較正点を取り込むステップと、
前記較正点を分析し前記較正点間の相対位置を判定するステップと、
前記相対位置に従い前記較正点を順序付けるステップと、
前記順序付けられた較正点を適用して前記ゆがんだ面への投影前に前記画像を変更する
ステップと、を含む、
ことを特徴とする調整方法。
請求項１に記載の調整方法において、さらに、
前記順序付けられた較正点を適用して前記ゆがんだ面に投影される前記画像を調節する
ステップを含む、
ことを特徴とする調整方法。
請求項１に記載の調整方法において、
前記ゆがんだ面に投影された較正画像内の較正点を取り込むステップは観察者の視点か
ら前記較正画像をデジタル化して撮影するステップを含む、
ことを特徴とする調整方法。
請求項１に記載の調整方法において、
前記較正点を分析し前記較正点間の相対位置を判定するステップは、
前記較正画像をスキャンして前記各較正点をみつけるステップと、
前記較正点各々の位置を表す座標をアレイに加えるステップと、を含む、
ことを特徴とする調整方法。
請求項４に記載の調整方法において、
前記較正画像をスキャンして前記各較正点をみつけるステップは、
閾値より高い輝度値を有するピクセル値をみつけるステップと、
前記ピクセル値に対応するピクセルを囲む領域を定義するステップと、
前記領域において前記閾値より高い輝度値を有する各ピクセルを特定するステップと、
特定されたピクセルすべてを囲むクロッピング・ボックスを計算するステップで、前記
クロッピング・ボックスは前記領域内で定義されるステップと、
前記クロッピング・ボックスの中心を特定するステップと、
前記較正点の１つに前記クロッピング・ボックスの前記中心の座標を割り当てるステッ
プと、を含む、
ことを特徴とする調整方法。
請求項５に記載の調整方法において、
前記閾値より高い輝度を有する各ピクセルの値は特定後前記閾値より低くリセットされ
る、
ことを特徴とする調整方法。
請求項１に記載の調整方法において、
前記相対位置に従って前記較正点を順序付けるステップは、
ａ）最小Ｙ座標を有する較正点を特定するステップと、
ｂ）最小Ｙ座標を有する前記較正点および最小Ｙ座標を有する前記較正点に最も近い点
との距離を判定するステップと、
ｃ）前記距離の倍数内のすべての較正点を特定するステップと、
ｄ）前記距離の前記倍数内のどの前記較正点が前記較正点の前記Ｘ座標より低いＸ座標
および最小Ｙ座標を有するか判定するステップと、を含む、
ことを特徴とする調整方法。
さらに、
請求項７に記載の調整方法において、
前記距離の倍数内の較正点すべてが較正点の閾値未満であるまでａ）〜ｄ）を続けるス
テップと、を含む、
ことを特徴とする調整方法。
請求項８に記載の調整方法において、
前記較正点の閾値は３以下である、
ことを特徴とする調整方法。
請求項１に記載の調整方法において、
前記相対位置に従い前記較正点を順序付けるステップは、
最上行の左端の点に最も近い擬似基点を定義し、次行における左端の点をみつけるのに
用いるステップと、
続く行に対し前記定義を繰り返すステップと、を含む、
ことを特徴とする調整方法。
請求項１０に記載の調整方法において、さらに、
各行を渡り、前記相当する行内の前記較正点の相対位置を判定するステップを含み、相
当する行内の較正点各々がみつかるにつれ、各々の較正点識別子は未整理のアレイから順
序付けられたアレイに移動される、
ことを特徴とする調整方法。
請求項１に記載の調整方法において、
前記相対位置に従い前記較正点を順序付けるステップは、
前記分析ステップにより判定された前記較正点の相対位置を表すデータを未整理のアレ
イから順序付けられたアレイに移転するステップと、
前記順序付けられたアレイの前記相対位置を表す前記データを前記較正点の座標に対す
るオフセットに変換するステップと、を含む、
ことを特徴とする調整方法。
請求項１に記載の調整方法において、
前記相対位置に従い前記較正点を順序付けるステップは、
前記取り込まれた較正点に余分の１列および余分の１行を追加したために導入されるエ
ッジ・スキューを補正するために前記投影された画像の外側エッジに沿う較正点の座標を
調節するステップを含む、
ことを特徴とする調整方法。
ゆがんだ面に投影された画像がゆがんでいない面に投影されたと知覚されるために画像
を調整する調整方法であって、
パターンを有する較正画像を第１視点から前記ゆがんだ面に投影するステップと、
前記ゆがんだ面の影響を含む前記較正画像を取り込むステップと、
前記取り込まれた較正画像の分析により前記パターンの点を認識するステップと、
前記取り込まれた較正画像の前記パターンに対応させるようアレイ内の前記点を順序付
けるステップと、
各々の前記ステップを第２視点から繰り返すステップと、
前記画像がゆがんでいない面に投影されていると知覚されるよう、前記第１視点からの
前記アレイまたは前記第２視点からの前記アレイのいずれかを対応する視点から投影され
た画像データで処理するステップと、を含む、
ことを特徴とする調整方法。
請求項１４に記載の調整方法において、
前記パターンはグリッド上のドットである、
ことを特徴とする調整方法。
請求項１４に記載の調整方法において、
前記ゆがんだ面は車両のフロント・ガラスである、
ことを特徴とする調整方法。
請求項１４に記載の調整方法において、
前記パターンの点は前記各々の点に輝度値を輝度の閾値と比較することにより認識され
る、
ことを特徴とする調整方法。
請求項１４に記載の調整方法において、
前記取り込まれた較正画像の前記パターンに対応させるようアレイ内の前記点を順序付
けるステップは、
ａ）前記取り込まれた較正画像の左上の点をみつけるステップと、
ｂ）前記較正画像における最上行内の続く点をみつけるステップと、
ｃ）前記較正画像の続く行に対しａ）およびｂ）を繰り返すステップと、
前記続く点を表すデータを前記取り込まれた較正画像に対応する順序付けられたアレイ
に格納するステップと、を含む、
ことを特徴とする調整方法。
請求項１４に記載の調整方法において、
前記取り込まれた較正画像の前記パターンに対応させるようアレイ内の前記点を順序付
けるステップは、
前記取り込まれた較正画像の左上の点をみつけるステップと、
前記左上の点から最も近い点までの距離を計算するステップと、
前記左上の点からの前記距離に擬似基点を定義するステップと、
前記擬似基点から次行の左上の点をみつけるステップと、を含む、
ことを特徴とする調整方法。
請求項１９に記載の調整方法において、さらに、
前記擬似基点を定義後、未整理アレイから前記左上の点を削除するステップと、
前記擬似基点を定義する前記左上の点からの前記距離を差し引くステップと、を含む、
ことを特徴とする調整方法。
請求項１４に記載の調整方法において、
前記ステップの各々はコンピュータ読み取り可能な媒体上のプログラム命令として具現
される、を含む、
ことを特徴とする調整方法。
湾曲面上における点の相対位置を定義するシステムであって、
前記湾曲面にパターン化画像を投影するよう構成される画像生成装置と、
前記湾曲面に投影された前記パターン化画像をデジタル化して取り込むよう構成される
画像取り込み装置と、
プロセッサおよびメモリを有する演算システムで、前記メモリは前記デジタル化して取
り込まれたパターン化画像のデジタル点を認識するよう構成される較正論理を含み、前記
較正論理はさらに前記デジタル化して取り込まれたパターン化画像の左上のデジタル点を
特定し最上行および続く各行の残りのデジタル点を順序付けるよう構成される、演算シス
テムと、を含む、
ことを特徴とするシステム。
請求項２２に記載のシステムにおいて、
前記パターン化画像はグリッドで前記デジタル点は前記グリッドの頂点である、
ことを特徴とするシステム。
請求項２２に記載のシステムにおいて、
前記演算システムは前記画像取り込み装置に組み込まれている、
ことを特徴とするシステム。
請求項２２に記載のシステムにおいて、
前記較正論理は一ピクセル領域内で最小Ｙ座標および最小の隣接ピクセル数を有するデ
ジタル点を特定することにより前記左上のデジタル点をみつける、
ことを特徴とするシステム。
請求項２３に記載のシステムにおいて、
前記較正論理は前記左上のデジタル点をみつけた後擬似基点を生成し、前記擬似基点は
次行の左上のデジタル点をみつけるために用いられる、
ことを特徴とするシステム。
請求項２２に記載のシステムにおいて、
前記デジタル点の位置を表す値を未整理のアレイから順序付けられたアレイに移転し移
転後前記未整理アレイから前記デジタル点を削除することにより前記順序が維持される、
ことを特徴とするシステム。
請求項２２に記載のシステムにおいて、
前記画像取り込み装置は異なった視点から投影される複数の画像を取り込み、前記複数
の画像各々に対する順序付けられたアレイを維持する、
ことを特徴とするシステム。
請求項２７に記載のシステムにおいて、
位置を表す前記値はオフセットとして格納される、
ことを特徴とするシステム。
複数の較正点を適用して画像を調節するシステムに用いられるチップであって、
閾値より高い輝度値を有するピクセル値をみつけ、
前記ピクセル値に対応するピクセルを囲む領域を定義し、
前記領域内で前記閾値より高い輝度値を有する各ピクセルを特定し、
特定されたピクセルすべてを囲むクロッピング・ボックスを計算し、前記クロッピング
・ボックスは前記領域内で定義され、
前記クロッピング・ボックスの中心を特定し、前記クロッピング・ボックスの前記中心
の座標を前記較正点の１つに対し割り当てる、
較正論理を含むチップ。
複数の較正点を適用して画像を調節するシステムであって、
閾値より高い輝度値を有するピクセル値をみつけ、
前記ピクセル値に対応するピクセルを囲む領域を定義し、
前記領域内で前記閾値より高い輝度値を有する各ピクセルを特定し、
特定されたピクセルすべてを囲むクロッピング・ボックスを計算し、前記クロッピング
・ボックスは前記領域内で定義され、
前記クロッピング・ボックスの中心を特定し、前記クロッピング・ボックスの前記中心
の座標を前記較正点の１つに対し割り当てる、
較正論理を含むシステム。