JP2009171570A - 画像データ処理方法及び画像データ処理システム - Google Patents

画像データ処理方法及び画像データ処理システム Download PDF

Info

Publication number
JP2009171570A
JP2009171570A JP2008326081A JP2008326081A JP2009171570A JP 2009171570 A JP2009171570 A JP 2009171570A JP 2008326081 A JP2008326081 A JP 2008326081A JP 2008326081 A JP2008326081 A JP 2008326081A JP 2009171570 A JP2009171570 A JP 2009171570A
Authority
JP
Japan
Prior art keywords
weight
image data
image
data processing
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008326081A
Other languages
English (en)
Other versions
JP5293158B2 (ja
Inventor
Christopher Kurpinski
カーピンスキー クリストファー
Tanemichi Chiba
胤倫 千葉
Justin Mcbride
マクブライド ジャスティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso International America Inc
Original Assignee
Denso International America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso International America Inc filed Critical Denso International America Inc
Publication of JP2009171570A publication Critical patent/JP2009171570A/ja
Application granted granted Critical
Publication of JP5293158B2 publication Critical patent/JP5293158B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images

Abstract

【課題】2個以上のカメラからの画像データが組み合わせられたとき、その結果得られる画像は、特に、画像が移動物を含む場合に、理解しにくいものとなることがあるため、解決するための画像データの処理方法を提供する。
【解決手段】方法は、第1の画像センサからの画像データと第2の画像センサからの画像データとに基づいて、オーバーラップエリアを決定し、オーバーラップエリアにおける画像データの相対位置に基づいて、第1の重み及び第2の重みを算出し、第1の重みと第2の重みとに基づいて、第1の画像センサ及び第2の画像センサからの画像データを混合することにより最終画像を生成する。
【選択図】図5

Description

本発明は、画像処理のための方法及びシステムに関する。
このセクションにおける記述は、本発明に関連する背景技術についての情報を示すものに過ぎず、公知技術に該当するものではない。
例えばセキュリティシステムやナビゲーションシステムのような監視システムは、あるエリアを異なる角度から調べる複数のカメラを有することが多い。それらのカメラからの画像データは組み合わせられ、単一の画像として表示される。2個以上のカメラからの画像データが組み合わせられたとき、その結果得られる画像は、特に、画像が移動物を含む場合に、理解しにくいものとなることがある。例えば、その移動物が一つのカメラによっては見ることができず、その他のカメラによって部分的にだけ見ることができるブラインドスポットが存在しえる。さらに、移動物が、単一のカメラが映し出すエリアから、複数のカメラが映し出すエリアに変化すると、その移動物が消えるデッドスポットが表示される。
それらの問題に対処するために、従来の方法は、例えば各々の画像に50%の重みを割り当てることによって、2個のカメラからの画像を組み合わせ、その組み合わされた画像を表示する。
しかしながら、この方法では、理解するのを困難にさせる強い視覚加工物を生じる結果となる。さらに、移動物がジャンプするように表示されたり、1個のカメラが移動物を見失い、他のカメラがその移動物を捉えたとき、思いがいけなく角度を変えるように表示されたりする。
従って、本発明は、上述した問題点を解決することが可能な画像データの処理方法を提供する。
本発明による方法は、第1の画像センサからの画像データと第2の画像センサからの画像データとに基づいて、オーバーラップエリアを決定し、オーバーラップエリアにおける画像データの相対位置に基づいて、第1の重み及び第2の重みを算出し、第1の重みと第2の重みとに基づいて、第1の画像センサ及び第2の画像センサからの画像データを混合することにより最終画像を生成する。
本発明のさらなる適用範囲は、以下に与えられる詳細な説明から明らかとなる。ただし、その詳細な説明及び特定の例は、説明のみを目的とすることが意図され、本発明の範囲を制限することは何ら意図されないことが理解されるべきである。また、図面は、本発明の教示内容を図示することを目的とするものであって、いかなる場合も、本発明の範囲を制限することを意図するものではない。
以下の説明は、実際のところ、単なる例示にすぎず、本発明、その適用や使用を制限することを何ら意図するものではない。また、図面全体を通じて、対応する参照番号は、同様の又は対応する部品や特徴部分を示すことが理解されるべきである。以下に使用されるように、モジュールとの用語は、用途特定集積回路(ASIC),電子回路、1以上のソフトウェア又はファームウェアプログラムを実行するプロセッサ(共用、専用、グループ)とメモリ、組み合わせロジック回路、及び/又は、説明される機能性を備えた他の適切な部品のことをいう。
理解されるように、本発明の画像処理システムは、複数の画像センサを含むいかなる監視システムにも適用可能である。例示の目的のため、本発明の内容が、少なくとも2個の画像センサを含む車両に関連して説明される。
図1を参照すると、図1は、複数の画像センサを含む車両10を示している。例えば、第1の画像センサ12は、車両10の後端に又は後端付近に配置されている。第1の画像センサ12は、車両10の背後の第1エリア14を走査することによってセンサ画像データを生成する。第2の画像センサ16及び/又は第3の画像センサ18は、それぞれ、車両10の左側面及び/又は右側面に又はその付近に配置されている。第2の画像センサ16は、車両10の左側に広がる第2エリア20を走査することによってセンサ画像データを生成する。第2エリア20は、第1エリア14とのオーバーラップ22を含んでいる。第3の画像センサ18は、車両10の右側に広がる第3エリア24を走査することによってセンサ画像データを生成する。第3エリアは、第1エリア14とのオーバーラップ26を含んでいる。
画像処理システム(IPS)28は、第1の画像センサ12、第2の画像センサ16及び/又は第3の画像センサ18からのセンサ画像データを処理して、表示のため、車両周囲の全体画像を生成する。
図2に示されるように、画像処理システム28は、第1センサ画像データ33、第2センサ画像データ34、及び/又は第3センサ画像データ36を受け取る画像処理モジュール30を有している。画像処理モジュール30は、以下に説明される画像混合法に従ってオーバーラップ22及び/又は26において、第1センサ画像データ33と、第2センサ画像データ34及び/又は第3センサ画像データ36とを混合する。この混合法に基づいて、最終的な混合画像を描くための出力画素データ38が生成される。最終的な混合画像は、ディスプレイ32によって表示される。ディスプレイ32は、複数の画素35を有する。出力画素データ38は複数の画素35に写像される。
図3を参照すると、図3は、画像処理モジュール30の種々の態様を示すデータフロー図を含んでいる。本実施形態による画像処理システム28の種々の態様は、画像処理モジュール30内に組み込まれたいかなる数のサブモジュールも含む。理解されるように、図示されたサブモジュールは、組み合わされたり、及び/又は画像データを同じ様に処理するために、さらに区分けされたりしても良い。種々の態様において、図3の画像処理モジュール30は、写像モジュール40、オーバーラップモジュール42、重みモジュール44、及びディスプレイモジュール46を含む。
1つの態様において、画像処理モジュール30は、画像データを画素毎に処理する。他の形態では、画像処理モジュール30は、画像データをフレーム毎に処理しても良い。さらに他の態様では、画像処理モジュール30は、画素毎及びフレーム毎の組み合わせに従い、画像データを処理しても良い。例示の目的のため、図3の画像処理モジュール30が、フレーム毎に画像データを処理することに関連して説明される。
図3に示されるように、写像モジュール40は、入力として画像データを受け取る。一例において、第1センサ画像データ33がベース画像データ48として選定され、第2センサ画像データ34がオーバーラップ画像データ50として選定される。理解されるように、写像モジュール40は、オーバーラップ画像データ50として、あるいは追加のオーバーラップ画像データ(図示せず)として、同様に、第3センサ画像データ36を選定することができる。説明を簡単にするため、残りの説明では、画像処理モジュール30が第1センサ画像データ33と第2センサ画像データ34とを処理することのみに関連して説明が行なわれる。
写像モジュール40は、ベース画像画素地図52とオーバーラップ画像画素地図54とを生成する。画素地図52,54は、画像データとディスプレイ32(図2)の画素35(図2)とを関連付ける。
一例において、図4に示されるように、ディスプレイ32(図2)の各画素35(図2)は、ディスプレイ地図56のX,Y座標によって定義される。ベース画像画素地図52は、ディスプレイ地図56の複数のX,Y座標によって示される。ベース画像画素地図52の各X,Y座標は、ベース画像データ48の対応位置のx、y座標もしくは、そこへのポインタを格納している。同様に、オーバーラップ画像画素地図54は、ディスプレイ地図56の同じ複数のX,Y座標によって示される。オーバーラップ画像画素地図54の各X,Y座標は、オーバーラップ画像データ50の対応位置のx’、y’座標もしくは、そこへのポインタを格納している。
図3に戻ると、オーバーラップモジュール42は、入力として、ベース画像画素地図52とオーバーラップ画像画素地図54とを受け取る。オーバーラップモジュール42は、2つの地図52,54を処理して、オーバーラップエリア地図58を決定する。
一例において、図4に示されるように、オーバーラップエリア地図58は、ベース画像画素地図52のX,Y座標と、オーバーラップ画像画素地図54のX,Y座標とを横断して、x、y又はx’、y’座標、もしくはポインタに基づいて、対応する画像データを検索し、その画像データを評価することによって生成される。ベース画像データ48のx、y位置と、オーバーラップ画像データ50のx’、y’位置との両方に、画像データが存在する場合には、オーバーラップが存在し、オーバーラップエリア地図58のX,Y座標が、オーバーラップエリアとして選定される。画像データが、ベース画像データ48の対応するx、y位置とオーバーラップ画像データ50の対応するx’、y’位置との一方にのみ存在した場合には、オーバーラップは存在せず、オーバーラップエリア地図58のX,Y座標は、非オーバーラップエリアとして選定される。画像データが、ベース画像データ48の対応するx、y位置とオーバーラップ画像データ50の対応するx’、y’位置との両方に存在しない場合には、オーバーラップは存在せず、オーバーラップエリア地図58のX,Y座標は、非オーバーラップエリアとして選定される。例えば、オーバーラップエリア地図58は、オーバーラップエリアに対して“1”、非オーバーラップエリアに対して“0”を用いて更新される。
図3に戻り、重みモジュール44は、入力として、オーバーラップエリア地図58、ベース画像データ48、及びオーバーラップ画像データ50を受け取る。重みモジュール44は、ディスプレイ32(図2)の各画素35(図2)に対して、オーバーラップ重み60とベース重み62とを算出する。一例において、重みモジュール44は、オーバーラップエリアにおける画素の相対位置に基づいて、各画素位置に重みを割り当てる。各画像の画素は、画像センサ12または16(図1)の選定された位置により近づくほど、より大きく重み付けされる。
例えば、重みモジュール44は、オーバーラップエリア地図58を横断する。いったん、最初のオーバーラップエリアに遭遇すると、X,Y位置が記録される。水平方向のスケール(HS)が、最初のオーバーラップエリアの位置から、オーバーラップエリア全体の最大幅(MaxW)までの距離を求めることによって計算される。垂直方向のスケール(VS)も、最初のオーバーラップエリアの位置からオーバーラップエリア全体の最大高さ(MaxH)までの距離を求めることによって計算される。例えば、水平方向のスケール(HS)は、以下の式に基づいて算出される。
(式1) HS=MaxW−最初のオーバーラップエリアのX位置
また、垂直方向の高さ(VS)は、以下の式に基づいて算出される。
(式2) VS=MaxH−最初のオーバーラップエリアのY位置
種々の態様において、重みモジュール44は、オーバーラップエリアの最大高さ又は幅が静止していない、または、編集時間において未知であるとき、最大高さ(MaxH)及び最大幅(MaxW)を決定する。例えば、最大幅(MaxW)を決定するために、ループが、先を見て、横の列の終端に達するか、非オーバーラップエリア(0)が見つかるかのどちらかまで、各後続の画素をテストする。最大高さ(MaxH)を決定するためには、ループが、先を見て、縦の列の終端に達するか、非オーバーラップエリア(0)が見つかるかのどちらかまで、各後続の画素をテストする。いったん、最大高さ及び幅が見つかると、水平方向及び垂直方向のスケールが、上述したように算出される。
いったん、水平方向及び垂直方向のスケールが決定されると、重みモジュール44はオーバーラップエリア地図58の横断を継続する。各オーバーラップエリアについて、重みモジュール44は、相対位置を算出する。例えば、相対位置は、以下の式に示されるように、現在の位置(XY座標)から最初のオーバーラップエリアの位置を減じたものとして算出される。
(式3) 相対X位置=現在のX位置−最初のオーバーラップエリアのX位置
(式4) 相対Y位置=現在のY位置−最初のオーバーラップエリアのY位置
そして、重みモジュール44は、水平方向の重み(HW)と垂直方向の重み(VW)とを算出する。例えば、水平方向の重み(HW)は、以下の式に示されるように、水平方向のスケール(HS)によって相対水平方向位置を除算したものとして算出される。
(式5) HW=1−(相対X位置/HS)
また、垂直方向の重み(VW)は、以下の式に示されるように、垂直方向のスケール(VS)によって相対垂直方向位置を除算したものとして算出される。
(式6) VW=1−(相対Y位置/VS)
この例において、重みは、1−(位置/スケール)として算出される。これは、全オーバーラップエリアの最も左側上部の領域に、最も大きな重みが与えられることを確実にするためである。種々の態様において、演算は、画像センサ16又は18の走査方向と配置とに依存する。オーバーラップ画像データ50が右側の画像センサ18からのものであるとすると、最も左側上部の領域は、右側及び後方画像センサ18,12(図1)の間で、それぞれ等しい重みを有するべきであるので、重みは(位置/スケール)として算出される。
種々の態様において、重みモジュール44は、各軸の最小重みを制限することができる。これにより、演算された重みが過度に小さいときでも、いずれのセンサ画像も領域から消失してしまうことを防止することができる。しかしながら、この形態においては、重みは、決して十分に線形なものではない。種々の他の形態において、重みモジュール44は、重みを算出するために使用されるスケールを変更することによって水平方向の重み(HW)を算出する。例えば、重みは、以下の式に示されるように、所望の最小重み(DMW)に基づいて算出される。
(式7) HW=1−[(相対X位置/HS)*(1−DMW)]
例えば、所望の最小重みとして30%を用いると、式は、以下のように示される。
(式8) HW=1−[(相対X位置/HS)*(0.7)]
そして、重みモジュール44は、エリアの総合的なオーバーラップ重み(OW)と、エリアの総合的なベース重み(BW)を算出する。例えば、総合的なオーバーラップ重み(OW)は、以下の式に示されるように、水平方向の重み(HW)と垂直方向の重み(VW)との平均として算出される。
(式9) OW=(HW+VW)/2
総合的なベース重み(BW)としては、以下の式に示されるように、逆の重みが割り当てられる。
(式10) BW=(1−OW)
種々の形態において、重みモジュール44は、他の走査方向及び画像センサの配置を用いる。スケール、重み、及び相対位置の演算は、両方の画像センサから等距離にあるいずれの画素にも等しい重みが与えられるように調整される。理解されるように、2個以上の画像センサからの画像データを処理するとき、重みは、各オーバーラップ画像データに対して独立に算出される。すべての重みの合計が100%となることを確実にするために、いくらかの追加的なスケール調整が必要とされるかもしれない。
種々の形態において、重みモジュール44は、非線形重み演算を実施する。例えば、指数関数的な重みの減少が望ましいならば、各軸の重みは、指数関数的な減衰を用いて計算されることができる。この場合、軸重みは、以下の式に示すように算出される。
(式11) HW=(e−スケールファクター)*HW前回値+[(1−e−スケールファクター)]*MW
ここで、スケールファクターは、どれくらい素早く減衰が起こるかを決定する。より高いスケールファクターは減衰速度を増加させ、より低いスケールファクターは減衰速度を減少させる。最初のオーバーラップエリアが見つかったとき、最初の水平方向及び垂直方向の重みが1に設定される。
いったん、重みモジュール44が各画素のための重み60,62を算出すると、ディスプレイモジュール46は、入力として、ベース画像データ(BIMdata)48、オーバーラップ画像データ(OIMdata)50、オーバーラップ重み(OW)60、及びベース重み(BW)62を受け取る。ディスプレイモジュール46は、受け取った入力に基づいて、出力画素データ(OP)38を生成する。一例において、各出力画素38は、次の式に基づいて算出される。
(式12) OP=(OIMdata*OW)+(BIMdata*BW)
さて、図5を参照すると、処理フロー図が、本実施形態の種々の点に従い、画像処理モジュール30(図2)によって実行される典型的な画像処理方法を示している。理解されるように、典型的な画像処理方法の各ステップの実行の順序は、その方法の意図を変えずに変更することができる。典型的な方法は、画素毎およびフレーム毎の組み合わせに従って、画像データを処理するものを示している。
一例において、方法は、ステップ100から始まる。ベース画像データ及びオーバーラップ画像データが、ステップ102で写像される。その写像に基づいて、オーバーラップ画像からの画像画素データと、ベース画像から対応する画像画素データとが、ステップ104において取得される。ベース画像とオーバーラップ画像の画像画素データは、ステップ106,108,114において評価される。ステップ106においてベース画像の画像画素データが存在せず(例えば、ゼロ)、かつステップ108においてオーバーラップ画像の画像画素データが存在する(例えば、ゼロ以外の値)場合、ステップ110において、オーバーラップ重みは100%にセットされ、ベース重みは0%にセットされる。出力画素38は、ステップ126において、オーバーラップ重み及びベース重みに基づいて、例えば式12に示されるように算出される。
しかしながら、ステップ106においてベース画像の画像画素データが存在せず、かつステップ108においてオーバーラップ画像の画像画素データも存在しない場合、ステップ112において、ベース重みは0%にセットされ、オーバーラップ重みも0%にセットされる。出力画素38は、ステップ126において、オーバーラップ重み及びベース重みに基づいて、例えば式12に示されるように算出される。
また、ステップ106においてベース画像の画像画素データが存在し、かつステップ114においてオーバーラップ画像の画像画素データが存在しない場合、ステップ116において、ベース重みは100%にセットされ、オーバーラップ重みも0%にセットされる。出力画素38は、ステップ126において、オーバーラップ重み及びベース重みに基づいて、例えば式12に示されるように算出される。
さらに、ステップ106においてベース画像の画像画素データが存在し、かつステップ114においてオーバーラップ画像の画像画素データも存在する場合、ステップ118において、記述されたように、全オーバーラップエリアの最大幅及び高さが決定され、ステップ120において、例えば式1及び式2に示されるように、水平方向及び垂直方向のスケールが算出される。次に、ステップ122において、例えば式3〜式6に示されるように、水平方向及び垂直方向の重みが算出される。さらに、ステップ124において、ベース重み及びオーバーラップ重みが、例えば式9,10に示されるように算出される。出力画素は、例えば式12に示されるようにステップ126で算出される。
ディスプレイ32(図2)の各画素35(図2)のために、処理は継続する。ステップ128において、いったん、ベース画像及びオーバーラップ画像の各々の画素のためのデータの処理が完了されると、方法はステップ130で終了する。その後、方法は、開始位置に戻り、次のフレームの画像データの処理を開始する。
種々の態様において、典型的な方法及び/又はシステムは、画素毎のアプローチに従って、画像データを処理することができる。この場合、いずれの画像地図も存在しない。ベース画像データ48及びオーバーラップ画像データ50は、両方とも、画像バッファ(図示せず)に書き込まれる。オーバーラップ画像データ50の各画素35は、ベース画像バッファのデータと比較され、オーバーラップを決定する。その箇所の重みが計算され、ベース画像画素とオーバーラップ画像画素とが、出力画素を結果として生じるように組み合わせられる。
上述した説明から、当業者であれば、本発明の広範な教示内容が種々の形態で実施され得ることを理解することができる。すなわち、本発明は、特定の例に関連して説明されたが、図面、明細書及び請求の範囲の考察に基づき、当業者には、その他の変形も明らかとなるので、本発明の正当な範囲は、そのような特定の例に制限されるべきではない。
本発明の実施形態による画像処理システムを含む車両の上面図である。 図1の画像処理システムを示す機能ブロック図である。 図2の画像処理システムの画像処理モジュールを示すデータフロー図である。 図3の画像処理モジュールによって処理されるデータを示す図である。 図2の画像処理システムによって実行される画像処理方法を示す処理フロー図である。
符号の説明
10 車両
12,16,18 画像センサ
28 画像処理システム
30 画像処理モジュール
32 ディスプレイ
40 写像モジュール
42 オーバーラップモジュール
44 重みモジュール
46 ディスプレイモジュール

Claims (18)

  1. 第1の画像センサからの画像データと第2の画像センサからの画像データとに基づいて、オーバーラップエリアを決定する決定ステップと、
    前記オーバーラップエリアにおける画像データの相対位置に基づいて、第1の重み及び第2の重みを算出する算出ステップと、
    第1の重みと第2の重みとに基づいて、第1の画像センサ及び第2の画像センサからの画像データを混合することにより最終画像を生成する生成ステップとを備えることを特徴とする画像データ処理方法。
  2. 前記算出ステップは、相対画素位置に基づいて、水平重みと垂直重みとを算出し、前記第1の重みと第2の重みは、水平重みと垂直重みとの少なくとも1つに基づくものであることを特徴とする請求項1に記載の画像データ処理方法。
  3. さらに、垂直方向のスケールと水平方向のスケールとを見積もる見積ステップを備え、前記水平重みと垂直重みの算出は、垂直方向のスケールと水平方向のスケールとの少なくとも1つに基づくものであることを特徴とする請求項2に記載の画像データ処理方法。
  4. 水平方向のスケールと垂直方法のスケールの見積りは、オーバーラップエリアの最大幅及び最大高さに基づくものであることを特徴とする請求項3に記載の画像データ処理方法。
  5. 前記見積ステップは、さらにオーバーラップエリアの最大幅及び最大高さを見積ることを特徴とする請求項4に記載の画像データ処理方法。
  6. 前記算出ステップは、水平重みと垂直重みとの平均に基づいて前記第1の重みを算出することを特徴とする請求項2に記載の画像データ処理方法。
  7. 前記算出ステップは、前記第1の重みの逆に基づいて前記第2の重みを算出することを特徴とする請求項6に記載の画像データ処理方法。
  8. 前記算出ステップは、非線形式に基づいて、水平重みと垂直重みとを算出することを特徴とする請求項2に記載の画像データ処理方法。
  9. 前記第1の画像センサ及び第2の画像センサからの画像データを、ディスプレイの画素に写像する写像ステップをさらに備えることを特徴とする請求項1に記載の画像データ処理方法。
  10. 第1の画像センサ及び第2の画像センサからの画像データに基づいて、オーバーラップエリアを決定するオーバーラップモジュールと、
    前記オーバーラップエリアにおける画像データの相対位置に基づいて、第1の重み及び第2の重みを算出する重みモジュールと、
    第1の重みと第2の重みとに基づいて、第1の画像センサ及び第2の画像センサからの画像データを混合することにより最終画像のデータを生成するディスプレイモジュールとを備えることを特徴とする画像データ処理システム。
  11. 前記重みモジュールは、相対画素位置に基づいて、水平重みと垂直重みとを算出し、前記第1の重みと第2の重みは、水平重みと垂直重みとの少なくとも1つに基づくものであることを特徴とする請求項10に記載の画像データ処理システム。
  12. 前記重みモジュールは、垂直方向のスケールと水平方向のスケールとを見積るものであり、前記重みモジュールは、垂直方向のスケールと水平方向のスケールとの少なくとも1つに基づいて前記水平重みと垂直重みを算出することを特徴とする請求項11に記載の画像データ処理システム。
  13. 重みモジュールは、オーバーラップエリアの最大幅及び最大高さに基づいて、水平方向のスケールと垂直方法のスケールを見積ることを特徴とする請求項12に記載の画像データ処理システム。
  14. 前記重みモジュールは、オーバーラップエリアの最大幅及び最大高さを見積ることを特徴とする請求項13に記載の画像データ処理システム。
  15. 前記重みモジュールは、水平重みと垂直重みとの平均に基づいて前記第1の重みを算出することを特徴とする請求項11に記載の画像データ処理システム。
  16. 前記重みモジュールは、前記第1の重みの逆に基づいて前記第2の重みを算出することを特徴とする請求項15に記載の画像データ処理システム。
  17. 前記重みモジュールは、非線形式に基づいて、水平重みと垂直重みとを算出することを特徴とする請求項11に記載の画像データ処理システム。
  18. 前記第1の画像センサ及び第2の画像センサからの画像データを、ディスプレイの画素に写像する写像モジュールをさらに備えることを特徴とする請求項10に記載の画像データ処理システム。
JP2008326081A 2008-01-21 2008-12-22 画像データ処理方法及び画像データ処理システム Expired - Fee Related JP5293158B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/009,588 US8923648B2 (en) 2008-01-21 2008-01-21 Weighted average image blending based on relative pixel position
US12/009,588 2008-01-21

Publications (2)

Publication Number Publication Date
JP2009171570A true JP2009171570A (ja) 2009-07-30
JP5293158B2 JP5293158B2 (ja) 2013-09-18

Family

ID=40568143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008326081A Expired - Fee Related JP5293158B2 (ja) 2008-01-21 2008-12-22 画像データ処理方法及び画像データ処理システム

Country Status (3)

Country Link
US (1) US8923648B2 (ja)
EP (1) EP2081149B1 (ja)
JP (1) JP5293158B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017213335A1 (ko) * 2016-06-10 2017-12-14 주식회사 이지원인터넷서비스 실시간 영상 합성 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090245646A1 (en) * 2008-03-28 2009-10-01 Microsoft Corporation Online Handwriting Expression Recognition
JP5195776B2 (ja) * 2010-01-25 2013-05-15 株式会社デンソー 車両周辺監視装置
JP5653104B2 (ja) * 2010-07-16 2015-01-14 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US9762880B2 (en) 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
US9349166B2 (en) 2012-12-31 2016-05-24 Nokia Technologies Oy Method, apparatus and computer program product for generating images of scenes having high dynamic range
US9159301B2 (en) * 2013-05-07 2015-10-13 Honda Motor Co., Ltd. Slanted map
JP5971223B2 (ja) * 2013-10-16 2016-08-17 株式会社デンソー 合成画像生成装置
US9310804B1 (en) * 2013-11-21 2016-04-12 Google Inc. Use of prior maps for estimation of lane boundaries
FR3022657A1 (fr) * 2014-06-20 2015-12-25 Orange Procede de partage de navigation sur une page web affichee par un navigateur web
EP3206184A1 (en) * 2016-02-11 2017-08-16 NXP USA, Inc. Apparatus, method and system for adjusting predefined calibration data for generating a perspective view
US10274965B2 (en) 2016-10-17 2019-04-30 Denso International America, Inc. Sensor system for vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002208005A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2007049276A (ja) * 2005-08-08 2007-02-22 Sanyo Electric Co Ltd 車載パノラマカメラシステム
JP2007274377A (ja) * 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6205259B1 (en) * 1992-04-09 2001-03-20 Olympus Optical Co., Ltd. Image processing apparatus
US6009188A (en) * 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
US6249616B1 (en) * 1997-05-30 2001-06-19 Enroute, Inc Combining digital images based on three-dimensional relationships between source image data sets
US6128108A (en) * 1997-09-03 2000-10-03 Mgi Software Corporation Method and system for compositing images
KR20010112433A (ko) 1999-04-16 2001-12-20 마츠시타 덴끼 산교 가부시키가이샤 화상처리장치 및 감시시스템
US6507665B1 (en) * 1999-08-25 2003-01-14 Eastman Kodak Company Method for creating environment map containing information extracted from stereo image pairs
US6734896B2 (en) * 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
JP4551018B2 (ja) * 2001-04-05 2010-09-22 富士通株式会社 画像結合装置
US6781591B2 (en) 2001-08-15 2004-08-24 Mitsubishi Electric Research Laboratories, Inc. Blending multiple images using local and global information
US20030138167A1 (en) * 2002-01-22 2003-07-24 Joergen Rasmusen Method and a system for stitching images produced by two or more sensors in a graphical scanner
US6928194B2 (en) * 2002-09-19 2005-08-09 M7 Visual Intelligence, Lp System for mosaicing digital ortho-images
KR20050046822A (ko) * 2002-10-18 2005-05-18 사르노프 코포레이션 다수의 카메라들을 사용하여 파노라마식 시각화를 가능하게하는 방법 및 시스템
WO2005074174A1 (en) * 2004-01-30 2005-08-11 Electronics And Telecommunications Research Institute Apparatus and method for measuring received signal strength indicator, and recording medium storing program embodying the same method
US7292207B1 (en) * 2004-08-27 2007-11-06 Sun Microsystems, Inc. Computing blending functions for the tiling of overlapped video projectors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002208005A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2007049276A (ja) * 2005-08-08 2007-02-22 Sanyo Electric Co Ltd 車載パノラマカメラシステム
JP2007274377A (ja) * 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017213335A1 (ko) * 2016-06-10 2017-12-14 주식회사 이지원인터넷서비스 실시간 영상 합성 방법
KR101819984B1 (ko) 2016-06-10 2018-01-18 (주)한국미래기술 실시간 영상 합성 방법

Also Published As

Publication number Publication date
US20090185720A1 (en) 2009-07-23
EP2081149A1 (en) 2009-07-22
JP5293158B2 (ja) 2013-09-18
US8923648B2 (en) 2014-12-30
EP2081149B1 (en) 2012-06-13

Similar Documents

Publication Publication Date Title
JP5293158B2 (ja) 画像データ処理方法及び画像データ処理システム
US8406506B2 (en) Fast sub-pixel optical flow estimation
US20110262009A1 (en) Method and apparatus for identifying obstacle in image
JP4869045B2 (ja) 補間フレーム作成方法および補間フレーム作成装置
US10049432B2 (en) Image processing apparatus, image processing method, program and recording medium
CN109992226A (zh) 图像显示方法、装置及拼接显示屏
US20120093231A1 (en) Image processing apparatus and image processing method
CN107451976B (zh) 一种图像处理方法及装置
US8233748B2 (en) Image-resolution-improvement apparatus and method
US9802539B2 (en) Distance and direction estimation of a target point from a vehicle using monocular video camera
KR100723421B1 (ko) 포인트 보간에 의한 렌더링 방법, 포인트 보간에 의한 렌더링 장치 및 기록매체
US9563937B2 (en) High-resolution image generation apparatus, high-resolution image generation method, and high-resolution image generation program
Bouma et al. Precise local blur estimation based on the first-order derivative
CN109325909B (zh) 一种图像放大方法和图像放大装置
JP2011209070A (ja) 画像処理装置
US20120121208A1 (en) Image processing device and method
JP2009146150A (ja) 特徴位置検出方法及び特徴位置検出装置
JP2010278931A (ja) 画像処理装置
KR100829098B1 (ko) 움직임 추정장치 및 움직임 추정방법
JP6854629B2 (ja) 画像処理装置、画像処理方法
KR20060115237A (ko) 에지투영을 이용한 스테레오 매칭방법
KR20150042093A (ko) 그래픽스 데이터를 렌더링하는 방법, 장치 및 기록매체
KR101097779B1 (ko) 대칭성 기반 움직임 벡터 추정을 사용한 움직임이 보상된 영상 보간 기법
WO2021237750A1 (en) Method and apparatus for vehicle length estimation
EP0840916B1 (en) Method and device for graphics mapping of a surface onto a two-dimensional image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120918

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121016

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130527

R150 Certificate of patent or registration of utility model

Ref document number: 5293158

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees