JP2009171570A - 画像データ処理方法及び画像データ処理システム - Google Patents
画像データ処理方法及び画像データ処理システム Download PDFInfo
- Publication number
- JP2009171570A JP2009171570A JP2008326081A JP2008326081A JP2009171570A JP 2009171570 A JP2009171570 A JP 2009171570A JP 2008326081 A JP2008326081 A JP 2008326081A JP 2008326081 A JP2008326081 A JP 2008326081A JP 2009171570 A JP2009171570 A JP 2009171570A
- Authority
- JP
- Japan
- Prior art keywords
- weight
- image data
- image
- data processing
- horizontal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
Abstract
【解決手段】方法は、第1の画像センサからの画像データと第2の画像センサからの画像データとに基づいて、オーバーラップエリアを決定し、オーバーラップエリアにおける画像データの相対位置に基づいて、第1の重み及び第2の重みを算出し、第1の重みと第2の重みとに基づいて、第1の画像センサ及び第2の画像センサからの画像データを混合することにより最終画像を生成する。
【選択図】図5
Description
(式1) HS=MaxW−最初のオーバーラップエリアのX位置
また、垂直方向の高さ(VS)は、以下の式に基づいて算出される。
(式2) VS=MaxH−最初のオーバーラップエリアのY位置
種々の態様において、重みモジュール44は、オーバーラップエリアの最大高さ又は幅が静止していない、または、編集時間において未知であるとき、最大高さ(MaxH)及び最大幅(MaxW)を決定する。例えば、最大幅(MaxW)を決定するために、ループが、先を見て、横の列の終端に達するか、非オーバーラップエリア(0)が見つかるかのどちらかまで、各後続の画素をテストする。最大高さ(MaxH)を決定するためには、ループが、先を見て、縦の列の終端に達するか、非オーバーラップエリア(0)が見つかるかのどちらかまで、各後続の画素をテストする。いったん、最大高さ及び幅が見つかると、水平方向及び垂直方向のスケールが、上述したように算出される。
(式3) 相対X位置=現在のX位置−最初のオーバーラップエリアのX位置
(式4) 相対Y位置=現在のY位置−最初のオーバーラップエリアのY位置
そして、重みモジュール44は、水平方向の重み(HW)と垂直方向の重み(VW)とを算出する。例えば、水平方向の重み(HW)は、以下の式に示されるように、水平方向のスケール(HS)によって相対水平方向位置を除算したものとして算出される。
(式5) HW=1−(相対X位置/HS)
また、垂直方向の重み(VW)は、以下の式に示されるように、垂直方向のスケール(VS)によって相対垂直方向位置を除算したものとして算出される。
(式6) VW=1−(相対Y位置/VS)
この例において、重みは、1−(位置/スケール)として算出される。これは、全オーバーラップエリアの最も左側上部の領域に、最も大きな重みが与えられることを確実にするためである。種々の態様において、演算は、画像センサ16又は18の走査方向と配置とに依存する。オーバーラップ画像データ50が右側の画像センサ18からのものであるとすると、最も左側上部の領域は、右側及び後方画像センサ18,12(図1)の間で、それぞれ等しい重みを有するべきであるので、重みは(位置/スケール)として算出される。
(式7) HW=1−[(相対X位置/HS)*(1−DMW)]
例えば、所望の最小重みとして30%を用いると、式は、以下のように示される。
(式8) HW=1−[(相対X位置/HS)*(0.7)]
そして、重みモジュール44は、エリアの総合的なオーバーラップ重み(OW)と、エリアの総合的なベース重み(BW)を算出する。例えば、総合的なオーバーラップ重み(OW)は、以下の式に示されるように、水平方向の重み(HW)と垂直方向の重み(VW)との平均として算出される。
(式9) OW=(HW+VW)/2
総合的なベース重み(BW)としては、以下の式に示されるように、逆の重みが割り当てられる。
(式10) BW=(1−OW)
種々の形態において、重みモジュール44は、他の走査方向及び画像センサの配置を用いる。スケール、重み、及び相対位置の演算は、両方の画像センサから等距離にあるいずれの画素にも等しい重みが与えられるように調整される。理解されるように、2個以上の画像センサからの画像データを処理するとき、重みは、各オーバーラップ画像データに対して独立に算出される。すべての重みの合計が100%となることを確実にするために、いくらかの追加的なスケール調整が必要とされるかもしれない。
(式11) HW=(e−スケールファクター)*HW前回値+[(1−e−スケールファクター)]*MW
ここで、スケールファクターは、どれくらい素早く減衰が起こるかを決定する。より高いスケールファクターは減衰速度を増加させ、より低いスケールファクターは減衰速度を減少させる。最初のオーバーラップエリアが見つかったとき、最初の水平方向及び垂直方向の重みが1に設定される。
(式12) OP=(OIMdata*OW)+(BIMdata*BW)
さて、図5を参照すると、処理フロー図が、本実施形態の種々の点に従い、画像処理モジュール30(図2)によって実行される典型的な画像処理方法を示している。理解されるように、典型的な画像処理方法の各ステップの実行の順序は、その方法の意図を変えずに変更することができる。典型的な方法は、画素毎およびフレーム毎の組み合わせに従って、画像データを処理するものを示している。
12,16,18 画像センサ
28 画像処理システム
30 画像処理モジュール
32 ディスプレイ
40 写像モジュール
42 オーバーラップモジュール
44 重みモジュール
46 ディスプレイモジュール
Claims (18)
- 第1の画像センサからの画像データと第2の画像センサからの画像データとに基づいて、オーバーラップエリアを決定する決定ステップと、
前記オーバーラップエリアにおける画像データの相対位置に基づいて、第1の重み及び第2の重みを算出する算出ステップと、
第1の重みと第2の重みとに基づいて、第1の画像センサ及び第2の画像センサからの画像データを混合することにより最終画像を生成する生成ステップとを備えることを特徴とする画像データ処理方法。 - 前記算出ステップは、相対画素位置に基づいて、水平重みと垂直重みとを算出し、前記第1の重みと第2の重みは、水平重みと垂直重みとの少なくとも1つに基づくものであることを特徴とする請求項1に記載の画像データ処理方法。
- さらに、垂直方向のスケールと水平方向のスケールとを見積もる見積ステップを備え、前記水平重みと垂直重みの算出は、垂直方向のスケールと水平方向のスケールとの少なくとも1つに基づくものであることを特徴とする請求項2に記載の画像データ処理方法。
- 水平方向のスケールと垂直方法のスケールの見積りは、オーバーラップエリアの最大幅及び最大高さに基づくものであることを特徴とする請求項3に記載の画像データ処理方法。
- 前記見積ステップは、さらにオーバーラップエリアの最大幅及び最大高さを見積ることを特徴とする請求項4に記載の画像データ処理方法。
- 前記算出ステップは、水平重みと垂直重みとの平均に基づいて前記第1の重みを算出することを特徴とする請求項2に記載の画像データ処理方法。
- 前記算出ステップは、前記第1の重みの逆に基づいて前記第2の重みを算出することを特徴とする請求項6に記載の画像データ処理方法。
- 前記算出ステップは、非線形式に基づいて、水平重みと垂直重みとを算出することを特徴とする請求項2に記載の画像データ処理方法。
- 前記第1の画像センサ及び第2の画像センサからの画像データを、ディスプレイの画素に写像する写像ステップをさらに備えることを特徴とする請求項1に記載の画像データ処理方法。
- 第1の画像センサ及び第2の画像センサからの画像データに基づいて、オーバーラップエリアを決定するオーバーラップモジュールと、
前記オーバーラップエリアにおける画像データの相対位置に基づいて、第1の重み及び第2の重みを算出する重みモジュールと、
第1の重みと第2の重みとに基づいて、第1の画像センサ及び第2の画像センサからの画像データを混合することにより最終画像のデータを生成するディスプレイモジュールとを備えることを特徴とする画像データ処理システム。 - 前記重みモジュールは、相対画素位置に基づいて、水平重みと垂直重みとを算出し、前記第1の重みと第2の重みは、水平重みと垂直重みとの少なくとも1つに基づくものであることを特徴とする請求項10に記載の画像データ処理システム。
- 前記重みモジュールは、垂直方向のスケールと水平方向のスケールとを見積るものであり、前記重みモジュールは、垂直方向のスケールと水平方向のスケールとの少なくとも1つに基づいて前記水平重みと垂直重みを算出することを特徴とする請求項11に記載の画像データ処理システム。
- 重みモジュールは、オーバーラップエリアの最大幅及び最大高さに基づいて、水平方向のスケールと垂直方法のスケールを見積ることを特徴とする請求項12に記載の画像データ処理システム。
- 前記重みモジュールは、オーバーラップエリアの最大幅及び最大高さを見積ることを特徴とする請求項13に記載の画像データ処理システム。
- 前記重みモジュールは、水平重みと垂直重みとの平均に基づいて前記第1の重みを算出することを特徴とする請求項11に記載の画像データ処理システム。
- 前記重みモジュールは、前記第1の重みの逆に基づいて前記第2の重みを算出することを特徴とする請求項15に記載の画像データ処理システム。
- 前記重みモジュールは、非線形式に基づいて、水平重みと垂直重みとを算出することを特徴とする請求項11に記載の画像データ処理システム。
- 前記第1の画像センサ及び第2の画像センサからの画像データを、ディスプレイの画素に写像する写像モジュールをさらに備えることを特徴とする請求項10に記載の画像データ処理システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/009,588 US8923648B2 (en) | 2008-01-21 | 2008-01-21 | Weighted average image blending based on relative pixel position |
US12/009,588 | 2008-01-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009171570A true JP2009171570A (ja) | 2009-07-30 |
JP5293158B2 JP5293158B2 (ja) | 2013-09-18 |
Family
ID=40568143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008326081A Expired - Fee Related JP5293158B2 (ja) | 2008-01-21 | 2008-12-22 | 画像データ処理方法及び画像データ処理システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8923648B2 (ja) |
EP (1) | EP2081149B1 (ja) |
JP (1) | JP5293158B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017213335A1 (ko) * | 2016-06-10 | 2017-12-14 | 주식회사 이지원인터넷서비스 | 실시간 영상 합성 방법 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090245646A1 (en) * | 2008-03-28 | 2009-10-01 | Microsoft Corporation | Online Handwriting Expression Recognition |
JP5195776B2 (ja) * | 2010-01-25 | 2013-05-15 | 株式会社デンソー | 車両周辺監視装置 |
JP5653104B2 (ja) * | 2010-07-16 | 2015-01-14 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US9762880B2 (en) | 2011-12-09 | 2017-09-12 | Magna Electronics Inc. | Vehicle vision system with customized display |
US9349166B2 (en) | 2012-12-31 | 2016-05-24 | Nokia Technologies Oy | Method, apparatus and computer program product for generating images of scenes having high dynamic range |
US9159301B2 (en) * | 2013-05-07 | 2015-10-13 | Honda Motor Co., Ltd. | Slanted map |
JP5971223B2 (ja) * | 2013-10-16 | 2016-08-17 | 株式会社デンソー | 合成画像生成装置 |
US9310804B1 (en) * | 2013-11-21 | 2016-04-12 | Google Inc. | Use of prior maps for estimation of lane boundaries |
FR3022657A1 (fr) * | 2014-06-20 | 2015-12-25 | Orange | Procede de partage de navigation sur une page web affichee par un navigateur web |
EP3206184A1 (en) * | 2016-02-11 | 2017-08-16 | NXP USA, Inc. | Apparatus, method and system for adjusting predefined calibration data for generating a perspective view |
US10274965B2 (en) | 2016-10-17 | 2019-04-30 | Denso International America, Inc. | Sensor system for vehicle |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002208005A (ja) * | 2001-01-12 | 2002-07-26 | Minolta Co Ltd | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2007049276A (ja) * | 2005-08-08 | 2007-02-22 | Sanyo Electric Co Ltd | 車載パノラマカメラシステム |
JP2007274377A (ja) * | 2006-03-31 | 2007-10-18 | Denso Corp | 周辺監視装置、プログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6205259B1 (en) * | 1992-04-09 | 2001-03-20 | Olympus Optical Co., Ltd. | Image processing apparatus |
US6009188A (en) * | 1996-02-16 | 1999-12-28 | Microsoft Corporation | Method and system for digital plenoptic imaging |
US6249616B1 (en) * | 1997-05-30 | 2001-06-19 | Enroute, Inc | Combining digital images based on three-dimensional relationships between source image data sets |
US6128108A (en) * | 1997-09-03 | 2000-10-03 | Mgi Software Corporation | Method and system for compositing images |
KR20010112433A (ko) | 1999-04-16 | 2001-12-20 | 마츠시타 덴끼 산교 가부시키가이샤 | 화상처리장치 및 감시시스템 |
US6507665B1 (en) * | 1999-08-25 | 2003-01-14 | Eastman Kodak Company | Method for creating environment map containing information extracted from stereo image pairs |
US6734896B2 (en) * | 2000-04-28 | 2004-05-11 | Matsushita Electric Industrial Co., Ltd. | Image processor and monitoring system |
JP4551018B2 (ja) * | 2001-04-05 | 2010-09-22 | 富士通株式会社 | 画像結合装置 |
US6781591B2 (en) | 2001-08-15 | 2004-08-24 | Mitsubishi Electric Research Laboratories, Inc. | Blending multiple images using local and global information |
US20030138167A1 (en) * | 2002-01-22 | 2003-07-24 | Joergen Rasmusen | Method and a system for stitching images produced by two or more sensors in a graphical scanner |
US6928194B2 (en) * | 2002-09-19 | 2005-08-09 | M7 Visual Intelligence, Lp | System for mosaicing digital ortho-images |
KR20050046822A (ko) * | 2002-10-18 | 2005-05-18 | 사르노프 코포레이션 | 다수의 카메라들을 사용하여 파노라마식 시각화를 가능하게하는 방법 및 시스템 |
WO2005074174A1 (en) * | 2004-01-30 | 2005-08-11 | Electronics And Telecommunications Research Institute | Apparatus and method for measuring received signal strength indicator, and recording medium storing program embodying the same method |
US7292207B1 (en) * | 2004-08-27 | 2007-11-06 | Sun Microsystems, Inc. | Computing blending functions for the tiling of overlapped video projectors |
-
2008
- 2008-01-21 US US12/009,588 patent/US8923648B2/en not_active Expired - Fee Related
- 2008-12-02 EP EP20080020900 patent/EP2081149B1/en not_active Not-in-force
- 2008-12-22 JP JP2008326081A patent/JP5293158B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002208005A (ja) * | 2001-01-12 | 2002-07-26 | Minolta Co Ltd | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2007049276A (ja) * | 2005-08-08 | 2007-02-22 | Sanyo Electric Co Ltd | 車載パノラマカメラシステム |
JP2007274377A (ja) * | 2006-03-31 | 2007-10-18 | Denso Corp | 周辺監視装置、プログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017213335A1 (ko) * | 2016-06-10 | 2017-12-14 | 주식회사 이지원인터넷서비스 | 실시간 영상 합성 방법 |
KR101819984B1 (ko) | 2016-06-10 | 2018-01-18 | (주)한국미래기술 | 실시간 영상 합성 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20090185720A1 (en) | 2009-07-23 |
EP2081149A1 (en) | 2009-07-22 |
JP5293158B2 (ja) | 2013-09-18 |
US8923648B2 (en) | 2014-12-30 |
EP2081149B1 (en) | 2012-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5293158B2 (ja) | 画像データ処理方法及び画像データ処理システム | |
US8406506B2 (en) | Fast sub-pixel optical flow estimation | |
US20110262009A1 (en) | Method and apparatus for identifying obstacle in image | |
JP4869045B2 (ja) | 補間フレーム作成方法および補間フレーム作成装置 | |
US10049432B2 (en) | Image processing apparatus, image processing method, program and recording medium | |
CN109992226A (zh) | 图像显示方法、装置及拼接显示屏 | |
US20120093231A1 (en) | Image processing apparatus and image processing method | |
CN107451976B (zh) | 一种图像处理方法及装置 | |
US8233748B2 (en) | Image-resolution-improvement apparatus and method | |
US9802539B2 (en) | Distance and direction estimation of a target point from a vehicle using monocular video camera | |
KR100723421B1 (ko) | 포인트 보간에 의한 렌더링 방법, 포인트 보간에 의한 렌더링 장치 및 기록매체 | |
US9563937B2 (en) | High-resolution image generation apparatus, high-resolution image generation method, and high-resolution image generation program | |
Bouma et al. | Precise local blur estimation based on the first-order derivative | |
CN109325909B (zh) | 一种图像放大方法和图像放大装置 | |
JP2011209070A (ja) | 画像処理装置 | |
US20120121208A1 (en) | Image processing device and method | |
JP2009146150A (ja) | 特徴位置検出方法及び特徴位置検出装置 | |
JP2010278931A (ja) | 画像処理装置 | |
KR100829098B1 (ko) | 움직임 추정장치 및 움직임 추정방법 | |
JP6854629B2 (ja) | 画像処理装置、画像処理方法 | |
KR20060115237A (ko) | 에지투영을 이용한 스테레오 매칭방법 | |
KR20150042093A (ko) | 그래픽스 데이터를 렌더링하는 방법, 장치 및 기록매체 | |
KR101097779B1 (ko) | 대칭성 기반 움직임 벡터 추정을 사용한 움직임이 보상된 영상 보간 기법 | |
WO2021237750A1 (en) | Method and apparatus for vehicle length estimation | |
EP0840916B1 (en) | Method and device for graphics mapping of a surface onto a two-dimensional image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111025 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120724 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120918 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121016 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130129 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130527 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5293158 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |