JP2020102755A - 半導体装置、画像処理方法およびプログラム - Google Patents
半導体装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2020102755A JP2020102755A JP2018239560A JP2018239560A JP2020102755A JP 2020102755 A JP2020102755 A JP 2020102755A JP 2018239560 A JP2018239560 A JP 2018239560A JP 2018239560 A JP2018239560 A JP 2018239560A JP 2020102755 A JP2020102755 A JP 2020102755A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- processing
- readjustment
- semiconductor device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000004065 semiconductor Substances 0.000 title claims abstract description 79
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000012545 processing Methods 0.000 claims abstract description 239
- 238000003384 imaging method Methods 0.000 claims abstract description 30
- 239000002131 composite material Substances 0.000 claims abstract description 25
- 230000000694 effects Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 28
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 3
- 239000000203 mixture Substances 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000012935 Averaging Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
図1および図2を参照しながら、実施の形態1の構成概略について説明する。図1は、実施の形態1にかかる画像処理システムが搭載された自動車の概観図である。画像処理システム10は、図に示す自動車1に搭載されている。図は自動車1の上面図であり、図の上側が自動車1の前側であり、図の左側が自動車1の左側であり、図の下側が自動車1の後ろ側であり、図の右側が自動車1の右側である。
次に、実施の形態1の変形例について説明する。図14は、実施の形態1の変形例における自動車の概観図である。実施の形態1の変形例は、カメラの数およびカメラの配置が実施の形態1の画像処理システム10と異なる。
次に、実施の形態2について説明する。実施の形態2にかかる画像処理システムは、半導体装置の機能ブロックの構成および半導体装置が行う処理手順が実施の形態1と異なる。以下に、図15および図16を参照しながら実施の形態1との差異点について説明する。
1 通常自動車
10、20 画像処理システム
11B、11F、11L、11R、21L、21R カメラ
12 表示装置
100、200 半導体装置
101 画像データ取得部
102 推定元画像生成部
103 再調整部
104 色補間部
105 幾何変換部
106 画像合成部
107 出力部
110 画像データ取得IF
120 プロセッサ
130 内部メモリ
140 画像データ出力IF
Claims (20)
- 撮像領域に互いに重複する重複領域を含む画像を撮像し、撮像した画像の色バランスの調整である初期色調整を施した画像データをそれぞれ生成する複数の画像信号処理装置から前記画像データを取得する画像データ取得回路と、
前記画像データの前記初期色調整の効果をそれぞれキャンセルすることにより推定元画像データを生成する推定元画像生成回路と、
前記推定元画像データを、予め設定された複数画素を有する複数の処理領域に分割するとともに、前記処理領域ごとに色バランスの再調整を施す再調整回路と、
前記画像データをそれぞれの前記重複領域が互いに重なるように合成して合成画像を生成する画像合成回路と、
を備える半導体装置。 - 前記再調整回路は、前記重複領域に一以上の前記処理領域が含まれるように前記推定元画像データを分割する、
請求項1に記載の半導体装置。 - 前記再調整が施された前記合成画像を出力する出力回路をさらに有する、
請求項1に記載の半導体装置。 - 前記推定元画像生成回路は、前記重複領域の互いに対応する前記処理領域における色の信号レベルを一致させる一致化ゲインを前記画像データごとに算出し、前記一致化ゲインをそれぞれ対応する前記画像データに含まれる画素の信号レベルに乗じることにより前記推定元画像データを生成する、
請求項1に記載の半導体装置。 - 前記推定元画像生成回路は、前記重複領域に対応する2つの前記画像データにおいて互いに対応する前記処理領域の特定の画素群から各色の信号レベルの平均値を算出し、算出した平均値に基づいて前記一致化ゲインを算出する、
請求項4に記載の半導体装置。 - 前記推定元画像生成回路は、前記画像データに含まれる前記初期色調整に関する情報に基づいて前記推定元画像データを生成する、
請求項1に記載の半導体装置。 - 前記推定元画像生成回路は、前記画像データに含まれる前記初期色調整に関する情報の逆数をそれぞれ対応する前記画像データに含まれる画素の各色の信号レベルに乗じることにより前記推定元画像データを生成する、
請求項4に記載の半導体装置。 - 前記再調整回路は、前記処理領域内において予め設定された色であり且つ予め設定された信号レベルを有する参照画素が存在する場合、前記参照画素に基づいて前記再調整のための再調整ゲインを算出し、前記再調整ゲインによって前記処理領域の色バランスの前記再調整を施す、
請求項1に記載の半導体装置。 - 前記再調整回路は、前記参照画素が存在しない場合、前記処理領域に隣接する隣接処理領域において算出された隣接ゲインに基づいて前記処理領域の色バランスの前記再調整を施す、
請求項8に記載の半導体装置。 - 前記再調整回路は、前記隣接ゲインが複数存在する場合に、複数の前記隣接ゲインの平均値を算出し、前記平均値に基づいて前記処理領域の色バランスの前記再調整を施す、
請求項9に記載の半導体装置。 - 前記再調整回路は、前記参照画素が予め設定された割合で存在しない場合、前記処理領域に対応する過去に使用した過去ゲインに基づいて前記処理領域の色バランスの前記再調整を施す、
請求項8に記載の半導体装置。 - 前記画像データ取得回路が複数の画像信号処理装置から複数の異なる時刻における前記画像データを連続して取得する場合に、
前記再調整回路は、予め設定された期間遡った時点から1フレーム前までの前記処理領域における前記再調整ゲインの平均値に基づいて、前記過去ゲインを算出する、
請求項11に記載の半導体装置。 - 前記再調整が施された前記処理領域において算出された再調整ゲインと、前記処理領域に隣接する隣接処理領域において算出された隣接再調整ゲインとが異なる場合に、
前記再調整ゲインと前記隣接再調整ゲインとの差と、前記隣接処理領域との境界までの距離と、に応じて前記処理領域内の画素に使用するゲインを設定する色調補間処理を施す色調補間回路をさらに有する、
請求項1に記載の半導体装置。 - 前記色調補間回路は、前記処理領域が前記処理領域の中央部に前記色調補間処理を施さない非補間領域を有する場合、前記非補間領域に対しては前記色調補間処理を施さない、
請求項13に記載の半導体装置。 - 前記画像合成回路は、前記再調整が施された前記画像データをそれぞれの前記重複領域が互いに重なるように合成して前記合成画像を生成する、
請求項1に記載の半導体装置。 - 前記画像合成回路は、前記画像データ取得回路が取得した複数の前記画像データをそれぞれの前記重複領域が互いに重なるように合成して前記合成画像を生成し、
前記再調整回路は、前記合成画像のデータである合成画像データに対して複数の前記処理領域に分割するとともに、前記処理領域ごとに前記再調整を施す、
請求項1に記載の半導体装置。 - 前記画像データ取得回路は、移動体の周囲を撮像して生成された前記画像データを取得する、
請求項1に記載の半導体装置。 - 撮像領域に互いに重複する重複領域を含む画像を撮像して色バランスの調整である初期色調整をそれぞれ施した画像データを生成する複数の画像信号処理装置から前記画像データを取得する画像データ取得インタフェースと、
前記画像データの前記初期色調整の効果をそれぞれキャンセルすることにより推定元画像データを生成し、
前記推定元画像データを、予め設定された複数画素を有する処理領域に分割するとともに、前記処理領域ごとに色バランスの再調整を施し、
前記画像データをそれぞれの前記重複領域が互いに重なるように合成して合成画像を生成し、
前記再調整が施された前記合成画像を出力するプロセッサと、
を備える半導体装置。 - 撮像領域に互いに重複する重複領域を含む画像を撮像して色バランスの調整である初期色調整をそれぞれ施した画像データを生成する複数の画像信号処理装置から前記画像データを取得する画像データ取得ステップと、
前記画像データの前記初期色調整の効果をそれぞれキャンセルすることにより推定元画像データを生成する元画像推定ステップと、
前記推定元画像データを、予め設定された複数画素を有する処理領域に分割するとともに、前記処理領域ごとに色バランスの再調整を施す再調整ステップと、
前記画像データをそれぞれの前記重複領域が互いに重なるように合成して合成画像を生成する画像合成ステップと、
前記再調整が施された前記合成画像を出力する出力ステップと、
を備える画像処理方法。 - 請求項19に記載の方法をコンピュータに実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018239560A JP7100574B2 (ja) | 2018-12-21 | 2018-12-21 | 半導体装置、画像処理方法およびプログラム |
US16/672,007 US11145093B2 (en) | 2018-12-21 | 2019-11-01 | Semiconductor device, image processing system, image processing method and computer readable storage medium |
CN201911157844.6A CN111355942B (zh) | 2018-12-21 | 2019-11-22 | 半导体设备、图像处理系统、方法和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018239560A JP7100574B2 (ja) | 2018-12-21 | 2018-12-21 | 半導体装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020102755A true JP2020102755A (ja) | 2020-07-02 |
JP7100574B2 JP7100574B2 (ja) | 2022-07-13 |
Family
ID=71097723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018239560A Active JP7100574B2 (ja) | 2018-12-21 | 2018-12-21 | 半導体装置、画像処理方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11145093B2 (ja) |
JP (1) | JP7100574B2 (ja) |
CN (1) | CN111355942B (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11616909B2 (en) * | 2020-12-08 | 2023-03-28 | Aspeed Technology Inc. | Method of compensating for color differences between adjacent lens images in a panoramic image |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008017197A (ja) * | 2006-07-06 | 2008-01-24 | Matsushita Electric Ind Co Ltd | 画像合成装置および画像合成方法 |
JP2012023691A (ja) * | 2010-07-16 | 2012-02-02 | Canon Inc | 画像処理装置、画像処理方法、およびプログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6734896B2 (en) * | 2000-04-28 | 2004-05-11 | Matsushita Electric Industrial Co., Ltd. | Image processor and monitoring system |
JP4543514B2 (ja) * | 2000-07-18 | 2010-09-15 | 株式会社ニコン | 電子カメラ |
US7196724B2 (en) * | 2000-12-08 | 2007-03-27 | Nikon Corporation | Image signal processing device, digital camera and computer program product that perform white balance adjustment using pixel outputs from extracted areas |
CN101394500B (zh) * | 2005-12-14 | 2010-11-17 | 日本胜利株式会社 | 电子设备及其控制方法 |
JP4818862B2 (ja) | 2006-09-25 | 2011-11-16 | パナソニック株式会社 | 合成映像表示装置 |
JP4653059B2 (ja) * | 2006-11-10 | 2011-03-16 | オリンパス株式会社 | 撮像システム、画像処理プログラム |
JP2012010275A (ja) * | 2010-06-28 | 2012-01-12 | Sony Corp | 情報処理装置、情報処理方法、及びそのプログラム |
EP2412724A1 (en) * | 2010-07-29 | 2012-02-01 | Centre National de la Recherche Scientifique (C.N.R.S) | Regulation of Glypican 4 activity to modulate the fate of stem cells and uses thereof |
US8600194B2 (en) * | 2011-05-17 | 2013-12-03 | Apple Inc. | Positional sensor-assisted image registration for panoramic photography |
JP5829107B2 (ja) * | 2011-11-16 | 2015-12-09 | ルネサスエレクトロニクス株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN102708558A (zh) * | 2012-06-01 | 2012-10-03 | 惠州华阳通用电子有限公司 | 视频图像拼接装置、拼接方法以及视频监视系统 |
CA2820241C (en) * | 2012-06-13 | 2020-01-14 | Robert G. Hilkes | An apparatus and method for enhancing human visual performance in a head worn video system |
JP5971207B2 (ja) * | 2012-09-18 | 2016-08-17 | 株式会社リコー | 画像調整装置、画像調整方法およびプログラム |
JP6115104B2 (ja) * | 2012-12-04 | 2017-04-19 | アイシン精機株式会社 | 車両の制御装置、及び制御方法 |
JP6325841B2 (ja) * | 2014-02-27 | 2018-05-16 | オリンパス株式会社 | 撮像装置、撮像方法、およびプログラム |
JP6467787B2 (ja) * | 2014-05-27 | 2019-02-13 | 株式会社リコー | 画像処理システム、撮像装置、画像処理方法およびプログラム |
US10863158B2 (en) * | 2016-05-17 | 2020-12-08 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
US10298864B2 (en) * | 2016-06-10 | 2019-05-21 | Apple Inc. | Mismatched foreign light detection and mitigation in the image fusion of a two-camera system |
US20180007336A1 (en) * | 2016-07-01 | 2018-01-04 | Qualcomm Incorporated | Correlation based approach for skipping frames |
JP6873688B2 (ja) * | 2016-12-27 | 2021-05-19 | キヤノン株式会社 | 画像処理装置および画像処理方法、撮像装置、プログラム |
-
2018
- 2018-12-21 JP JP2018239560A patent/JP7100574B2/ja active Active
-
2019
- 2019-11-01 US US16/672,007 patent/US11145093B2/en active Active
- 2019-11-22 CN CN201911157844.6A patent/CN111355942B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008017197A (ja) * | 2006-07-06 | 2008-01-24 | Matsushita Electric Ind Co Ltd | 画像合成装置および画像合成方法 |
JP2012023691A (ja) * | 2010-07-16 | 2012-02-02 | Canon Inc | 画像処理装置、画像処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11145093B2 (en) | 2021-10-12 |
CN111355942A (zh) | 2020-06-30 |
JP7100574B2 (ja) | 2022-07-13 |
CN111355942B (zh) | 2023-08-15 |
US20200202581A1 (en) | 2020-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2629506A1 (en) | Two-step brightness adjustment in around-view systems | |
US11477372B2 (en) | Image processing method and device supporting multiple modes and improved brightness uniformity, image conversion or stitching unit, and computer readable recording medium realizing the image processing method | |
JP2009017020A (ja) | 画像処理装置及び表示画像生成方法 | |
WO2011013642A1 (ja) | 車両用周辺監視装置および車両用周辺画像表示方法 | |
JP5696783B2 (ja) | 画像処理装置 | |
KR20180008244A (ko) | 이미지 생성 방법 및 생성 장치 | |
US11082631B2 (en) | Image processing device | |
JP5195841B2 (ja) | 車載カメラ装置および車両 | |
JP4862321B2 (ja) | 車載カメラ装置 | |
JP5719408B2 (ja) | 車両画像生成のための画像処理方法および画像処理装置 | |
JP5020792B2 (ja) | 合成画像生成装置および合成画像生成方法 | |
JP7081265B2 (ja) | 画像処理装置 | |
JP7100574B2 (ja) | 半導体装置、画像処理方法およびプログラム | |
CN111355880B (zh) | 半导体器件、图像处理系统和方法及计算机可读存储介质 | |
JP2006173988A (ja) | 車載用カメラ映像提示装置及び車載用カメラ映像提示方法 | |
US11017508B2 (en) | Image matching method and apparatus | |
WO2020137583A1 (ja) | 画像生成装置及び画像表示システム | |
KR101775967B1 (ko) | 영상 변환 장치 및 방법 | |
KR20130006906A (ko) | 어라운드 뷰 모니터 시스템의 카메라 간 화질차이 개선 방법 | |
TWI759136B (zh) | 圖像輸出的方法、電腦程式產品、裝置及圖像產生方法 | |
JP5846986B2 (ja) | 撮像装置 | |
JP2022529657A (ja) | 車両周辺部の画像を生成するための方法ならびに車両周辺部の画像を生成するための装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7100574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |