JP2020077950A - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、撮像装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2020077950A JP2020077950A JP2018209425A JP2018209425A JP2020077950A JP 2020077950 A JP2020077950 A JP 2020077950A JP 2018209425 A JP2018209425 A JP 2018209425A JP 2018209425 A JP2018209425 A JP 2018209425A JP 2020077950 A JP2020077950 A JP 2020077950A
- Authority
- JP
- Japan
- Prior art keywords
- image
- input image
- white balance
- balance adjustment
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 94
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000003384 imaging method Methods 0.000 title claims description 49
- 238000004364 calculation method Methods 0.000 claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000004148 unit process Methods 0.000 claims 1
- 238000005286 illumination Methods 0.000 description 39
- 239000013598 vector Substances 0.000 description 33
- 238000013527 convolutional neural network Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 13
- 230000006854 communication Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
非特許文献1 S. Bianco, C. Cusano, and R. Schettini, "Color Constancy Using CNNs", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2015年, 第81-89頁
20 UAV本体
50 ジンバル
60 撮像装置
100 撮像装置
102 撮像部
104 画像処理部
110 撮像制御部
120 イメージセンサ
130 メモリ
140 ホワイトバランス調整部
142 生成部
144 算出部
146 調整部
160 表示部
162 指示部
200 レンズ部
210 レンズ
212 レンズ駆動部
220 レンズ制御部
222 メモリ
300 遠隔操作装置
310 入力画像
320 CNN
330 処理パラメータ
332 ブロック
333 フィルタ
340 参照画像
350 教師画像
370 全体領域
371 ホワイトバランス調整値
372 ホワイトバランス調整値
381 ホワイトバランス調整値
410 入力画像
411 部分領域
412 部分領域
433 フィルタ
500 撮像画像
510 入力画像
540 参照画像
561 領域
562 領域
1200 コンピュータ
1210 ホストコントローラ
1212 CPU
1214 RAM
1220 入力/出力コントローラ
1222 通信インタフェース
1230 ROM
Claims (14)
- ニューラルネットワークにより入力画像を処理し、前記ニューラルネットワークの出力に基づいて、前記入力画像における部分領域毎に異なるホワイトバランス調整値を算出する算出部
を備える画像処理装置。 - 前記算出部は、前記ニューラルネットワークにより前記入力画像を処理することによって前記入力画像に含まれる複数の画素のそれぞれに対応する複数のフィルタを生成し、前記入力画像に前記複数のフィルタを適用して得られた画像と前記入力画像とに基づいて、前記入力画像における前記部分領域毎に異なるホワイトバランス調整値を算出する
請求項1に記載の画像処理装置。 - 前記算出部は、前記入力画像に前記複数のフィルタを適用して得られた画像と前記入力画像とに基づく前記複数の画素毎の色温度を分類することによって、前記部分領域毎に前記ホワイトバランス調整値を算出する
請求項2に記載の画像処理装置。 - 前記算出部は、前記分類された複数の前記色温度を含む複数の色温度群のそれぞれについて、それぞれの色温度群に含まれる複数の色温度に対応する複数の画素を含む複数の部分領域を特定し、前記特定した前記複数の部分領域毎に前記ホワイトバランス調整値を算出する
請求項3に記載の画像処理装置。 - 前記算出部は、前記特定した前記複数の部分領域毎に、前記入力画像にホワイトバランス調整値を適用した画像と、前記入力画像に前記複数のフィルタを適用して得られた画像との差を繰り返し調整することよってホワイトバランス調整値を更新することにより、前記ホワイトバランス調整値を算出する
請求項4に記載の画像処理装置。 - 前記入力画像のカラーチャネル数をC(Cは自然数)として、前記複数のフィルタは、前記複数の画素のそれぞれについて、それぞれの画素及びそれぞれの画素の近傍の画素を含むN個の画素群にそれぞれ適用されるN個のフィルタ係数群をC×C個含む
請求項2に記載の画像処理装置。 - 前記算出部は、前記C×C個の前記フィルタ係数群の値に基づいて前記ニューラルネットワークによる前記入力画像の処理結果の信頼値を算出し、前記入力画像に前記複数のフィルタを適用することによって得られた画像と前記入力画像とに基づいて前記複数の画素毎の色温度を算出し、算出した信頼値に応じて前記色温度を分類することによって、前記入力画像の前記部分領域毎に前記ホワイトバランス調整値を算出する
請求項6に記載の画像処理装置。 - 前記算出部は、前記C×C個の前記フィルタ係数群の値に基づいて前記ニューラルネットワークによる前記入力画像の処理結果の信頼値を算出し、算出した信頼値が予め定められた値以上であることを条件として、前記入力画像に前記複数のフィルタを適用することによって得られた画像と前記入力画像とに基づいて前記複数の画素毎の色温度を算出し、前記入力画像の前記部分領域毎に前記ホワイトバランス調整値を算出する
請求項6に記載の画像処理装置。 - 前記算出部は、撮像画像から生成された前記入力画像を前記ニューラルネットワークにより処理し、前記ニューラルネットワークの出力に基づいて、前記入力画像における前記部分領域毎に異なるホワイトバランス調整値を算出し、
前記画像処理装置は、
前記算出部が前記部分領域毎に算出した前記ホワイトバランス調整値のそれぞれを、前記撮像画像における前記部分領域に対応する部分領域にそれぞれ適用することによって、前記撮像画像にホワイトバランス調整を施す調整部
をさらに備える請求項1に記載の画像処理装置。 - 前記ニューラルネットワークは、前記入力画像に対して、少なくも1回の畳み込み演算を行う処理を含む、請求項1から請求項9の何れか1項に記載の画像処理装置。
- 請求項1から10のいずれか一項に記載の画像処理装置と、
イメージセンサと
を備える撮像装置。 - ニューラルネットワークにより入力画像を処理し、前記ニューラルネットワークの出力に基づいて、前記入力画像における部分領域毎に異なるホワイトバランス調整値を算出する段階
を備える画像処理方法。 - 前記ニューラルネットワークは、前記入力画像に対して、少なくとも1回の畳み込み演算を行う処理を含む、請求項12に記載の画像処理方法。
- 請求項1から10のいずれか一項に記載の画像処理装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018209425A JP6696095B1 (ja) | 2018-11-07 | 2018-11-07 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018209425A JP6696095B1 (ja) | 2018-11-07 | 2018-11-07 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6696095B1 JP6696095B1 (ja) | 2020-05-20 |
JP2020077950A true JP2020077950A (ja) | 2020-05-21 |
Family
ID=70682377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018209425A Expired - Fee Related JP6696095B1 (ja) | 2018-11-07 | 2018-11-07 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6696095B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220394223A1 (en) * | 2021-06-08 | 2022-12-08 | Black Sesame International Holding Limited | Neural network based auto-white-balancing |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220014764A (ko) * | 2020-07-29 | 2022-02-07 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 인공 지능 학습 모델의 훈련 데이터 생성 방법 |
CN114071106B (zh) * | 2020-08-10 | 2023-07-04 | 合肥君正科技有限公司 | 一种低功耗设备冷启动快速白平衡方法 |
CN112839181B (zh) * | 2020-12-30 | 2022-10-11 | 上海掌门科技有限公司 | 一种用于生成高动态范围图像的方法与设备 |
CN112884693A (zh) * | 2021-03-25 | 2021-06-01 | 维沃移动通信(深圳)有限公司 | 图像处理模型的训练方法和装置、白平衡处理方法和装置 |
CN113596427B (zh) * | 2021-09-13 | 2024-03-15 | 厦门亿联网络技术股份有限公司 | 图像白平衡提升方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002271638A (ja) * | 2001-03-09 | 2002-09-20 | Fuji Photo Film Co Ltd | ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体 |
JP2002543695A (ja) * | 1999-04-28 | 2002-12-17 | ソニー株式会社 | カラー機器の特性付け方法及び装置、画像色補正方法及び装置、カラー画像データ伝送及び/又は記録方法及び記録媒体 |
JP2011254311A (ja) * | 2010-06-02 | 2011-12-15 | Aisin Seiki Co Ltd | 車両周辺画像処理装置 |
JP2018148281A (ja) * | 2017-03-01 | 2018-09-20 | 株式会社ブライセン | 画像処理装置 |
-
2018
- 2018-11-07 JP JP2018209425A patent/JP6696095B1/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002543695A (ja) * | 1999-04-28 | 2002-12-17 | ソニー株式会社 | カラー機器の特性付け方法及び装置、画像色補正方法及び装置、カラー画像データ伝送及び/又は記録方法及び記録媒体 |
JP2002271638A (ja) * | 2001-03-09 | 2002-09-20 | Fuji Photo Film Co Ltd | ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体 |
JP2011254311A (ja) * | 2010-06-02 | 2011-12-15 | Aisin Seiki Co Ltd | 車両周辺画像処理装置 |
JP2018148281A (ja) * | 2017-03-01 | 2018-09-20 | 株式会社ブライセン | 画像処理装置 |
Non-Patent Citations (1)
Title |
---|
"ニューラルネットワークの基礎解説:仕組みや機械学習・ディープラーニングとの関係は", ビジネス+IT, JPN7019004239, 15 March 2017 (2017-03-15), JP, pages 1 - 9, ISSN: 0004186286 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220394223A1 (en) * | 2021-06-08 | 2022-12-08 | Black Sesame International Holding Limited | Neural network based auto-white-balancing |
US11606544B2 (en) * | 2021-06-08 | 2023-03-14 | Black Sesame Technologies Inc. | Neural network based auto-white-balancing |
Also Published As
Publication number | Publication date |
---|---|
JP6696095B1 (ja) | 2020-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6696095B1 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
WO2018185939A1 (ja) | 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム | |
JP2019216343A (ja) | 決定装置、移動体、決定方法、及びプログラム | |
JP6384000B1 (ja) | 制御装置、撮像装置、撮像システム、移動体、制御方法、及びプログラム | |
JP2020012878A (ja) | 制御装置、移動体、制御方法、及びプログラム | |
JP6630939B2 (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム | |
JP6503607B2 (ja) | 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム | |
JP6587006B2 (ja) | 動体検出装置、制御装置、移動体、動体検出方法、及びプログラム | |
US20220141371A1 (en) | Control apparatuses, photographing apparatuses, movable objects, control methods, and programs | |
JP6801161B1 (ja) | 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム | |
JP2019220834A (ja) | 無人航空機、制御方法、及びプログラム | |
JP6768997B1 (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム | |
JP6543859B1 (ja) | 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム | |
JP2022049404A (ja) | 制御装置、撮像装置、制御方法、及びプログラム | |
JP6668570B2 (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム | |
JP6641574B1 (ja) | 決定装置、移動体、決定方法、及びプログラム | |
WO2018163300A1 (ja) | 制御装置、撮像装置、撮像システム、移動体、制御方法、及びプログラム | |
JP6818987B1 (ja) | 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム | |
JP7043707B2 (ja) | シーン認識装置、撮像装置、シーン認識方法、及びプログラム | |
JP6413170B1 (ja) | 決定装置、撮像装置、撮像システム、移動体、決定方法、及びプログラム | |
JP2020016703A (ja) | 制御装置、移動体、制御方法、及びプログラム | |
JP7173657B2 (ja) | 制御装置、撮像装置、制御方法、及びプログラム | |
JP2020014054A (ja) | 制御装置、移動体、制御方法、及びプログラム | |
JP6569157B1 (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム | |
WO2020216057A1 (zh) | 控制装置、摄像装置、移动体、控制方法以及程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6696095 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |