JP2023009613A - Imaging device and model learning system - Google Patents
Imaging device and model learning system Download PDFInfo
- Publication number
- JP2023009613A JP2023009613A JP2021113039A JP2021113039A JP2023009613A JP 2023009613 A JP2023009613 A JP 2023009613A JP 2021113039 A JP2021113039 A JP 2021113039A JP 2021113039 A JP2021113039 A JP 2021113039A JP 2023009613 A JP2023009613 A JP 2023009613A
- Authority
- JP
- Japan
- Prior art keywords
- image
- teacher
- learning
- input data
- light receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 82
- 230000003287 optical effect Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 34
- 238000003702 image correction Methods 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000013459 approach Methods 0.000 claims description 2
- 239000011521 glass Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 201000009310 astigmatism Diseases 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005043 peripheral vision Effects 0.000 description 1
Images
Abstract
Description
画像処理機能を備えた撮像装置、および、モデル学習システムに関する。 The present invention relates to an imaging device having an image processing function and a model learning system.
非特許文献1には、撮像画像を表している受光素子毎の輝度信号を入力データとして事前に学習しておいて学習型ネットワークモデルに入力し、撮像画像のボケを改善する技術が開示されている。 Non-Patent Document 1 discloses a technique for improving the blur of a captured image by learning in advance the luminance signal of each light receiving element representing the captured image as input data and inputting it to a learning network model. there is
非特許文献1に開示された技術は、まだボケの改善が十分ではない。より、ボケの程度が少ない画像を出力できる技術が望まれる。 The technology disclosed in Non-Patent Literature 1 is still insufficient in improving blurring. A technique capable of outputting an image with less blur is desired.
本開示は、この事情に基づいて成されたものであり、その目的とするところは、ボケの程度が少ない補正後撮像画像を得られる撮像装置、および、撮像装置が使うモデルを学習するモデル学習システムを提供することにある。 The present disclosure has been made based on this situation, and aims to provide an imaging device capable of obtaining a corrected captured image with a small degree of blurring, and model learning for learning a model used by the imaging device. It is to provide a system.
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的態様との対応関係を示すものであって、開示した技術的範囲を限定するものではない。 The above objects are achieved by the combination of features stated in the independent claims, and the sub-claims define further advantageous embodiments. The symbols in parentheses described in the claims indicate the corresponding relationship with the specific aspects described in the embodiments described later as one aspect, and do not limit the disclosed technical scope.
上記目的を達成するための撮像装置に係る1つの開示は、
画像のボケが光軸(11a)に対して対称性をもつ撮像画像を、複数の受光素子を備えた受光センサ(12)により撮像し、受光素子別の輝度を示す輝度信号を出力する撮像部(10)と、
撮像部が出力した輝度信号と、輝度信号を検出した受光素子の位置を示す極座標成分とを入力データとし、入力データを学習型ネットワークモデルに入力してボケを補正した補正後撮像画像を生成し、生成した補正後撮像画像を所定の演算装置へ出力する画像処理部(20、220)と、を備え、
学習型ネットワークモデルは、撮像画像に対してボケが改善されている教師画像を受光素子の位置に対応した画像位置別の輝度信号により示す教師輝度信号と、画像位置を示す極座標成分とを教師データとし、入力データと教師データとを含む学習データにより学習されている、撮像装置である。
One disclosure related to an imaging device for achieving the above object is,
An imaging unit that captures a captured image whose blurring is symmetrical with respect to the optical axis (11a) with a light receiving sensor (12) having a plurality of light receiving elements and outputs a luminance signal indicating the luminance of each light receiving element. (10) and
The luminance signal output by the imaging unit and the polar coordinate component indicating the position of the light-receiving element that detected the luminance signal are used as input data, and the input data is input to a learning network model to generate a corrected captured image in which blur is corrected. , an image processing unit (20, 220) that outputs the generated corrected captured image to a predetermined arithmetic device,
The learning-type network model uses a teacher luminance signal that indicates a teacher image in which blurring has been improved with respect to the captured image by a luminance signal for each image position corresponding to the position of the light receiving element, and a polar coordinate component that indicates the image position as teacher data. , and is learned by learning data including input data and teacher data.
撮像部が撮像する画像は、画像のボケが光軸に対して対称性を持っている。画像処理部は、学習型ネットワークモデルにより撮像画像のボケを補正する。学習型ネットワークモデルは、輝度信号だけでなく、輝度信号を検出した受光素子の位置を示す極座標成分も入力データとするモデルである。 An image captured by the imaging unit has symmetrical blur of the image with respect to the optical axis. The image processing unit corrects blurring of the captured image using a learning network model. The learning network model is a model that takes as input data not only luminance signals but also polar coordinate components indicating the positions of the light receiving elements that detected the luminance signals.
この学習型ネットワークモデルは、撮像画像に対してボケが改善されている教師画像をベースとして学習されている。詳しくは、教師画像において受光素子に対応した画像位置別の輝度信号(すなわち教師輝度信号)と画像位置を示す極座標成分とを教師データとしている。学習型ネットワークモデルは、この教師データと入力データとを学習データとして学習されている。 This learning-type network model is learned based on a teacher image in which the blur is improved with respect to the captured image. Specifically, in the teacher image, the teacher data is a luminance signal for each image position corresponding to the light-receiving element (that is, teacher luminance signal) and a polar coordinate component indicating the image position. The learning network model is learned using this teacher data and input data as learning data.
学習型ネットワークモデルがこの学習データにより学習されていると、輝度信号のみを入力データとして学習されたモデルよりも補正精度が向上する。補正精度が向上する理由は以下の通りである。ボケが光軸に対して対称性を持つ撮像画像は、座標を極座標系とすると、互いに対称となる座標のボケが同様になる。そのため、上記の学習データとすることで、学習時にボケの対称性が利用されて学習型ネットワークモデルのパラメータが学習されるので、学習効率が向上する。学習効率が向上することは、よりボケを改善できる学習型ネットワークモデルになることを意味する。このようにして学習された学習型ネットワークモデルを用いて撮像画像を補正するので、ボケの程度が少ない補正後撮像画像を得られるのである。 If the learning network model is trained using this learning data, the correction accuracy is improved over the model trained using only the luminance signal as input data. The reason why the correction accuracy is improved is as follows. A picked-up image whose blur is symmetrical with respect to the optical axis has the same blur at mutually symmetrical coordinates when the coordinates are in a polar coordinate system. Therefore, by using the learning data described above, the parameters of the learning network model are learned using the symmetry of the blur during learning, so that the learning efficiency is improved. Improving the learning efficiency means that it becomes a learning network model that can improve blurring. Since the picked-up image is corrected using the learned network model learned in this way, the corrected picked-up image with less degree of blur can be obtained.
上記目的を達成するための他の開示は、撮像装置が備える学習型ネットワークモデルを学習するモデル学習システムである。このモデル学習システムは、
画像のボケが光軸(11a)に対して対称性をもつ撮像画像を、複数の受光素子を備えた受光センサ(12)により撮像し、受光素子別の輝度を示す輝度信号を出力する撮像部(10)と、
撮像画像に対してボケが改善されている教師画像を複数の受光素子に対応した画像位置別の輝度信号により示す教師輝度信号と、画像位置を示す極座標成分とを含む教師データを生成する教師データ生成部(123、323)と、
撮像部が出力した輝度信号と、輝度信号を検出した受光素子の位置を示す極座標成分とを入力データとし、入力データと教師データ生成部が生成した教師データとを含む学習データにより、学習型ネットワークモデルのパラメータを学習するモデル学習部(124、324)とを備える。
Another disclosure for achieving the above object is a model learning system that learns a learning network model provided in an imaging device. This model learning system
An imaging unit that captures a captured image whose blurring is symmetrical with respect to the optical axis (11a) with a light receiving sensor (12) having a plurality of light receiving elements and outputs a luminance signal indicating the luminance of each light receiving element. (10) and
Teacher data for generating teacher data including a teacher luminance signal indicating a teacher image in which blurring is improved with respect to a captured image by luminance signals for each image position corresponding to a plurality of light receiving elements, and a polar coordinate component indicating the image position. a generator (123, 323);
A learning network is generated by learning data including the input data and the teacher data generated by the teacher data generator using the luminance signal output by the imaging unit and the polar coordinate component indicating the position of the light-receiving element that detected the luminance signal as input data. and a model learning unit (124, 324) for learning model parameters.
<第1実施形態>
以下、実施形態を図面に基づいて説明する。図1は、第1実施形態の撮像装置1の構成を示す図である。本実施形態の撮像装置1は車両に搭載され、車両の周囲の画像を撮像する。
<First embodiment>
Hereinafter, embodiments will be described based on the drawings. FIG. 1 is a diagram showing the configuration of an imaging device 1 according to the first embodiment. The imaging device 1 of this embodiment is mounted on a vehicle and captures an image around the vehicle.
撮像装置1は、撮像部10と画像処理部20とを備えている。撮像部10は、車両の周囲を撮像し、撮像した画像(以下、撮像画像)を示すデジタルデータを画像処理部20に出力する。撮像部10は、レンズ11と受光センサ12と撮像制御部13とを備えている。
The imaging device 1 includes an
レンズ11は、車両外部からレンズ11に入射する光を受光センサ12の受光面12aに集光する。レンズ11は、第1面を凹面、第2面を凸面とする非球面レンズとし、中央部のコントラストに優れる設計とする。また、レンズ11は、車両で用いる場合の耐候性を考慮して、ガラス製とすることが好ましい。
The
受光センサ12は、受光面12aに縦横に多数の受光素子が配置された構成である。受光素子は受光画素、あるいは、単に画素と言われることもある。受光素子は、光の強度を電気信号に変換する素子である。受光センサ12としては、CMOSセンサ、CCDセンサなどを用いることができる。受光センサ12は、赤、緑、青のカラーフィルタが光路手前に配置されることにより、赤色の光の強度、緑色の光の強度、青色の光の強度を検出する。
The light-
受光面12aは、非点収差を補正するために、レンズ11の光軸11aから離れるほどレンズ11側に近づく湾曲形状である。受光面12aの湾曲の程度は、非点収差を補正できるように、レンズ11の特性に応じて適宜、決定する。
The light-receiving
前述のように、レンズ11は、中央のコントラストに優れる。換言すれば、このレンズ11を用いて撮像される撮像画像は、視野中心から視野周辺に向かうほどボケの程度が大きくなる。また、レンズ11は、光軸11aに対して対称形状であるので、撮像画像は、ボケが光軸11aに対して対称性を持つ画像である。
As described above, the
撮像制御部13は、受光センサ12が備える受光素子を制御するものである。撮像制御部13は、少なくとも1つのプロセッサを備えた構成により実現できる。撮像制御部13は、受光センサ12に撮像画像を逐次撮像させ、また、撮像画像を示す画像信号を画像処理部20に逐次出力する。画像信号は、詳しくは、受光素子別の輝度信号である。受光センサ12の受光面12aには、格子状に受光素子が配列しているので、撮像制御部13は、受光素子別の輝度信号を、1列ずつ順番に直交座標系において連続する配列で、画像処理部20に出力する。画像処理部20は、逐次、画像処理部20に入力される輝度信号の順番により、各輝度信号がどの受光素子が検出した輝度信号であるかを特定できる。なお、撮像制御部13は、受光素子別の輝度信号に直交座標を付与して画像処理部20に出力してもよい。
The
画像処理部20は、撮像画像のボケを改善した補正後撮像画像を生成し、補正後撮像画像を示す画像データを演算装置2へ出力する。演算装置2は、画像データを演算する装置であればよい。演算装置2は、たとえば、画像データを処理して補正後撮像画像に写っている障害物を検出する装置である。演算装置2の他の具体例は、補正後撮像画像を表示する表示器である。
The
画像処理部20は、少なくとも1つのプロセッサを備えた構成により実現できる。なお、撮像制御部13と画像処理部20が、同じプロセッサにより実現されてもよい。画像処理部20は、プロセッサが実行する機能として、入力データ生成部22と、画像補正部23とを備える。
The
入力データ生成部22は、画像補正部23に入力する入力データを生成する。入力データの1単位は、1つの画素位置についての赤色の輝度値LR、緑色の輝度値LG、青色の輝度値LB、および、その画素位置の極座標(r、θ)である。輝度値LR、LG、LBは、輝度信号に基づいて定まる値とすることができる。
The
画素位置の極座標における距離rは、光軸11aからの距離を意味する。極座標における角度θは、始線からの角度である。入力データ生成部22は、生成した入力データを画像補正部23に出力する。
The distance r in the polar coordinates of the pixel position means the distance from the
画像補正部23は、入力データを学習型ネットワークモデルに入力して補正後撮像画像を生成する。そして、画像補正部23は、生成した補正後撮像画像を演算装置2に出力する。画像処理部20は、記憶部24を備える。記憶部24は不揮発性であり、記憶部24に、画像補正部23が用いる学習済みの学習型ネットワークモデルが記憶されている。
The
学習型ネットワークモデルは、学習型フィルタを用い、逆畳み込み演算を行うように構築されたモデルである。たとえば、非特許文献1にも開示されているU-netを用いることができる。なお、非特許文献1では、U-netの段数は6段になっている。本実施形態でも、段数は6段とすることができる。ただし、5段など6段以外の段数でもよい。入力データの1セットが5つのパラメータを備えるので、本実施形態で用いる学習型ネットワークモデルは入力チャンネルを5チャンネルとする。また、初段の変換は、たとえば、128チャンネルとする。 A learning network model is a model constructed to perform a deconvolution operation using a learning filter. For example, U-net, which is also disclosed in Non-Patent Document 1, can be used. In Non-Patent Document 1, the U-net has six stages. Also in this embodiment, the number of stages can be six. However, the number of stages other than 6, such as 5, may be used. Since one set of input data has five parameters, the learning network model used in this embodiment has five input channels. Also, the conversion at the first stage is assumed to be 128 channels, for example.
図2は、入力データ生成部22と画像補正部23が実行する処理を説明する図である。図2において、「Image_RGB」は、撮像制御部13が出力する画像信号である。画像信号は、画素位置毎に、赤色、緑色、青色の3つの輝度値Lが、直交座標の配列で配列されている信号群である。「Adress_rθ」は、距離r、角度θにより定まる極座標位置である。入力データ生成部22は、これら5つのパラメータを結合して、1セットの入力データ「Input_RGBrθ」とする。
FIG. 2 is a diagram for explaining the processing executed by the input
画像補正部23は、入力データを、所定の大きさで順次切り出す。図2では、256×256の大きさを例示している。この切り出した入力データを、学習型ネットワークモデルに入力して出力データを得る。「Output_RGBrθ」は、入力データを順次、学習型ネットワークモデルに入力して得られた出力データを意味する。画像補正部23は、この出力データから、極座標(r、θ)のデータを除去することで、「Image_RGB」を得る。画像補正部23側の「Image_RGB」は、補正後撮像画像を表す画像データである。
The
〔学習処理〕
次に、学習型ネットワークモデルの学習処理について説明する。図3に、学習処理をするモデル学習システム100の構成を示す。モデル学習システム100は、撮像部10、教師画像撮像装置110、モデル生成装置120を備える。
[Learning processing]
Next, learning processing of the learning network model will be described. FIG. 3 shows the configuration of a
教師画像撮像装置110は、教師画像を撮像する装置である。教師画像は、撮像部10が撮像する撮像画像に対してボケが改善されている画像である。教師画像撮像装置110は、このような教師画像を撮像するために、複数枚のレンズを組み合わせたりする。教師画像撮像装置110は、教師画像を、受光素子の位置に対応した画像位置別の輝度信号により示す教師輝度信号に、各教師輝度信号の画像位置を示す直交座標を付与して、モデル生成装置120に出力する。
The teacher
撮像部10は、撮像装置1が備えるものと同じである。学習時、撮像部10は、教師画像撮像装置110が撮像する範囲と同じ範囲を撮像する。なお、教師画像は、コンピュータグラフィックスにより作成したものでもよい。教師画像がコンピュータグラフィックスにより作成した画像である場合、撮像部10は、教師画像を撮像する。
The
モデル生成装置120は、入力データ生成部122、教師データ生成部123、モデル学習部124、記憶部125を備える。入力データ生成部122は、撮像装置1が備える入力データ生成部22と同じ処理により、入力データを生成する。
The
教師データ生成部123は、教師輝度信号を教師画像撮像装置110から取得し、この教師輝度信号をもとに教師データを生成する。教師データは、入力データにおける撮像画像を教師画像に置き換えたデータである。したがって、教師データは、画像位置別の輝度信号に、各画像位置を示す極座標(r、θ)を加えたデータである。
The teacher
モデル学習部124は、入力データ生成部122が生成した入力データと、教師データ生成部123が生成した教師データとを学習データとして、学習型ネットワークモデルのパラメータを学習する。そして、モデル学習部124は、パラメータを学習した学習型ネットワークモデルを記憶部125に記憶する。撮像装置1が備える記憶部24に記憶されている学習型ネットワークモデルは、このモデル学習システム100により学習された学習型ネットワークモデルである。学習済みの学習型ネットワークモデルを記憶部24に記憶するために、撮像装置1とモデル学習システム100は、相互に通信できるようになっていてもよい。また、作業者が可搬型記憶媒体を用いて、記憶部125から記憶部24へ、学習型ネットワークモデルをコピーしてもよい。
The
このように、学習型ネットワークモデルは、教師輝度信号と極座標で示す画像位置とを教師データとして学習されている。学習型ネットワークモデルがこのようにして学習されていると、以下の理由により、輝度信号のみを入力データとして学習されたモデルよりも補正精度が向上する。 In this way, the learning network model is learned using the teacher luminance signal and the image position indicated by polar coordinates as teacher data. When the learning network model is learned in this manner, the correction accuracy is improved over the model trained using only the luminance signal as input data for the following reasons.
撮像画像は、ボケが光軸に対して対称性を持っているため、極座標を入力データの一部として学習することで、ボケの対称性が利用されて学習型ネットワークモデルのパラメータが学習されるからである。このようにして学習された学習型ネットワークモデルを用いて撮像画像を補正することで、撮像装置1は、ボケの程度が少ない補正後撮像画像を得られる。 In captured images, the blur has symmetry with respect to the optical axis, so by learning the polar coordinates as part of the input data, the symmetry of the blur is used to learn the parameters of the learning network model. It is from. By correcting the captured image using the learned network model learned in this way, the imaging apparatus 1 can obtain the corrected captured image with a small degree of blurring.
〔画像改善効果〕
図4に、撮像装置1による画像改善効果を確認した結果を示す。図4は、横軸がHalfFoV(°)である。HalfFoVは、光軸を0°とし、光軸に対して一方の側のみの視野を意味する。全体の視野(Field of View)は、HalfFoVの2倍である。図4の縦軸は、PSNR(Peak Signal Noise Ratio)である。
[Image improvement effect]
FIG. 4 shows the result of confirming the image improvement effect of the imaging device 1. As shown in FIG. In FIG. 4, the horizontal axis is HalfFoV (°). HalfFoV means the field of view on only one side of the optical axis with the optical axis at 0°. The Field of View is twice the HalfFoV. The vertical axis of FIG. 4 is PSNR (Peak Signal Noise Ratio).
図4において非特許文献1として示した結果は、第1実施形態の撮像装置1の構成において、学習型ネットワークモデルのみ、非特許文献1に開示されているモデルとした装置を用いた結果である。非特許文献1に開示されているモデルは、U-netを用いるが、入力データが、各画素の輝度信号のみであり、各画素の輝度信号に極座標情報は追加されない。 The result shown as Non-Patent Document 1 in FIG. 4 is the result of using the device disclosed in Non-Patent Document 1 for only the learning network model in the configuration of the imaging device 1 of the first embodiment. . The model disclosed in Non-Patent Document 1 uses U-net, but the input data is only the luminance signal of each pixel, and polar coordinate information is not added to the luminance signal of each pixel.
図4に示されるように、第1実施形態によれば、非特許文献1に開示されている入力データと学習型ネットワークモデルを用いるよりも、全体的にPSNRが向上していることが分かる。 As shown in FIG. 4, according to the first embodiment, the overall PSNR is improved compared to using the input data and learning network model disclosed in Non-Patent Document 1.
また、非特許文献1では、回折型DOEを用いたシングルレンズを採用している。非特許文献1には、HalfFoVが9°~13°付近では、非球面レンズを採用するよりもPSNRが向上しているグラフが開示されている。しかし、このグラフは、換言すれば、HalfFoVが0°から9°付近では、非球面レンズを採用したほうが、PSNRがよいことを意味している。そこで、本実施形態では、非球面のレンズ11を採用している。これにより、視野中央部の解像度が、非特許文献1に開示された構成よりも向上する。
Also, in Non-Patent Document 1, a single lens using a diffractive DOE is adopted. Non-Patent Document 1 discloses a graph showing that when HalfFoV is around 9° to 13°, the PSNR is better than when an aspherical lens is employed. However, this graph, in other words, means that when HalfFoV is around 0° to 9°, PSNR is better when aspherical lenses are used. Therefore, in this embodiment, an
ただし、非球面のレンズ11を採用すると、非点収差により、周辺視野ではPSNRが低くなる。そこで、非点収差を補正するために、撮像装置1では、受光面12aが湾曲形状になっている受光センサ12を備える。この構成により、視野周辺の解像度も向上する。
However, when the
<第2実施形態>
次に、第2実施形態を説明する。この第2実施形態以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。
<Second embodiment>
Next, a second embodiment will be described. In the following description of the second embodiment, the elements having the same reference numerals as those used so far are the same as the elements having the same reference numerals in the previous embodiments unless otherwise specified. Moreover, when only part of the configuration is described, the previously described embodiments can be applied to the other portions of the configuration.
図5に、第2実施形態の撮像装置200の構成を示す。撮像装置200は、撮像装置1が備えているものと同じ撮像部10を備える。撮像装置200は、この撮像部10と、画像処理部220とを備える。
FIG. 5 shows the configuration of an
画像処理部220は、座標変換部221、入力データ生成部222、画像補正部223、記憶部224を備える。座標変換部221は、撮像部10が出力した輝度信号を、極座標の配列に変換する。
The
入力データ生成部222は、画像補正部223に入力する入力データを生成する。第2実施形態での入力データの1単位は、1つの画素位置についての赤色の輝度値LR、緑色の輝度値LG、青色の輝度値LB、および、その画素位置の極座標成分の距離rである。第1実施形態とは異なり、入力データに、画素位置の極座標成分の角度θは含ませない。したがって、入力データは4チャンネルのデータになる。
The
撮像画像は光軸11aに対してボケの程度が対称性を持つ画像である。したがって、角度θが変わっても、ボケの程度は同じである。そこで、輝度信号の配列を極座標系に変換している第2実施形態では、画素位置の極座標成分のうち角度θは、入力データに含ませないのである。
The picked-up image is an image in which the degree of blurring is symmetrical with respect to the
画像補正部223は、入力データ生成部222が生成した入力データを学習型ネットワークモデルに入力して補正後撮像画像を生成する。そして、画像補正部223は、生成した補正後撮像画像を演算装置2に出力する。画像処理部220は、記憶部224を備える。記憶部224には、画像補正部223が用いる学習済みの学習型ネットワークモデルが記憶されている。
The
図6は、座標変換部221、入力データ生成部222および画像補正部223が実行する処理を説明する図である。図6において、座標変換部221の「Image_RGB」は撮像制御部13が出力する画像信号、「Polar_RGB」は極座標の順で配列された画像信号である。「Adress_r」は画素位置の極座標成分である距離r、「Input_RGBr」は入力データである。
FIG. 6 is a diagram illustrating processing executed by the coordinate
画像補正部223は、入力データを、所定の大きさで順次切り出し、切り出した入力データを、学習型ネットワークモデルに入力して出力データを得る。「Output_RGBr」は、入力データを順次、学習型ネットワークモデルに入力して得られた出力データを意味する。画像補正部223は、この出力データから、極座標(r)のデータを除去して、「Polar_RGB」を得る。この「Polar_RGB」は極座標の配列になっている補正後撮像画像であるので、さらに、「Polar_RGB」を直交座標の配列に変換して「Image_RGB」を得る。画像補正部223側の「Image_RGB」は、直交座標系で補正後撮像画像を表す画像データである。
The
〔学習処理〕
次に、第2実施形態において学習型ネットワークモデルを学習する学習処理について説明する。図7に、学習処理をするモデル学習システム300の構成を示す。モデル学習システム300は、撮像部10、教師画像撮像装置110、モデル生成装置320を備える。撮像部10と教師画像撮像装置110は、モデル学習システム100が備えるものと同じである。
[Learning processing]
Next, learning processing for learning a learning network model in the second embodiment will be described. FIG. 7 shows the configuration of a
モデル生成装置320は、座標変換部321、入力データ生成部322、教師データ生成部323、モデル学習部324、記憶部325を備える。座標変換部321、入力データ生成部322は、それぞれ、撮像装置200が備える座標変換部221、入力データ生成部222と同じ処理を実行する。
The
教師データ生成部323は、教師輝度信号を教師画像撮像装置110から取得する。教師画像撮像装置110から取得する教師輝度信号は直交座標系で配列している。教師データ生成部323は、教師画像撮像装置110から取得した教師輝度信号を極座標の配列に変換する。さらに、教師データ生成部323は、変換後の各画像位置別の教師輝度信号に、その画像位置を示す極座標のうちの距離rを加えて教師データとする。
The
モデル学習部324は、入力データ生成部322が生成した入力データと、教師データ生成部323が生成した教師データとを学習データとして、学習型ネットワークモデルのパラメータを学習する。そして、モデル学習部324は、パラメータを学習した学習型ネットワークモデルを記憶部325に記憶する。撮像装置200が備える記憶部325に記憶されている学習型ネットワークモデルは、このモデル学習システム300により学習された学習型ネットワークモデルである。
The
学習型ネットワークモデルがこのようにして学習されても、輝度信号のみを入力データとして学習されたモデルよりも補正精度が向上する。 Even if the learning-type network model is learned in this way, the correction accuracy is improved as compared with the model learned using only the luminance signal as input data.
〔画像改善効果〕
図8に、撮像装置200による画像改善効果を確認した結果を示す。図8も、図4と同じく、横軸がHalfFoV、縦軸がPSNRである。図8に示されるように、第2実施形態のようにしても、非特許文献1に開示されている入力データと学習型ネットワークモデルを用いるよりも、全体的にPSNRが向上していることが分かる。
[Image improvement effect]
FIG. 8 shows the result of confirming the image improvement effect of the
以上、実施形態を説明したが、開示した技術は上述の実施形態に限定されるものではなく、次の変形例も開示した範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。 Although the embodiments have been described above, the disclosed technology is not limited to the above-described embodiments, and the following modifications are also included in the disclosed scope. Various modifications can be made.
撮像装置1、200は、車両に搭載されていなくてもよい。車両以外の移動体に搭載されてもよいし、移動しない場所に設定されてもよい。
The
また、撮像装置1、200とモデル学習システム100、300とを備えた1つのシステムが構成されていてもよい。
Also, one system may be configured that includes the
撮像制御部13、画像処理部20、220、モデル生成装置120、320は、専用ハードウエア論理回路により実現されてもよいし、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより実現されてもよい。ハードウエア論理回路は、たとえば、ASIC、FPGAである。上記コンピュータプログラムは、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていればよい。たとえば、フラッシュメモリに上記コンピュータプログラムが記憶される。
The
1:撮像装置 2:演算装置 10:撮像部 11:レンズ 11a:光軸 12:受光センサ 12a:受光面 13:撮像制御部 20:画像処理部 22:入力データ生成部 23:画像補正部 24:記憶部 100:モデル学習システム 110:教師画像撮像装置 120:モデル生成装置 122:入力データ生成部 123:教師データ生成部 124:モデル学習部 125:記憶部 200:撮像装置 220:画像処理部 221:座標変換部 222:入力データ生成部 223:画像補正部 224:記憶部 300:モデル学習システム 320:モデル生成装置 321:座標変換部 322:入力データ生成部 323:教師データ生成部 324:モデル学習部 325:記憶部 r:距離 θ:角度
1: Imaging device 2: Arithmetic device 10: Imaging unit 11:
Claims (7)
前記撮像部が出力した前記輝度信号と、前記輝度信号を検出した前記受光素子の位置を示す極座標成分とを入力データとし、前記入力データを学習型ネットワークモデルに入力して前記ボケを補正した補正後撮像画像を生成し、生成した前記補正後撮像画像を所定の演算装置へ出力する画像処理部(20、220)と、を備え、
前記学習型ネットワークモデルは、前記撮像画像に対して前記ボケが改善されている教師画像を前記受光素子の位置に対応した画像位置別の前記輝度信号により示す教師輝度信号と、前記画像位置を示す極座標成分とを教師データとし、前記入力データと前記教師データとを含む学習データにより学習されている、撮像装置。 A photographed image having blurring symmetry with respect to an optical axis (11a) is imaged by a light receiving sensor (12) having a plurality of light receiving elements, and a luminance signal indicating the luminance of each of the light receiving elements is output. a part (10);
Correction in which the luminance signal output by the imaging unit and a polar coordinate component indicating the position of the light receiving element that detected the luminance signal are used as input data, and the input data is input to a learning network model to correct the blur. An image processing unit (20, 220) that generates a post-captured image and outputs the generated post-correction captured image to a predetermined arithmetic device,
The learning network model indicates a teacher image in which the blur is improved with respect to the captured image by the brightness signal for each image position corresponding to the position of the light receiving element, and the image position. and a polar coordinate component as teacher data, and learning with learning data including the input data and the teacher data.
前記撮像部は、直交座標の配列で前記輝度信号を出力し、
前記画像処理部は、
前記輝度信号のそれぞれに、前記極座標成分である、前記光軸からの距離(r)と始線からの角度(θ)とを加えた前記入力データを生成する入力データ生成部(22)と、
前記入力データを前記学習型ネットワークモデルに入力して前記補正後撮像画像を生成する画像補正部(23)とを備え、
前記学習型ネットワークモデルは、前記教師画像を前記受光素子の位置に対応した画像位置別の前記輝度信号により示し、かつ、直交座標系で配列している前記教師輝度信号のそれぞれに、前記光軸からの距離と、前記始線からの角度とを加えたデータを前記教師データとし、前記入力データと前記教師データとを含む学習データにより学習されている、撮像装置。 The imaging device according to claim 1,
The imaging unit outputs the luminance signal in an array of orthogonal coordinates,
The image processing unit
an input data generation unit (22) for generating the input data by adding the distance (r) from the optical axis and the angle (θ) from the starting line, which are the polar coordinate components, to each of the luminance signals;
an image correction unit (23) that inputs the input data to the learning network model to generate the corrected captured image;
The learning network model indicates the teacher image by the brightness signal for each image position corresponding to the position of the light receiving element, and the optical axis is attached to each of the teacher brightness signals arranged in an orthogonal coordinate system. and the data obtained by adding the distance from the starting line and the angle from the starting line are used as the teacher data, and learning is performed by learning data including the input data and the teacher data.
前記撮像部は、直交座標の配列で前記輝度信号を出力し、
前記画像処理部は、
前記撮像部が出力した前記輝度信号を極座標の配列に変換する座標変換部(221)と、
前記座標変換部が変換した後の前記輝度信号のそれぞれに、前記極座標成分である前記光軸からの距離を加えた前記入力データを生成する入力データ生成部(222)と、
前記入力データを前記学習型ネットワークモデルに入力して前記補正後撮像画像を生成する画像補正部(223)とを備え、
前記学習型ネットワークモデルは、前記教師画像を前記受光素子に対応した画像位置別の前記輝度信号により示し、かつ、極座標系で配列している前記教師輝度信号のそれぞれに、前記光軸からの距離を加えたデータを前記教師データとし、前記入力データと前記教師データとを含む学習データにより学習されている、撮像装置。 The imaging device according to claim 1,
The imaging unit outputs the luminance signal in an array of orthogonal coordinates,
The image processing unit
a coordinate conversion unit (221) for converting the luminance signal output by the imaging unit into a polar coordinate array;
an input data generation unit (222) for generating the input data by adding the distance from the optical axis, which is the polar coordinate component, to each of the luminance signals converted by the coordinate conversion unit;
an image correction unit (223) that inputs the input data to the learning network model to generate the corrected captured image;
The learning network model indicates the teacher image by the brightness signal for each image position corresponding to the light receiving element, and stores the distance from the optical axis in each of the teacher brightness signals arranged in a polar coordinate system. is used as the teacher data, and learning is performed by learning data including the input data and the teacher data.
前記撮像部は、光軸から離れるほどボケが大きくなる非球面のレンズ(11)を備える、撮像装置。 The imaging device according to any one of claims 1 to 3,
The imaging device, wherein the imaging unit includes an aspherical lens (11) whose blur increases with increasing distance from the optical axis.
前記撮像部は、受光面(12a)が、前記光軸から離れるほど前記レンズ側に近づく湾曲形状になっている受光センサ(12)を備える、撮像装置。 The imaging device according to claim 4,
The image capturing unit includes a light receiving sensor (12) having a light receiving surface (12a) that has a curved shape that approaches the lens side as the distance from the optical axis increases.
前記レンズはガラス製である、撮像装置。 The imaging device according to claim 4 or 5,
The imaging device, wherein the lens is made of glass.
前記撮像画像に対してボケが改善されている教師画像を複数の前記受光素子に対応した画像位置別の前記輝度信号により示す教師輝度信号と、前記画像位置を示す極座標成分とを含む教師データを生成する教師データ生成部(123、323)と、
前記撮像部が出力した前記輝度信号と、前記輝度信号を検出した前記受光素子の位置を示す極座標成分とを入力データとし、前記入力データと前記教師データ生成部が生成した前記教師データとを含む学習データにより、学習型ネットワークモデルのパラメータを学習するモデル学習部(124、324)とを備える、モデル学習システム。 A photographed image having blurring symmetry with respect to an optical axis (11a) is imaged by a light receiving sensor (12) having a plurality of light receiving elements, and a luminance signal indicating the luminance of each of the light receiving elements is output. a part (10);
teacher data including a teacher luminance signal indicating a teacher image in which blur is improved with respect to the captured image by the luminance signals for each image position corresponding to the plurality of light receiving elements, and a polar coordinate component indicating the image position; a training data generation unit (123, 323) to generate;
Input data includes the luminance signal output by the imaging unit and a polar coordinate component indicating the position of the light receiving element that detected the luminance signal, and the input data and the teacher data generated by the teacher data generation unit. A model learning system comprising a model learning unit (124, 324) for learning parameters of a learning type network model from learning data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021113039A JP2023009613A (en) | 2021-07-07 | 2021-07-07 | Imaging device and model learning system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021113039A JP2023009613A (en) | 2021-07-07 | 2021-07-07 | Imaging device and model learning system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023009613A true JP2023009613A (en) | 2023-01-20 |
Family
ID=85118833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021113039A Pending JP2023009613A (en) | 2021-07-07 | 2021-07-07 | Imaging device and model learning system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023009613A (en) |
-
2021
- 2021-07-07 JP JP2021113039A patent/JP2023009613A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107071234B (en) | Lens shadow correction method and device | |
US8379976B2 (en) | Image processing apparatus and method and a computer-readable recording medium on which an image processing program is stored | |
JP2018084982A (en) | Image processing apparatus, image processing method, and program | |
US20150130995A1 (en) | Information processing method, information processing apparatus, and program storage medium | |
US10521891B2 (en) | Image processing apparatus, system, image processing method, and non-transitory recording medium | |
US8368968B2 (en) | Imaging apparatus and image correction method | |
JP2008516299A (en) | Imaging apparatus and image modification processing method | |
US8988546B2 (en) | Image processing device, image processing method, image capturing device, and program | |
KR20070004202A (en) | Method for correcting lens distortion in digital camera | |
JP2016091371A (en) | Image processor, image processing method, image processing system, program, and recording medium | |
US11275296B2 (en) | Signal processing apparatus and imaging apparatus | |
JP2012204856A (en) | Image processing method and camera module | |
JP2023009613A (en) | Imaging device and model learning system | |
JP5256236B2 (en) | Image processing apparatus and method, and image processing program | |
JP2015163915A (en) | Image processor, imaging device, image processing method, program, and storage medium | |
JP2009055442A (en) | Image correcting device | |
JP6198664B2 (en) | Image processing method, image processing apparatus, imaging apparatus, image processing program, and storage medium | |
JP6696596B2 (en) | Image processing system, imaging device, image processing method and program | |
JP5278421B2 (en) | Imaging device | |
US20190166320A1 (en) | Image processing apparatus, image processing method, and non-transitory computer readable recording medium | |
JP2005175909A (en) | Signal processing method and image acquiring device | |
JP2019176302A (en) | Image processing device, image processing method, and program | |
JP7415707B2 (en) | Imaging device, correction method, and program | |
JP2014154977A (en) | Image processing apparatus, image processing method, and imaging device | |
KR102643588B1 (en) | Camera device, and electronic apparatus including the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240313 |