JP2021034774A - Image processing device, image processing method, and program - Google Patents
Image processing device, image processing method, and program Download PDFInfo
- Publication number
- JP2021034774A JP2021034774A JP2019149788A JP2019149788A JP2021034774A JP 2021034774 A JP2021034774 A JP 2021034774A JP 2019149788 A JP2019149788 A JP 2019149788A JP 2019149788 A JP2019149788 A JP 2019149788A JP 2021034774 A JP2021034774 A JP 2021034774A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- moving image
- image processing
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 134
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000012937 correction Methods 0.000 claims abstract description 113
- 238000011161 development Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims description 76
- 230000004075 alteration Effects 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 33
- 238000013500 data storage Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 4
- 238000013075 data extraction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像された画像を処理する技術に関する。 The present invention relates to a technique for processing an captured image.
近年は、動画の高解像度化や表示装置の大型化が進んでおり、動画画質の高品質化への要求が高まっている。特に動画再生時において当該動画を構成している一部のフレームの画像を表示するような場合の画質が低いと目立ち易いため、その画像を高画質化したいという要求が存在する。なお、特許文献１には、動画再生時にのみ過去フレームとの間の輝度の相関性を維持するためにパラメータ補正を実施し、動画再生の一時停止時にはパラメータ補正を行わないことで静止画像に適した画像を出力する技術が開示されている。
In recent years, the resolution of moving images has increased and the size of display devices has increased, and there is an increasing demand for higher quality moving images. In particular, when the image quality of a part of the frame constituting the moving image is displayed at the time of playing the moving image, it is easily noticeable if the image quality is low, so there is a demand for improving the image quality. In
また最近は、動画をＲＡＷデータで記録および再生できる撮像装置が普及しつつある。このため、ＲＡＷデータの動画再生時においても、当該動画を構成している一部のフレームの画像を表示する場合に高画質化できることが望まれる。しかしながら、特許文献１に挙げた技術は、現像済みの動画データ再生時の一時停止時におけるパラメータ補正に関するものであり、動画のＲＡＷデータを再生する際の高画質化には適用できない。
Recently, an imaging device capable of recording and reproducing moving images as RAW data has become widespread. Therefore, it is desired that the image quality can be improved when displaying the images of some frames constituting the moving image even when the RAW data is reproduced as a moving image. However, the technique described in
そこで、本発明は、ＲＡＷデータの動画を構成している一部のフレームの画像を再生する場合の高品質化を可能にすることを目的とする。 Therefore, an object of the present invention is to enable high quality when reproducing an image of a part of frames constituting a moving image of RAW data.
本発明の画像処理装置は、補正データを用いた画像処理を含む現像処理を、ＲＡＷデータに対して行い現像済みデータを生成する現像処理手段と、動画のＲＡＷデータを現像して再生する場合、前記動画を構成するフレームのなかの一部のフレームのＲＡＷデータを現像して再生する場合と、前記動画を構成する各フレームのＲＡＷデータを現像して再生する場合とで、前記現像処理手段が前記画像処理に用いる補正データを異ならせる制御手段と、を有することを特徴とする。 The image processing apparatus of the present invention is a developing processing means that performs development processing including image processing using correction data on RAW data to generate developed data, and when developing and reproducing RAW data of moving images. The development processing means can be used depending on whether the RAW data of a part of the frames constituting the moving image is developed and reproduced, or the RAW data of each frame constituting the moving image is developed and reproduced. It is characterized by having a control means for making the correction data used for the image processing different.
本発明によれば、ＲＡＷデータの動画を構成している一部のフレームの画像を再生する場合の高品質化が可能となる。 According to the present invention, it is possible to improve the quality when reproducing an image of a part of frames constituting a moving image of RAW data.
以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
図１は、本実施形態の画像処理装置の一適用例である動画記録再生装置１００の構成例を示す図である。
撮像レンズ１０１は、ズームレンズ、フォーカスレンズおよび入射光量を調節するための絞りを含むレンズ群である。カラーフィルタ１０２は、入射光をＲ（赤），Ｇ（緑），Ｂ（青）の色成分に分離するためのフィルターである。カラーフィルタ１０２のＲ，Ｇ，Ｂと画素位置の対応は、図２に示すようなベイヤ配列が多く用いられる。なお図２はカラーフィルタ１０２の一部のみを示している。
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration shown in the following embodiments is only an example, and the present invention is not limited to the illustrated configuration.
FIG. 1 is a diagram showing a configuration example of a moving image recording / reproducing
The
撮像部１０３は、入射光を電気信号に変換するためのＣＭＯＳセンサー等の撮像素子と、撮像素子から出力されるアナログ信号をデジタル信号に変換するためのＡ／Ｄ変換器とを有して構成される。 The image pickup unit 103 includes an image pickup element such as a CMOS sensor for converting incident light into an electric signal, and an A / D converter for converting an analog signal output from the image pickup element into a digital signal. Will be done.
内部メモリ１０４は、記憶媒体としてＤＲＡＭ等の揮発性メモリを有して構成されている。内部メモリ１０４は、撮像部１０３から出力されるデジタル信号（ＲＡＷデータとする）や、現像処理部１０９から出力されるデータ（現像済みデータとする）を、記憶媒体に記憶する。
The
操作入力部１０５は、ユーザーが動画記録再生装置１００に対して、動画記録の開始や終了、動画データの再生、一時停止等の操作指示を行うためのものであり、ボタンや電子ダイヤル、タッチパネル等で構成される。
制御部１０６は、操作入力部１０５に入力された内容に応じて、動画記録や再生などの、動画記録再生装置１００の各種制御を行う。制御部１０６の詳細は後述する。
The operation input unit 105 is for the user to give an operation instruction such as start / end of video recording, playback of video data, pause, etc. to the video recording /
The
補正データ記憶部１０７は、記憶媒体としてＦｌａｓｈＲＯＭ等の不揮発性メモリを有して構成されている。補正データ記憶部１０７は、撮影条件ごとの補正データを、記憶媒体に記憶している。
補正量検出部１０８は、ＲＡＷデータを基に各種補正データの算出を行う。補正量検出部１０８の詳細は後述する。
The correction
The correction
現像処理部１０９は、制御部１０６による制御の下、内部メモリ１０４からＲＡＷデータを読み出し、各種補正処理とＷＢ（ホワイトバランス）処理、ノイズリダクション処理、シャープネス等の画像処理を含む現像処理を行って現像済みデータを生成する。また、現像処理部１０９にて生成された現像済みデータは、制御部１０６による制御の下で、内部メモリ１０４に送られて記憶される。
Under the control of the
表示制御部１１０は、内部メモリ１０４に記憶された現像済みデータを表示部１１１に出力するための制御を行う。
表示部１１１は、現像済みデータの動画等を表示するための表示装置であり、ＬＣＤ等の表示デバイスで構成される。
The display control unit 110 controls to output the developed data stored in the
The display unit 111 is a display device for displaying a moving image of developed data, and is composed of a display device such as an LCD.
外部メモリ制御部１１２は、内部メモリ１０４に記憶された現像済みデータあるいはＲＡＷデータを外部メモリ１１３に出力するための制御を行う。
外部メモリ１１３は、記憶媒体としてＳＤカードなどのメモリカードを有して構成される。外部メモリ１１３は、現像済みデータあるいはＲＡＷデータを、記憶媒体に記憶する。外部メモリ１１３には、フレーム毎の現像済みデータからなる動画データ（現像済み動画データとする）、またはフレーム毎のＲＡＷデータからなる動画データ（ＲＡＷ動画データとする）、もしくは現像済み動画データとＲＡＷ動画データの両方が保存される。
The external memory control unit 112 controls to output the developed data or RAW data stored in the
The external memory 113 includes a memory card such as an SD card as a storage medium. The external memory 113 stores the developed data or the RAW data in the storage medium. In the external memory 113, moving image data consisting of developed data for each frame (referred to as developed moving image data), moving image data consisting of RAW data for each frame (referred to as RAW moving image data), or developed moving image data and RAW Both video data are saved.
続いて、図３のフローチャートを用いて、本実施形態の動画記録再生装置１００におけるＲＡＷデータ取得から記録までの処理の流れを説明する。
操作入力部１０５を介したユーザーからの記録開始指示を受けとると、制御部１０６は、まずステップＳ３０１の処理として、撮像部１０３が取得した１フレーム分のＲＡＷデータを内部メモリ１０４に記憶させる。そして、制御部１０６は、１フレーム分のＲＡＷデータの保存が完了した時点で、ステップＳ３０２に処理を進める。
Subsequently, the flow of processing from RAW data acquisition to recording in the moving image recording /
Upon receiving the recording start instruction from the user via the operation input unit 105, the
ステップＳ３０２の処理に進むと、制御部１０６は、ユーザーにより予め設定された記録モードを確認する。制御部１０６は、予め設定された記録モードがＲＡＷ記録モードでないと判定した場合（通常記録モード）には、ステップＳ３０３に処理を進める。
Proceeding to the process of step S302, the
ステップＳ３０３に進むと、制御部１０６は、ＲＡＷデータに対する各種補正処理等の画像処理を含む現像処理を現像処理部１０９に実行させた後、ステップＳ３０４に処理を進める。そして、ステップＳ３０４に進むと、制御部１０６は、現像済みデータを外部メモリ１１３に保存させた後、ステップＳ３０６に処理を進める。
Proceeding to step S303, the
一方、ステップＳ３０２において記録モードがＲＡＷ記録モードであると判定した場合、制御部１０６は、現像処理部１０９による現像処理を行わせず、ステップＳ３０５でＲＡＷデータを外部メモリ１１３に保存させた後、ステップＳ３０６に処理を進める。
On the other hand, when it is determined in step S302 that the recording mode is the RAW recording mode, the
ステップＳ３０６の処理に進むと、制御部１０６は、操作入力部１０５を介してユーザーから記録終了指示が入力されたか確認し、記録終了指示が入力されていないと判定した場合にはステップＳ３０１に処理を戻し、以降の処理を繰り返す。一方、ステップＳ３０６において記録終了指示が入力されたと判定した場合、制御部１０６は、図３のフローチャートの処理を終了する。
Proceeding to the process of step S306, the
続いて、図４のフローチャートを用い、図３のステップＳ３０３において通常記録モード時に現像処理部１０９が行う補正および現像処理について説明する。
まずステップＳ４０１の処理として、現像処理部１０９は、補正データ記憶部１０７から補正データを読み出す。ここで本実施形態における補正データとは、倍率色収差など各種収差を補正する処理を行うためのデータであり、レンズ設計時のデータから算出された値が予め補正データ記憶部１０７に記憶されている。
Subsequently, using the flowchart of FIG. 4, the correction and development processing performed by the development processing unit 109 in the normal recording mode in step S303 of FIG. 3 will be described.
First, as the process of step S401, the development processing unit 109 reads out the correction data from the correction
次にステップＳ４０２の処理として、現像処理部１０９は、補正データ記憶部１０７から読み出した補正データを基に、内部メモリ１０４に記憶されているＲＡＷデータに対する補正処理を行う。さらに現像処理部１０９は、補正処理後のＲＡＷデータに対して、ＷＢ処理、ノイズリダクション、およびエッジ強調処理といった画像処理および現像処理を行った後、圧縮処理を行い、現像済みデータとして内部メモリ１０４に送って記憶させる。
Next, as the process of step S402, the development processing unit 109 performs correction processing on the RAW data stored in the
その後、現像処理部１０９は、以上のような処理を動画の全てのフレームについて行ったか判定し、未処理のフレームがある場合にはステップＳ４０１に処理を戻して、当該未処理のフレームについてステップＳ４０１とステップＳ４０２の処理を行う。そして、現像処理部１０９は、動画の全てのフレームについて処理が完了したと判定した場合、図４のフローチャートの処理を終了する。 After that, the developing processing unit 109 determines whether or not the above processing has been performed for all the frames of the moving image, and if there is an unprocessed frame, returns the processing to step S401 and steps S401 for the unprocessed frame. And step S402. Then, when it is determined that the processing is completed for all the frames of the moving image, the developing processing unit 109 ends the processing of the flowchart of FIG.
＜第１の実施形態に係る動画再生処理＞
続いて、動画記録再生装置１００の第１の実施形態に係る動画再生処理について説明する。
本実施形態の場合、現像済み動画データの動画再生時において、動画を構成する各フレームのなかの一部のフレーム画像を再生する場合と、動画全体を再生（各フレームをフレーム順に再生）する場合とで、現像時の補正処理で用いられた補正データは共通である。
一方、ＲＡＷ動画データを現像して再生する場合、動画を構成している一部のみのフレーム画像を現像して再生する場合と、動画全体を現像して再生する場合とで、現像時の補正処理に用いる補正データは異なるものとなされる。制御部１０６は、ＲＡＷ動画データの現像および再生が行われる場合には、一部のフレームのみのＲＡＷデータを現像して再生する場合と、各フレームのＲＡＷデータを順に現像して再生する場合とで、補正処理に用いる補正データを異ならせる。すなわち本実施形態の場合、ＲＡＷ動画データの一部のフレーム（ＲＡＷデータ）の画像を再生する際には、当該一部のフレームのＲＡＷデータに特化した補正データを補正量検出部１０８が生成し、現像処理部１０９はその補正データを用いた補正処理を行う。これにより本実施形態の動画記録再生装置１００は、ＲＡＷ動画データの一部のフレーム画像を再生する場合に、当該画像の品質を向上させることができる。
<Video playback processing according to the first embodiment>
Subsequently, the moving image reproduction process according to the first embodiment of the moving image recording / reproducing
In the case of the present embodiment, when playing back the developed moving image data, a part of the frame image in each frame constituting the moving image is played back, and the entire moving image is played back (each frame is played back in frame order). And, the correction data used in the correction processing at the time of development is common.
On the other hand, when developing and playing back RAW video data, there are cases where only a part of the frame image that constitutes the moving image is developed and played back, and cases where the entire moving image is developed and played back. The correction data used for processing is different. When the RAW moving image data is developed and reproduced, the
なお本実施形態において、動画再生時に表示される一部のフレーム画像とは、動画再生の一時停止時に表示される画像、動画から切り出されて表示される静止画、あるいは動画から繰り返し再生して表示される画像などである。本実施形態では、一部のフレーム画像として、動画再生の一時停止時に表示される画像を例に挙げて説明する。 In the present embodiment, some of the frame images displayed during video playback are an image displayed when video playback is paused, a still image cut out from the video, or repeatedly played back from the video and displayed. It is an image to be made. In the present embodiment, as a part of the frame image, an image displayed when the moving image playback is paused will be described as an example.
図５は、本実施形態の動画記録再生装置１００において動画を再生する際に、制御部１０６が、動画データを選択して再生する処理の流れを示したフローチャートである。
操作入力部１０５を介してユーザーから動画再生要求を受け取ると、制御部１０６は、まずステップＳ５０１の処理として、外部メモリ１１３に現像済み動画データが保存されているか確認する。そして、制御部１０６は、外部メモリ１１３に現像済み動画データが保存されていると判定した場合にはステップＳ５０２に処理を進める。一方、制御部１０６は、外部メモリ１１３に現像済み動画データが保存されておらず、ＲＡＷ動画データが保存されていると判定した場合にはステップＳ５０３に処理を進める。外部メモリ１１３に現像済み動画データとＲＡＷ動画データの両方が保存されている場合、制御部１０６は、操作入力部１０５を介してユーザーがいずれの動画データの再生を指示したかに応じて、ステップＳ５０２またはＳ５０３に処理を進めてもよい。
FIG. 5 is a flowchart showing a flow of a process in which the
Upon receiving a moving image reproduction request from the user via the operation input unit 105, the
ステップＳ５０２に進んだ場合、制御部１０６は、外部メモリ１１３から、現像済み動画データを構成しているフレーム毎に現像済みデータを順次読み出して表示制御部１１０に送ることで、表示部１１１に動画を表示させる再生処理を行う。ステップＳ５０２では、ユーザーから一時停止要求が入力された場合には一時停止表示も行われる。ステップＳ５０２の詳細な処理は後述する。このステップＳ５０２の後、制御部１０６は、図５のフローチャートの処理を終了する。
When the process proceeds to step S502, the
一方、ステップＳ５０３に進んだ場合、制御部１０６は、外部メモリ１１３からＲＡＷ動画データを構成するフレーム毎のＲＡＷデータを読み出し、現像処理部１０９に当該フレーム毎のＲＡＷデータの現像処理を行わせる。現像処理部１０９では、フレーム毎のＲＡＷデータが現像処理され、そのフレーム毎の現像済みデータが表示制御部１１０に順次送られることで、表示部１１１に動画が表示されることになる。ステップＳ５０３では、ユーザーから一時停止要求が入力された場合には一時停止表示も行われる。ステップＳ５０３の詳細な処理は後述する。このステップＳ５０３の後、制御部１０６は、図５のフローチャートの処理を終了する。
On the other hand, when the process proceeds to step S503, the
図６は、図５のステップＳ５０２における現像済み動画データの再生処理の流れを示すフローチャートである。
まずステップＳ６０１の処理として、制御部１０６は、外部メモリ１１３から現像済み動画データの１フレーム分の現像済みデータを読み出し、表示制御部１１０を介して表示部１１１に表示させる。
FIG. 6 is a flowchart showing a flow of reproduction processing of the developed moving image data in step S502 of FIG.
First, as the process of step S601, the
続いてステップＳ６０２の処理として、制御部１０６は、操作入力部１０５を介してユーザーからユーザー操作１として一時停止要求が入力されたか否かを確認する。制御部１０６は、一時停止要求が入力されたと判定した場合にはステップＳ６０３に処理を進め、一方、一時停止要求が入力されていないと判定した場合にはステップＳ６０４に処理を進める。
Subsequently, as the process of step S602, the
ステップＳ６０３に進むと、制御部１０６は、操作入力部１０５を介してユーザーからユーザー操作２として再生再開要求が入力されたか否かを確認する。制御部１０６は、再生再開要求が入力されたと判定した場合にはステップＳ６０４に処理を進める。一方、再生再開要求が入力されていないと判定した場合、制御部１０６は、再生再開要求が入力されたと判定されるまでステップＳ６０３の判定処理を繰り返す。つまり制御部１０６は、再生再開要求が入力されたと判定されるまで、ステップＳ６０１で表示された１フレーム分の現像済みデータの画像を表示し続ける一時停止表示の状態を維持する。
Proceeding to step S603, the
ステップＳ６０４に進むと、制御部１０６は、操作入力部１０５を介してユーザーからユーザー操作３として再生終了要求が入力されたか否かを確認する。制御部１０６は、再生終了要求が入力されたと判定した場合には図６のフローチャートの処理を終了する。一方、再生終了要求が入力されていないと判定した場合、制御部１０６は、ステップＳ６０１に処理を戻す。これにより、ステップＳ６０４で再生終了要求が入力されたと判定されるまで、ステップＳ６０１以降の処理が繰り返される。
Proceeding to step S604, the
図７は、図５のステップＳ５０３におけるＲＡＷ動画データの再生処理の流れを示すフローチャートである。
まずステップＳ７０１の処理として、制御部１０６は、補正データ記憶部１０７から補正データを読み出して現像処理部１０９に送る。
続いてステップＳ７０２の処理として、制御部１０６は、外部メモリ１１３からＲＡＷ動画データの１フレーム分のＲＡＷデータを読み出して現像処理部１０９に送る。現像処理部１０９は、補正データを用いた補正処理およびＲＡＷデータの現像処理を行い、その現像済みデータを表示制御部１１０に送ることで表示部１１１に画像が表示される。
FIG. 7 is a flowchart showing a flow of reproduction processing of RAW moving image data in step S503 of FIG.
First, as the process of step S701, the
Subsequently, as the process of step S702, the
続いて、ステップＳ７０３の処理に進むと、制御部１０６は、操作入力部１０５を介してユーザーから一時停止要求が入力されたか否かを確認する。制御部１０６は、一時停止要求が入力されたと判定した場合にはステップＳ７０４に処理を進め、一方、一時停止要求が入力されていないと判定した場合にはステップＳ７０７に処理を進める。
Subsequently, when proceeding to the process of step S703, the
ステップＳ７０４に進むと、制御部１０６は、補正量検出部１０８を制御して、一時停止要求が入力された時のＲＡＷ動画データ内の１フレームのＲＡＷデータから、補正データを抽出させる。補正量検出部１０８による補正データの抽出処理の詳細は後述する。
Proceeding to step S704, the
次にステップＳ７０５の処理として、現像処理部１０９は、ＲＡＷデータに対し、ステップＳ７０１で取得された補正データに、ステップＳ７０４で抽出された補正データを加味した補正データを用いた補正処理および現像処理を行って現像済みデータを生成する。この現像済みデータが表示制御部１１０を介して表示部１１１に送られることで、一時停止時の画像表示が行われる。 Next, as the process of step S705, the development processing unit 109 adds the correction data extracted in step S704 to the correction data acquired in step S701 with respect to the RAW data, and uses the correction process and the development process using the correction data. To generate developed data. By sending the developed data to the display unit 111 via the display control unit 110, the image is displayed at the time of pause.
次にステップＳ７０６の処理として、制御部１０６は、操作入力部１０５を介してユーザーから再生再開要求が入力されたか否かを確認する。制御部１０６は、再生再開要求が入力されたと判定した場合にはステップＳ７０７に処理を進め、一方、再生再開要求が入力されていないと判定した場合にはステップＳ７０６の判定処理を繰り返す。つまり制御部１０６は、再生再開要求が入力されたと判定されるまで、ステップＳ７０５で表示された現像済みデータの画像を表示し続ける一時停止表示の状態を維持する。
Next, as the process of step S706, the
ステップＳ７０７の処理に進むと、制御部１０６は、操作入力部１０５を介してユーザーから再生終了要求が入力されたか否かを確認する。制御部１０６は、再生終了要求が入力されたと判定した場合には図７のフローチャートの処理を終了する。一方、再生終了要求が入力されていないと判定した場合、制御部１０６は、ステップＳ７０１に処理を戻す。これにより、ステップＳ７０７で再生終了要求が入力されたと判定されるまで、ステップＳ７０１以降の処理が繰り返される。
Proceeding to the process of step S707, the
以下、図７のステップＳ７０４において補正量検出部１０８で行われる補正データ抽出処理について説明する。第１の実施形態では、補正データとして、倍率色収差を補正するための補正データを抽出する場合を例に挙げて説明する。補正データは、倍率色収差を補正するための補正データに限定されず、他の補正処理に用いられる補正データであってもよい。
Hereinafter, the correction data extraction process performed by the correction
ここで、倍率色収差とは、基準色をＧとした場合、レンズを透過することで、基準色のＧ光の結像位置に対してＲ光とＢ光のそれぞれの結像位置がずれる現象である。このずれ量は撮像部１０３の個体差の影響を受けやすいため、レンズ設計値による補正量だけを用いた補正処理では、個体差による補正残りが発生してしまう。撮像部１０３の個体差まで含めた補正を行うためには、図８に示すようなＲＡＷデータの画像８００全体からそれぞれ異なる位置の矩形領域８０１（以下、ブロックとする）を複数抽出して、それらブロック毎に色ずれ量を評価する必要がある。色ずれ量には、色ずれの大きさと色ずれが発生している方向とが含まれる。色ずれが発生する方向は、画像８００を複数に分割した領域（例えば領域８０３ａ〜８０３ｈ）のいずれの領域に、ブロック中心位置８０２が所属するかに応じた図８中の矢印で示される方向となる。補正量検出部１０８は、ステップＳ７０４の補正データ抽出処理として、Ｇ成分に対するＲ成分とＢ成分の色ずれ量を検出し、その色ずれ量を基に色ずれを補正するための補正データを生成するような処理を行う。
Here, the chromatic aberration of magnification is a phenomenon in which, when the reference color is G, the imaging positions of the R light and the B light are deviated from the imaging position of the G light of the reference color by passing through the lens. is there. Since this amount of deviation is easily affected by individual differences in the imaging unit 103, a correction process using only the amount of correction based on the lens design value causes a residual correction due to individual differences. In order to perform correction including individual differences of the imaging unit 103, a plurality of rectangular regions 801 (hereinafter referred to as blocks) at different positions are extracted from the
図９は、補正量検出部１０８における色ずれ量検出処理の流れを示すフローチャートである。
まずステップＳ９０１の処理として、補正量検出部１０８は、外部メモリ１１３から読み出されて一時的に内部メモリ１０４に保存された１フレームのＲＡＷデータから、１ブロック分のＲＡＷデータを読み出す。ここで、読み出されるＲＡＷデータは、図２に示したベイヤ配列データである。
FIG. 9 is a flowchart showing the flow of the color shift amount detection process in the correction
First, as the process of step S901, the correction
続いてステップＳ９０２の処理として、補正量検出部１０８は、ステップＳ９０２で読み出した１ブロック分のＲＡＷデータを変換して、Ｒ，Ｇ，Ｂそれぞれの色成分だけを含んだ各色プレーン（以下、Ｒ，Ｇ，Ｂプレーンとする）を生成する。
Subsequently, as the process of step S902, the correction
図１０（ａ）〜図１０（ｄ）は、Ｒ，Ｇ，Ｂプレーン生成の一例を説明する図である。
図１０（ａ）は、ＲＡＷデータにおけるベイヤ配列データの一部を示した図である。補正量検出部１０８は、ベイヤ配列データから、Ｒ，Ｇ，Ｂのそれぞれ同色の信号値を抜き出す。図１０（ｂ）は、ベイヤ配列データから、Ｒ色の信号値のみを抜き出した状態を示した図である。次に補正量検出部１０８は、同色の信号値を抜き出した後の、信号値の無い画素位置にそれぞれ０値を挿入する。図１０（ｃ）は、Ｒ値の信号値のみが抜き出された後の信号値の無い画素位置にそれぞれ０値が挿入された状態を示した図である。そして補正量検出部１０８は、信号値に０値が挿入された後のデータに対し、図１１に示すようなフィルター係数のローパスフィルタ（ＬＰＦ）を用いた補間処理を施すことで、各画素位置に同色が配置されたプレーンを生成する。図１０（ｄ）は、Ｒ色のプレーン（Ｒプレーン）を示した図である。図１０（ｂ）〜図１０（ｄ）はＲ色を例に挙げているが、補正量検出部１０８は、Ｇ色とＢ色についても同様にしてＧプレーンとＢプレーンを生成する。なお、Ｇの成分については、Ｒ（またはＢ）の成分との帯域を合わせるために、補正量検出部１０８は、Ｇ１，Ｇ２のいずれか一方の信号値のみを用いてＧプレーンを生成する。
10 (a) to 10 (d) are diagrams for explaining an example of R, G, B plane generation.
FIG. 10A is a diagram showing a part of the Bayer sequence data in the RAW data. The correction
次にステップＳ９０３の処理として、補正量検出部１０８は、ステップＳ９０２で生成したＧプレーンとＲプレーン、またはＧプレーンとＢプレーンを、前述した図８の矢印方向に１画素ずつずらしながら相関値を取得する。相関値として差分絶対値和（Sum Of Absolute Difference：ＳＡＤ）を取得する場合、ずらし位置ｄにおけるＳＡＤの値は、以下の式（１）で算出される。
Next, as the process of step S903, the correction
ここで、式（１）中のｇａｉｎはＧとＲ（またはＢ）の信号レベルを合わせるための調整値（局所的なＷＢゲイン）であり、ブロックおけるＧの信号の積分値をＲの信号の積分値で割った値である。
また、取得したずらし位置ｄ毎のＳＡＤ値をプロットすることで、図１２のようなグラフが得られる。
そして補正量検出部１０８は、ステップＳ９０４の処理として、ＳＡＤ値が最小値となるずらし位置Ｄの前後のＳＡＤ値から、以下の式（２）を用いて色ずれ量ｘを算出する。式（２）の右辺第２項は、放物線近似によるサブピクセルレベルの色ずれ量推定である。
Here, gain in the equation (1) is an adjustment value (local WB gain) for matching the signal levels of G and R (or B), and the integral value of the G signal in the block is the R signal. It is the value divided by the integrated value.
Further, by plotting the SAD value for each of the acquired shift positions d, a graph as shown in FIG. 12 can be obtained.
Then, as the process of step S904, the correction
なお、倍率色収差の補正では、サブピクセルレベルでの補正量の違いがエッジ部の色つきに影響を与えるため、色ずれ量の検出もサブピクセルレベルで精度を確保する必要がある。したがって、補正量検出部１０８は、色ずれ量をサブピクセルレベルの精度で色ずれ量を検出する。
In the correction of chromatic aberration of magnification, the difference in the amount of correction at the subpixel level affects the coloring of the edge portion, so it is necessary to ensure the accuracy of detecting the amount of color shift at the subpixel level. Therefore, the correction
続いてステップＳ９０５の処理として、補正量検出部１０８は、前述のようにして算出した色ずれ量を、像高別に集計する。
次にステップＳ９０６の処理として、補正量検出部１０８は、全てのブロックについて前述した処理が完了したか否か判定する。補正量検出部１０８は、全てのブロックの処理が完了したと判定した場合にはステップＳ９０７に処理を進める。一方、全てのブロックの処理が完了していないと判定した場合、補正量検出部１０８は、ステップＳ９０１に処理を戻して、未処理のブロックについてステップＳ９０１以降の処理を行う。つまり、補正量検出部１０８は、全てのブロックの処理が完了するまで、ステップＳ９０１からステップＳ９０５の処理を繰り返す。
Subsequently, as the process of step S905, the correction
Next, as the process of step S906, the correction
ステップＳ９０７の処理に進むと、補正量検出部１０８は、像高別の色ずれ量の集計結果から、像高毎の色ずれ量の平均値を算出し、これを倍率色収差の補正データとする。このステップＳ９０７の後、補正量検出部１０８は、図９のフローチャートの処理を終了する。
Proceeding to the process of step S907, the correction
以上説明したように第１の実施形態の動画記録再生装置１００は、ＲＡＷ動画データの再生中の一時停止表示時にのみ、ＲＡＷデータから色ずれ量を検出（サブピクセルレベルで直接評価）して補正データを求め、その補正データを用いて倍率色収差の補正を行う。つまり本実施形態の場合、ＲＡＷ動画データの再生中にはレンズ設計値のみに基づく補正データを用いた補正処理が行われるが、一時停止表示時にはＲＡＷデータの画像から生成した補正データをも加えた補正処理が行われる。したがって、本実施形態の場合、ＲＡＷ動画データの再生中の一時停止時には、レンズ設計値のみに基づく補正データを用いる場合に比べて、高精度な倍率色収差補正が可能となる。すなわち本実施形態によれば、ＲＡＷ動画データの再生表示中の一時停止表示時のように、ＲＡＷデータの動画を構成している一部のフレーム画像を表示する場合の高品質化が可能となる。
As described above, the moving image recording / reproducing
＜第２の実施形態に係る動画再生処理＞
続いて、動画記録再生装置１００の第２の実施形態に係る動画再生処理について説明する。第２の実施形態の動画記録再生装置１００における構成および処理の流れは概ね前述した第１の実施形態と同様であり、それら構成と処理の図示は省略する。
第２の実施形態では、現像済み動画データを生成する場合と、ＲＡＷ動画データを再生表示する場合とで、ＲＡＷデータからＲ，Ｇ，Ｂプレーンを生成する処理が異なる例を説明する。
<Video playback processing according to the second embodiment>
Subsequently, the moving image reproduction process according to the second embodiment of the moving image recording / reproducing
In the second embodiment, an example will be described in which the processes for generating R, G, and B planes from the RAW data are different between the case of generating the developed moving image data and the case of reproducing and displaying the RAW moving image data.
ＲＡＷデータからＲ，Ｇ，Ｂプレーンを生成する際の補間処理方法には、全画素に対して一律に図１１のＬＰＦを適用する補間処理（線形補間処理）と、補間画素の周囲の信号値を参照しながら適応的に補間画素値を決定する補間処理（適応補間処理）とがある。 The interpolation processing method when generating R, G, B planes from RAW data includes interpolation processing (linear interpolation processing) in which the LPF of FIG. 11 is uniformly applied to all pixels, and signal values around the interpolation pixels. There is an interpolation process (adaptive interpolation process) in which the interpolation pixel value is adaptively determined with reference to.
図１３は、適応補間処理の一例の説明に用いる図である。図１３は、Ｇプレーンの補間処理時に参照される画素配列を示している。補間画素位置１３０１には、Ｒ成分の信号値Ｒｃが配置され、その補間画素位置１３０１の上下左右の画素位置にはＧ成分の信号値Ｇｕ，Ｇｂ，Ｇｌ，Ｇｒが、さらにその上下左右の画素位置にはＲ成分の信号Ｒｕ，Ｒｂ，Ｒｌ，Ｒｒが配置されている。補間画素値の算出にあたり、まず補正量検出部１０８は、補間画素位置１３０１周辺の、水平方向の信号値の相関を評価するための評価値ｄｈを式（３）により算出し、同様に垂直方向の信号値の相関を評価する評価値ｄｖを式（４）により算出する。
FIG. 13 is a diagram used for explaining an example of adaptive interpolation processing. FIG. 13 shows a pixel array that is referred to during the interpolation process of the G plane. The signal value Rc of the R component is arranged at the interpolated
ｄｈ＝ａｂｓ（Ｇ１−Ｇｒ）＋ａｂｓ（２Ｒｃ−Ｒ１−Ｒｒ） 式（３）
ｄｖ＝ａｂｓ（Ｇｕ−Ｇｂ）＋ａｂｓ（２Ｒｃ−Ｒｕ−Ｒｂ） 式（４）
dh = abs (G1-Gr) + abs (2Rc-R1-Rr) Equation (3)
dv = abs (Gu-Gb) + abs (2Rc-Ru-Rb) Equation (4)
続いて補正量検出部１０８は、算出した評価値ｄｈと評価値ｄｖの大小関係に応じて、以下の補間画素の生成に使用する信号値を、以下の式（５）と式（６）のように切り替える。
Subsequently, the correction
ｄｈ＜ｄｖの場合、Ｇｃ＝（Ｇ１＋Ｇｒ）／２ 式（５）
ｄｈ≧ｄｖの場合、Ｇｃ＝（Ｇｕ＋Ｇｂ）／２ 式（６）
When dh <dv, Gc = (G1 + Gr) / 2 equation (5)
When dh ≧ dv, Gc = (Gu + Gb) / 2 equation (6)
第２の実施形態の場合は、前述のように水平方向および垂直方向の色成分の信号値の相関を見ながら補間画素値Ｇｃを生成することで、線形補間に比べて、画像の高域成分（エッジ成分）を保持した状態でＧプレーンを生成することが可能となる。第２の実施形態においては、動画再生の一時停止表示時のみ適応補間で生成されたＧプレーンを用いて各種補正データの抽出を行うことで、より高精度な補正データを抽出することが可能となり、画像の高画質化が可能となる。
また第２の実施形態の場合、動画の連続再生時は演算量の比較的小さい線形補間を用いることで動画再生時の処理負荷を低減し、ＲＡＷ動画データ再生の一時停止表示時のみ演算量は比較的大きいが表示画像の高画質化が可能な適応補間を用いる。
In the case of the second embodiment, by generating the interpolated pixel value Gc while observing the correlation between the signal values of the color components in the horizontal direction and the vertical direction as described above, the high frequency component of the image is compared with the linear interpolation. It is possible to generate a G plane while retaining (edge component). In the second embodiment, it is possible to extract more accurate correction data by extracting various correction data using the G plane generated by adaptive interpolation only when the moving image playback is paused and displayed. , It is possible to improve the image quality.
Further, in the case of the second embodiment, the processing load at the time of moving image playback is reduced by using linear interpolation having a relatively small amount of calculation during continuous playback of the moving image, and the amount of calculation is performed only when the RAW video data playback is paused. Uses adaptive interpolation, which is relatively large but can improve the image quality of the displayed image.
前述した各実施形態の画像処理に係る構成または各フローチャートの処理は、ハードウェア構成により実現されてもよいし、例えばＣＰＵが本実施形態に係るプログラムを実行することによりソフトウェア構成により実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。ソフトウェア構成のためのプログラムは、予め用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。 The configuration related to the image processing of each of the above-described embodiments or the processing of each flowchart may be realized by the hardware configuration, or may be realized by the software configuration by, for example, the CPU executing the program according to the present embodiment. Good. Further, a part may be realized by a hardware configuration and the rest may be realized by a software configuration. The program for software configuration may be acquired not only when it is prepared in advance, but also from a recording medium such as an external memory (not shown) or via a network (not shown).
また、前述した各実施形態の画像処理に係る構成のうち、制御部１０６や補正量検出部１０８で行われる処理は、人工知能（ＡＩ：artificial intelligence）を適用した処理であってもよい。例えば、それらの各部の代わりとして、機械学習された学習済みモデルを代わりに用いてもよい。その場合には、それら各部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。この学習済みモデルは、例えばニューラルネットワークモデルで構成できる。そして、その学習済みモデルは、前述の各部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前述の各部の処理を行う。また、前述の学習済みモデルは、必要に応じて一定のデータを処理する毎に更新する等も可能である。
Further, among the configurations related to the image processing of each of the above-described embodiments, the processing performed by the
本発明に係る制御処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。
前述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
A program that realizes one or more functions in the control process according to the present invention can be supplied to a system or device via a network or storage medium, and is read and executed by one or more processors of the computer of the system or device. It is feasible by being done.
Each of the above-described embodiments is merely an example of embodiment in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.
１００：動画記録再生装置、１０１：撮像レンズ、１０２：カラーフィルタ、１０３：撮像部、１０４：内部メモリ、１０５：操作入力部、１０６：制御部、１０７：補正データ記憶部、１０８：補正量検出部、１０９：現像処理部、１１０：表示制御部、１１１：表示部、１１２：外部メモリ制御部、１１３：外部メモリ 100: Movie recording / playback device, 101: Imaging lens, 102: Color filter, 103: Imaging unit, 104: Internal memory, 105: Operation input unit, 106: Control unit, 107: Correction data storage unit, 108: Correction amount detection Unit, 109: Development processing unit, 110: Display control unit, 111: Display unit, 112: External memory control unit, 113: External memory
Claims (13)
動画のＲＡＷデータを現像して再生する場合、前記動画を構成するフレームのなかの一部のフレームのＲＡＷデータを現像して再生する場合と、前記動画を構成する各フレームのＲＡＷデータを現像して再生する場合とで、前記現像処理手段が前記画像処理に用いる補正データを異ならせる制御手段と、
を有することを特徴とする画像処理装置。 A development processing means that performs development processing including image processing using correction data on RAW data to generate developed data, and
When developing and playing back the RAW data of the moving image, when developing and playing back the RAW data of some of the frames constituting the moving image, and when developing and playing back the RAW data of each frame constituting the moving image. And the control means that the development processing means makes the correction data used for the image processing different depending on the case of reproduction.
An image processing device characterized by having.
記憶媒体に記憶されている動画のＲＡＷデータを現像して再生する第１の再生処理と、記憶媒体に記憶されている動画の現像済みデータを再生する第２の再生処理との、いずれかを選択し、
前記第１の再生処理を選択した場合に、前記一部のフレームのＲＡＷデータを現像して再生する場合と、前記各フレームのＲＡＷデータを現像して再生する場合とで、前記画像処理に用いる補正データを異ならせることを特徴とする請求項２に記載の画像処理装置。 The control means
Either the first reproduction process of developing and reproducing the RAW data of the moving image stored in the storage medium and the second reproduction process of reproducing the developed data of the moving image stored in the storage medium are performed. Selected,
When the first reproduction process is selected, the RAW data of a part of the frames is developed and reproduced, and the RAW data of each frame is developed and reproduced, which is used for the image processing. The image processing apparatus according to claim 2, wherein the correction data is different.
前記動画の前記各フレームの前記ＲＡＷデータを現像して再生する場合には、線形補間を用いて各画素位置に同色を配して前記プレーンを生成し、
前記動画の前記一部のフレームの前記ＲＡＷデータを現像して再生する場合には、適応補間を用いて各画素位置に同色を配して前記プレーンを生成することを特徴とする請求項４に記載の画像処理装置。 The developing processing means
When the RAW data of each frame of the moving image is developed and reproduced, the plane is generated by arranging the same color at each pixel position by using linear interpolation.
4. The fourth aspect of the present invention is that when the RAW data of the part of the frame of the moving image is developed and reproduced, the same color is arranged at each pixel position by using adaptive interpolation to generate the plane. The image processing apparatus described.
前記動画の前記各フレームの前記ＲＡＷデータを現像して再生する場合には、画像の撮像に用いられるレンズの設計値に基づく補正データを、前記現像処理手段の前記画像処理に適用し、
前記動画の前記一部のフレームの前記ＲＡＷデータを現像して再生する場合には、前記ＲＡＷデータから抽出したデータに基づく補正データを、前記現像処理手段の前記画像処理に適用し、
前記動画の前記各フレームの前記現像済みデータを再生する場合の補正データは、前記レンズの設計値に基づく補正データであることを特徴とする請求項２から７のいずれか１項に記載の画像処理装置。 The control means
When the RAW data of each frame of the moving image is developed and reproduced, the correction data based on the design value of the lens used for image imaging is applied to the image processing of the developing processing means.
When the RAW data of the part of the frame of the moving image is developed and reproduced, the correction data based on the data extracted from the RAW data is applied to the image processing of the developing processing means.
The image according to any one of claims 2 to 7, wherein the correction data in the case of reproducing the developed data of each frame of the moving image is the correction data based on the design value of the lens. Processing equipment.
補正データを用いた画像処理を含む現像処理をＲＡＷデータに対して行い、現像済みデータを生成する現像処理工程と、
記憶媒体に記憶されている動画のＲＡＷデータを現像して再生する場合、前記動画を構成するフレームのなかの一部のフレームのＲＡＷデータを現像して再生する場合と、前記動画を構成する各フレームのＲＡＷデータを現像して再生する場合とで、前記現像処理工程で前記画像処理に用いる補正データを異ならせる制御工程と、
を有することを特徴とする画像処理方法。 An image processing method executed by an image processing device.
A development process that generates developed data by performing development processing including image processing using correction data on RAW data, and
When developing and playing back the RAW data of the moving image stored in the storage medium, when developing and playing back the RAW data of some of the frames constituting the moving image, and when playing back the RAW data of some of the frames constituting the moving image, respectively. A control step in which the correction data used for the image processing in the development processing step differs depending on the case where the RAW data of the frame is developed and reproduced.
An image processing method characterized by having.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019149788A JP7408315B2 (en) | 2019-08-19 | 2019-08-19 | Image processing device, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019149788A JP7408315B2 (en) | 2019-08-19 | 2019-08-19 | Image processing device, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021034774A true JP2021034774A (en) | 2021-03-01 |
| JP7408315B2 JP7408315B2 (en) | 2024-01-05 |
Family
ID=74677942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019149788A Active JP7408315B2 (en) | 2019-08-19 | 2019-08-19 | Image processing device, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7408315B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013051524A (en) * | 2011-08-30 | 2013-03-14 | Canon Inc | Image processing device and method |
| JP2015179910A (en) * | 2014-03-18 | 2015-10-08 | キヤノン株式会社 | Image processing system and control method of the same |
| JP2017098663A (en) * | 2015-11-19 | 2017-06-01 | キヤノン株式会社 | Image processing device and image processing method |
| JP2019029834A (en) * | 2017-07-31 | 2019-02-21 | キヤノン株式会社 | Imaging apparatus |
-
2019
- 2019-08-19 JP JP2019149788A patent/JP7408315B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013051524A (en) * | 2011-08-30 | 2013-03-14 | Canon Inc | Image processing device and method |
| JP2015179910A (en) * | 2014-03-18 | 2015-10-08 | キヤノン株式会社 | Image processing system and control method of the same |
| JP2017098663A (en) * | 2015-11-19 | 2017-06-01 | キヤノン株式会社 | Image processing device and image processing method |
| JP2019029834A (en) * | 2017-07-31 | 2019-02-21 | キヤノン株式会社 | Imaging apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7408315B2 (en) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100957261B1 (en) | Image pickup device and chromatic aberration correction method | |
| KR101265567B1 (en) | Stereographic view image generation device and program | |
| JP5687608B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP4321064B2 (en) | Image processing apparatus and image processing program | |
| US10091415B2 (en) | Image processing apparatus, method for controlling image processing apparatus, image pickup apparatus, method for controlling image pickup apparatus, and recording medium | |
| JP5183348B2 (en) | Imaging device | |
| JP2017224939A (en) | Imaging apparatus | |
| JP6415094B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP7408315B2 (en) | Image processing device, image processing method, and program | |
| JP2020145553A (en) | Image processing apparatus, image processing method and program | |
| JP5076002B1 (en) | Image processing apparatus and image processing method | |
| US11425301B2 (en) | Image processing apparatus, information processing apparatus, image processing method, and information processing method | |
| KR20100088282A (en) | Method and apparatus of inpainting for video data | |
| JP3951993B2 (en) | IMAGING DEVICE AND COLOR DATA MEASURING METHOD USED FOR THIS IMAGING DEVICE | |
| JP4338563B2 (en) | Image processing apparatus, image processing system, image processing method, and image processing program | |
| JP2004072528A (en) | Method and program for interpolation processing, recording medium with the same recorded thereon, image processor and image forming device provided with the same | |
| JP2005229280A (en) | Image processing apparatus and method, and program | |
| JP2002084551A (en) | Device and method for processing stereoscopic image | |
| JP2014110507A (en) | Image processing device and image processing method | |
| JP5611304B2 (en) | Imaging apparatus, signal processing method thereof, and storage medium | |
| JP4250807B2 (en) | Field frequency conversion device and conversion method | |
| JP2018137580A (en) | Image processor, image processing method, and program | |
| JP4139587B2 (en) | Interpolation apparatus and method for captured image in single-plate color digital camera | |
| JP6280402B2 (en) | Image recording apparatus, image recording method, program, and storage medium | |
| JP2024070628A (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGING APPARATUS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230802 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231220 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7408315 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |