JP2020195017A - Imaging apparatus and imaging method - Google Patents
Imaging apparatus and imaging method Download PDFInfo
- Publication number
- JP2020195017A JP2020195017A JP2019098188A JP2019098188A JP2020195017A JP 2020195017 A JP2020195017 A JP 2020195017A JP 2019098188 A JP2019098188 A JP 2019098188A JP 2019098188 A JP2019098188 A JP 2019098188A JP 2020195017 A JP2020195017 A JP 2020195017A
- Authority
- JP
- Japan
- Prior art keywords
- white
- reference block
- frame
- target frame
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
Description
この発明は、映像を撮像する撮像装置及び撮像方法に関するものである。 The present invention relates to an imaging device and an imaging method for capturing an image.
従来の撮像装置におけるホワイトバランス制御として、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号から色差信号（Ｒ−Ｙ、Ｂ−Ｙ）、輝度信号（Ｙ）を算出し、算出した色差信号と輝度信号からフレームから白に近い色の画素を抽出した後、抽出した白に近い色の画素の色信号の平均値を無彩色（目標とする白色）と等しくなるように制御するものがある（例えば、特許文献１参照）。 As white balance control in a conventional imaging device, a color difference signal (RY, BY) and a brightness signal (Y) are calculated from the color signals of red (R), green (G), and blue (B). After extracting pixels with a color close to white from the frame from the color difference signal and the brightness signal, the average value of the color signals of the extracted pixels with a color close to white is controlled to be equal to the achromatic color (target white). There are some (see, for example, Patent Document 1).
従来の撮像装置におけるホワイトバランス制御では、順次生成されるフレームのすべてに対して白に近い色の画素を抽出するために、処理負荷が高くなるという課題があった。 In the white balance control in the conventional image pickup apparatus, there is a problem that the processing load becomes high because the pixels having a color close to white are extracted for all the frames sequentially generated.
この発明は上記のような課題を解決するためになされたもので、白に近い色の画素の抽出の処理負荷を削減することができる撮像装置を得ることを目的としている。 The present invention has been made to solve the above problems, and an object of the present invention is to obtain an imaging apparatus capable of reducing the processing load of extracting pixels having a color close to white.
この発明に係る撮像装置は、
複数の画素から構成されるフレームを順次生成する撮像処理部と、
前記フレームの１つである対象フレームを複数に分割した部分ブロックのうち、白色または白に近い色の前記画素である白色画素の数が第一の閾値以上存在する前記部分ブロックを基準ブロックとして選択する白色検出部と、
前記基準ブロックを基準として、当該基準ブロックが白色となるように前記対象フレームのホワイトバランス制御を行うホワイトバランス制御部とを備え、
前記ホワイトバランス制御部が基準とする前記基準ブロックの位置は、
前記対象フレームとその前に生成されたフレームとの輝度値の平均の変化量が第二の閾値以上の場合、前記対象フレームで選択された前記基準ブロックの位置であり、
前記対象フレームと前記前に生成されたフレームとの輝度値の平均の変化量が第二の閾値より小さい場合、前記前に生成されたフレームで選択された前記基準ブロックの位置であることを特徴とするものである。
The imaging apparatus according to the present invention is
An imaging processing unit that sequentially generates frames composed of multiple pixels,
Among the partial blocks obtained by dividing the target frame, which is one of the frames, into a plurality of parts, the partial block in which the number of white pixels, which are the pixels having a color close to white or white, is equal to or greater than the first threshold value is selected as the reference block. White detector and
A white balance control unit that controls the white balance of the target frame so that the reference block becomes white with the reference block as a reference is provided.
The position of the reference block based on the white balance control unit is
When the amount of change in the average brightness value between the target frame and the frame generated before the target frame is equal to or greater than the second threshold value, it is the position of the reference block selected in the target frame.
When the average amount of change in the brightness value between the target frame and the previously generated frame is smaller than the second threshold value, it is the position of the reference block selected in the previously generated frame. Is to be.
この発明によれば、上記のように構成したので、ホワイトバランス制御における白に近い画素の抽出の処理負荷を削減することができるという効果がある。 According to the present invention, since it is configured as described above, there is an effect that the processing load of extracting pixels close to white in white balance control can be reduced.
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る監視カメラシステムの構成の一例を示す図である。
図１に示すように、監視カメラシステム１は、映像を撮像するｎ台の撮像装置２（ｎは１以上の整数）、撮像装置２が順次出力するフレームを記録する映像記録再生装置３、映像記録再生装置３が出力するフレームを表示するモニタ４を備える。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Embodiment 1.
FIG. 1 is a diagram showing an example of a configuration of a surveillance camera system according to a first embodiment of the present invention.
As shown in FIG. 1, the surveillance camera system 1 includes n image pickup devices 2 (n is an integer of 1 or more) for capturing images, a video recording / playback device 3 for recording frames sequentially output by the image pickup device 2, and an image. A monitor 4 for displaying a frame output by the recording / playback device 3 is provided.
撮像装置２は、人物や車両など（図示せず）を撮像し、複数の画素から構成されるフレームを映像記録再生装置３に順次出力するものである。 The image pickup device 2 takes an image of a person, a vehicle, or the like (not shown), and sequentially outputs a frame composed of a plurality of pixels to the video recording / playback device 3.
映像記録再生装置３は、撮像装置２から順次出力されたフレームを記録し、また、記録されたフレームを再生して、モニタ４に出力するものである。 The video recording / playback device 3 records frames sequentially output from the image pickup device 2, reproduces the recorded frames, and outputs the recorded frames to the monitor 4.
モニタ４は、映像記録再生装置３から出力されたフレームを表示するものである。 The monitor 4 displays a frame output from the video recording / playback device 3.
図２は、この発明の実施の形態１に係る撮像装置の構成の一例を示すブロック図である。
図２に示すように、撮像装置２は、撮像処理部２１、信号処理部２２、輝度情報変化判定部２３、白色検出部２４、記憶部２５、ホワイトバランス制御部２６及びＩＦ部２７を備える。
FIG. 2 is a block diagram showing an example of the configuration of the image pickup apparatus according to the first embodiment of the present invention.
As shown in FIG. 2, the image pickup apparatus 2 includes an image pickup processing unit 21, a signal processing unit 22, a brightness information change determination unit 23, a white detection unit 24, a storage unit 25, a white
撮像処理部２１は、レンズ（図示せず）により集光された光を電気信号に変換して、複数の画素から構成されるフレームを順次生成し、信号処理部２２に出力するものである。 The image pickup processing unit 21 converts the light collected by the lens (not shown) into an electric signal, sequentially generates a frame composed of a plurality of pixels, and outputs the frame to the signal processing unit 22.
信号処理部２２は、撮像処理部２１から出力されたフレームの赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号から色差信号（Ｒ−Ｙ、Ｂ−Ｙ）、輝度信号（Ｙ）を算出し、算出した色差信号（Ｒ−Ｙ、Ｂ−Ｙ）、輝度信号（Ｙ）及びフレームを輝度情報変化判定部２３に出力するものである。 The signal processing unit 22 is a color difference signal (RY, BY) and a luminance signal (Y) from the red (R), green (G), and blue (B) color signals of the frame output from the imaging processing unit 21. ) Is calculated, and the calculated color difference signals (RY, BY), the luminance signal (Y), and the frame are output to the luminance information change determination unit 23.
輝度情報変化判定部２３は、信号処理部２２から出力された、前後するフレームについて、各フレームの輝度値の平均の変化の有無を判定するものである。 The luminance information change determination unit 23 determines whether or not there is a change in the average luminance value of each frame with respect to the preceding and following frames output from the signal processing unit 22.
白色検出部２４は、フレームを所定の数に分割し、分割された領域（部分ブロック）ごとに、信号処理部２２により算出された色差信号（Ｒ−Ｙ、Ｂ−Ｙ）と輝度信号（Ｙ）に基づき白または白に近い色の画素（白色画素）を抽出し、白色画素の数が所定の閾値（第一の閾値）以上である部分ブロックを基準ブロックとして選択するものである。 The white detection unit 24 divides the frame into a predetermined number, and the color difference signal (RY, BY) and the luminance signal (Y) calculated by the signal processing unit 22 for each divided region (partial block). ) Is used to extract white or near-white pixels (white pixels), and a partial block in which the number of white pixels is equal to or greater than a predetermined threshold (first threshold) is selected as a reference block.
記憶部２５は、基準ブロックの位置を記憶するものである。 The storage unit 25 stores the position of the reference block.
ホワイトバランス制御部２６は、基準ブロックを基準として、当該基準ブロックに含まれる画素の色信号の平均値が無彩色（目標とする白色）と等しくなるようにフレームのホワイトバランス制御を行うものである。
The white
ＩＦ部２７は、ホワイトバランス制御部２６から出力されたフレームを映像記録再生装置３に出力するものである。
The IF unit 27 outputs the frame output from the white
次に、撮像装置２の基本的な動作について、図２及び図３を参照しながら説明する。
撮像処理部２１はレンズにより集光された光を電気信号に変換し、複数の画素から構成されるフレームを信号処理部２２に順次出力する。
Next, the basic operation of the image pickup apparatus 2 will be described with reference to FIGS. 2 and 3.
The image pickup processing unit 21 converts the light collected by the lens into an electric signal, and sequentially outputs a frame composed of a plurality of pixels to the signal processing unit 22.
信号処理部２２は、撮像処理部２１から順次出力されたフレームの１つ（対象フレーム）について、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号から色差信号（Ｒ−Ｙ、Ｂ−Ｙ）、輝度信号（Ｙ）を算出し、算出した色差信号（Ｒ−Ｙ、Ｂ−Ｙ）、輝度信号（Ｙ）及び対象フレームを輝度情報変化判定部２３に出力する。 The signal processing unit 22 has a color difference signal (RY, RY,) from the color signals of red (R), green (G), and blue (B) for one of the frames (target frames) sequentially output from the imaging processing unit 21. BY) and the luminance signal (Y) are calculated, and the calculated color difference signals (RY, BY), the luminance signal (Y) and the target frame are output to the luminance information change determination unit 23.
輝度情報変化判定部２３は、信号処理部２２から出力された、対象フレームとその前に生成されたフレームとについて（すなわち前後するフレームについて）、各フレームの輝度値の平均の変化量が所定の閾値（第二の閾値）以上であるか否かを判定する（ステップＳＴ１０１）。なお、前後するフレームは、連続するフレームでもよいし、所定のフレーム数だけ離れたフレームでもよい。 The luminance information change determination unit 23 determines the average amount of change in the luminance value of each frame for the target frame and the frames generated before the target frame (that is, for the frames before and after) output from the signal processing unit 22. It is determined whether or not it is equal to or higher than the threshold value (second threshold value) (step ST101). The frames before and after may be continuous frames or frames separated by a predetermined number of frames.
輝度情報変化判定部２３によりフレームの輝度値の平均の変化量が所定の閾値（第二の閾値）以上であると判定された場合（ステップＳＴ１０１、Ｙｅｓ）、白色検出部２４は、対象フレームを複数に分割した部分ブロックごとに、信号処理部２２により算出された色差信号（Ｒ−Ｙ、Ｂ−Ｙ）と輝度信号（Ｙ）に基づき白色画素を抽出し、白色画素の数が所定の閾値（第一の閾値）以上抽出されたか否かを、判定する（ステップＳＴ１０２）。 When the brightness information change determination unit 23 determines that the average change amount of the brightness value of the frame is equal to or greater than a predetermined threshold value (second threshold value) (steps ST101, Yes), the white detection unit 24 determines the target frame. White pixels are extracted based on the color difference signals (RY, BY) and the luminance signals (Y) calculated by the signal processing unit 22 for each of the plurality of partial blocks, and the number of white pixels is a predetermined threshold value. It is determined whether or not (first threshold value) or more has been extracted (step ST102).
白色検出部２４により、白色画素の数が所定の閾値（第一の閾値）以上抽出された部分ブロックが存在すると判定された場合（ステップＳＴ１０３、Ｙｅｓ）、白色検出部２４は、当該部分ブロックを基準ブロックとして選択し（ステップＳＴ１０４）、記憶部２５は、当該基準ブロックの位置を記憶する（ステップＳＴ１０５）。ホワイトバランス制御部２６は、白色検出部２４により対象フレームで選択された基準ブロックを基準として、当該基準ブロックに含まれる画素の色信号の平均値が無彩色（目標とする白色）と等しくなるように対象フレームのホワイトバランス制御を行う（ステップＳＴ１０６）。この場合、ホワイトバランス制御部２６が基準とする基準ブロックの位置は、対象フレームで選択された基準ブロックの位置となる。なお、本実施の説明においては、本動作の開始の時点で基準ブロックが選択されているものとしている。
When the white detection unit 24 determines that there is a partial block in which the number of white pixels is extracted by a predetermined threshold value (first threshold value) or more (step ST103, Yes), the white detection unit 24 detects the partial block. It is selected as a reference block (step ST104), and the storage unit 25 stores the position of the reference block (step ST105). The white
白色検出部２４により、白色画素の数が所定の閾値（第一の閾値）以上抽出された部分ブロックが存在しないと判定された場合（ステップＳＴ１０３、Ｎｏ）、ホワイトバランス制御部２６は、対象フレームの全体の色差信号（Ｒ−Ｙ、Ｂ−Ｙ）が０となるように制御する（ステップＳＴ１０７）。
When the white detection unit 24 determines that there is no partial block in which the number of white pixels is equal to or greater than a predetermined threshold value (first threshold value) (steps ST103, No), the white
輝度情報変化判定部２３によりフレームの輝度値の平均の変化量が所定の閾値（第二の閾値）より小さいと判定された場合（ステップＳＴ１０１、Ｎｏ）、白色検出部２４は白色画素の抽出及び基準ブロックの選択をせず、ホワイトバランス制御部２６は、記憶部２５により記憶されている基準ブロックの位置（すなわち、白色検出部２４により前に生成されたフレームで選択された基準ブロックの位置）にある部分ブロックを基準ブロックとして、当該基準ブロックに含まれる画素の色信号の平均値が無彩色（目標とする白色）と等しくなるように対象フレームのホワイトバランス制御を行う（ステップＳＴ１０８）。
When the brightness information change determination unit 23 determines that the average change amount of the brightness value of the frame is smaller than a predetermined threshold value (second threshold value) (steps ST101, No), the white detection unit 24 extracts white pixels and Without selecting the reference block, the white
このように、本実施の形態に係る撮像装置は、フレームの輝度値の平均の変化量が小さい場合、白色画素を抽出せず、前に生成されたフレームで選択された基準ブロックを基準として、ホワイトバランス制御を行うように構成したので、白色画素を抽出するための処理負荷を軽減することが可能となる。 As described above, the image pickup apparatus according to the present embodiment does not extract white pixels when the average change amount of the brightness value of the frame is small, and uses the reference block selected in the previously generated frame as a reference. Since it is configured to perform white balance control, it is possible to reduce the processing load for extracting white pixels.
実施の形態２．
実施の形態２では、白色検出部２４により、白色画素の数が所定の閾値（第一の閾値）以上抽出された部分ブロックが複数存在すると判定された場合について、説明する。
Embodiment 2.
In the second embodiment, a case where the white detection unit 24 determines that there are a plurality of partial blocks in which the number of white pixels is extracted by a predetermined threshold value (first threshold value) or more will be described.
図４は、この発明の実施の形態２に係る監視カメラシステムの構成の一例を示す図である。図４において、図１と同一の符号は、同一または相当するものであるので、説明を省略する。 FIG. 4 is a diagram showing an example of the configuration of the surveillance camera system according to the second embodiment of the present invention. In FIG. 4, the same reference numerals as those in FIG. 1 are the same or equivalent, and thus the description thereof will be omitted.
図４に示すように、監視カメラシステム５は、映像を撮像するｎ台の撮像装置６（ｎは１以上の整数）、撮像装置２が順次出力するフレームを記録する映像記録再生装置３、映像記録再生装置３が出力するフレームを表示するモニタ４を備える。 As shown in FIG. 4, the surveillance camera system 5 includes n image pickup devices 6 (n is an integer of 1 or more) for capturing images, a video recording / playback device 3 for recording frames sequentially output by the image pickup device 2, and an image. A monitor 4 for displaying a frame output by the recording / reproducing device 3 is provided.
撮像装置６は、人物や車両など（図示せず）を撮像し、複数の画素から構成されるフレームを映像記録再生装置３に順次出力するものである。
The
図５は、この発明の実施の形態２に係る撮像装置の構成の一例を示すブロック図である。図５において、図２と同一の符号は、同一または相当するものであるので、説明を省略する。 FIG. 5 is a block diagram showing an example of the configuration of the image pickup apparatus according to the second embodiment of the present invention. In FIG. 5, the same reference numerals as those in FIG. 2 are the same or equivalent, and thus the description thereof will be omitted.
図５に示すように、撮像装置６は、撮像処理部２１、信号処理部２２、輝度情報変化判定部２３、白色検出エリア決定部６１、白色検出部６２、物体情報取得部６３、記憶部６４、ホワイトバランス制御部２６及びＩＦ部２７を備える。
As shown in FIG. 5, the
白色検出エリア決定部６１は、信号処理部２２により算出された輝度信号（Ｙ）に基づき、部分ブロックを、輝度値の変化量が大きいエリアと小さいエリアとのいずれかに区分するものである。 The white detection area determination unit 61 divides the partial block into either an area where the amount of change in the luminance value is large or an area where the amount of change in the luminance value is small, based on the luminance signal (Y) calculated by the signal processing unit 22.
白色検出部６２は、部分ブロックごとに、信号処理部２２により算出された色差信号（Ｒ−Ｙ、Ｂ−Ｙ）と輝度信号（Ｙ）に基づき白色画素を抽出し、白色画素の数が所定の閾値（第一の閾値）以上抽出されている部分ブロックを基準ブロックとして選択するものである。 The white detection unit 62 extracts white pixels based on the color difference signals (RY, BY) and the luminance signals (Y) calculated by the signal processing unit 22 for each partial block, and determines the number of white pixels. A partial block extracted above the threshold value (first threshold value) of is selected as a reference block.
物体情報取得部６３は、フレームの指定された部分ブロックから物体を検出し、当該物体に関する物体情報を取得するものである。 The object information acquisition unit 63 detects an object from a designated partial block of the frame and acquires object information about the object.
記憶部６４は、基準ブロックの位置及び基準ブロックから検出された物体の物体情報を記憶するものである。 The storage unit 64 stores the position of the reference block and the object information of the object detected from the reference block.
次に、撮像装置６の基本的な動作について、図５及び図６を参照しながら説明する。図５において、図３と同一の符号は、同一または相当するものであるので、説明を省略する。
Next, the basic operation of the
輝度情報変化判定部２３によりフレームの輝度値の平均の変化量が所定の閾値（第二の閾値）以上であると判定された場合（ステップＳＴ１０１、Ｙｅｓ）、白色検出エリア決定部６１は、前後するフレームについて、前に生成されたフレームの部分ブロックの輝度値の平均と、対象フレームの部分ブロックの輝度値の平均との変化量が、所定の閾値（第三の閾値）以上か否かにより、対象フレームの部分ブロックを、輝度変化量の大きいエリアと輝度変化量の小さいエリアとのいずれかに区分する（ステップＳＴ２０１）。 When the luminance information change determination unit 23 determines that the average amount of change in the brightness value of the frame is equal to or greater than a predetermined threshold value (second threshold value) (steps ST101, Yes), the white detection area determination unit 61 moves forward and backward. Depending on whether or not the amount of change between the average brightness value of the partial blocks of the previously generated frame and the average brightness value of the partial blocks of the target frame is equal to or greater than a predetermined threshold value (third threshold value). , The partial block of the target frame is divided into either an area having a large amount of change in brightness and an area having a small amount of change in brightness (step ST201).
白色検出部６２は、信号処理部２２により算出された色差信号（Ｒ−Ｙ、Ｂ−Ｙ）と輝度信号（Ｙ）に基づき白色画素を抽出し、白色画素の数が所定の閾値（第一の閾値）以上抽出されているかを、対象フレームの部分ブロックのうち、白色検出エリア決定部６１により輝度変化量の小さいエリアに区分された部分ブロックについて判定する（ステップＳＴ２０２）。 The white detection unit 62 extracts white pixels based on the color difference signals (RY, BY) and the luminance signal (Y) calculated by the signal processing unit 22, and the number of white pixels is a predetermined threshold value (first). Of the partial blocks of the target frame, it is determined by the white detection area determination unit 61 whether or not the partial blocks are extracted in an area having a small amount of change in brightness (step ST202).
白色検出部６２により、白色画素の数が所定の閾値（第一の閾値）以上抽出された部分ブロックが存在すると判定した場合において（ステップＳＴ１０３、Ｙｅｓ）、そのような部分ブロックが１つだけ存在するとき（ステップＳＴ２０３、Ｎｏ）、白色検出部６２は、当該部分ブロックを基準ブロックとして選択し（ステップＳＴ１０４）、記憶部６４は、当該基準ブロックの位置を記憶する（ステップＳＴ２０８）。ホワイトバランス制御部２６は、白色検出部６２により対象フレームで選択された基準ブロックを基準として、当該基準ブロックに含まれる画素の色信号の平均値が無彩色（目標とする白色）と等しくなるように対象フレームのホワイトバランス制御を行う（ステップＳＴ１０６）。なお、本実施の説明においては、本動作の開始の時点で基準ブロックが選択されているものとしている。
When the white detection unit 62 determines that there is a partial block in which the number of white pixels is extracted by a predetermined threshold value (first threshold value) or more (step ST103, Yes), only one such partial block exists. (Step ST203, No), the white detection unit 62 selects the partial block as the reference block (step ST104), and the storage unit 64 stores the position of the reference block (step ST208). The white
白色検出部６２により、白色画素の数が所定の閾値（第一の閾値）以上抽出された部分ブロックが存在すると判定した場合において（ステップＳＴ１０３、Ｙｅｓ）、そのような部分ブロックが複数存在するとき（ステップＳＴ２０３、Ｙｅｓ）、物体情報取得部６３は、それらの部分ブロックのそれぞれについて、所定のアルゴリズムを用いて、物体情報を取得する（ステップＳＴ２０４）。 When the white detection unit 62 determines that there is a partial block in which the number of white pixels is extracted by a predetermined threshold value (first threshold value) or more (step ST103, Yes), when a plurality of such partial blocks exist. (Step ST203, Yes), the object information acquisition unit 63 acquires object information for each of the subblocks by using a predetermined algorithm (step ST204).
物体情報取得部６３により、白色画素の数が所定の閾値（第一の閾値）以上抽出された複数の部分ブロックのうちのある部分ブロックから、記憶部により記憶された物体情報と同一の物体情報が取得された場合（ステップＳＴ２０５、Ｙｅｓ）、白色検出部６２は、その部分ブロックを基準ブロックとして選択し（ステップＳＴ２０６）、記憶部６４は、当該基準ブロックの位置及び当該基準ブロックから取得された物体情報を記憶する（ステップＳＴ２０８）。ホワイトバランス制御部２６は、白色検出部６２により対象フレームで選択された基準ブロックを基準として、当該基準ブロックに含まれる画素の色信号の平均値が無彩色（目標とする白色）と等しくなるように対象フレームのホワイトバランス制御を行う（ステップＳＴ１０６）。この場合、ホワイトバランス制御部２６が基準とする基準ブロックは、前に生成されたフレームで選択された基準ブロックから取得された物体情報と同一の物体情報が取得された基準ブロックとなる。
The same object information as the object information stored by the storage unit from a certain partial block among the plurality of partial blocks extracted by the object information acquisition unit 63 with the number of white pixels equal to or higher than a predetermined threshold value (first threshold value). (Step ST205, Yes), the white detection unit 62 selects the partial block as the reference block (step ST206), and the storage unit 64 is acquired from the position of the reference block and the reference block. The object information is stored (step ST208). The white
物体情報取得部６３により、白色画素の数が所定の閾値（第一の閾値）以上抽出された複数の部分ブロックのいずれからも記憶部により記憶された物体情報が取得されなかった場合、または記憶部が物体情報を記憶していない場合（ステップＳＴ２０５、Ｎｏ）、白色検出部６２は、白色画素の数が最も多い部分ブロックを基準ブロックとして選択し（ステップＳＴ２０７）、記憶部６４は、当該基準ブロックの位置及び（もし取得されていれば）当該基準ブロックから取得された物体情報を記憶する（ステップＳＴ２０８）。ホワイトバランス制御部２６は、白色検出部６２により対象フレームで選択された基準ブロックを基準として、当該基準ブロックに含まれる画素の色信号の平均値が無彩色（目標とする白色）と等しくなるように対象フレームのホワイトバランス制御を行う（ステップＳＴ１０６）。
When the object information stored by the storage unit is not acquired from any of the plurality of partial blocks extracted by the object information acquisition unit 63 with the number of white pixels equal to or greater than a predetermined threshold value (first threshold value), or stored. When the unit does not store the object information (step ST205, No), the white detection unit 62 selects the partial block having the largest number of white pixels as the reference block (step ST207), and the storage unit 64 selects the reference block. The position of the block and the object information acquired from the reference block (if acquired) are stored (step ST208). The white
このように、本実施の形態に係る撮像装置は、フレームの部分ブロックのうち、輝度値の変化量の小さい部分ブロックについて白色画素の抽出を実施するように構成したので、白色画素を抽出するための処理負荷を削減することが可能となる。 As described above, the imaging apparatus according to the present embodiment is configured to extract white pixels from the partial blocks of the frame in which the amount of change in the brightness value is small, so that the white pixels can be extracted. It is possible to reduce the processing load of.
また、本実施の形態に係る撮像装置は、前に生成されたフレームで選択された基準ブロックから取得された物体情報と同一の物体情報が取得された部分ブロックを、ホワイトバランス制御の基準ブロックとするように構成したので、ホワイトバランス制御に伴うフレームの色変化量を軽減することが可能となる。 Further, in the imaging apparatus according to the present embodiment, the partial block in which the same object information as the object information acquired from the reference block selected in the previously generated frame is used as the reference block for white balance control. Since it is configured to do so, it is possible to reduce the amount of color change of the frame due to the white balance control.
なお、本実施の形態２では、順次生成されるフレームのうち、フレームの輝度値の平均の変化量が所定の閾値（第二の閾値）以上であると判定されたフレームに対し、輝度値の変化量の小さい部分ブロックについて白色画素の抽出を実施するように構成したが、順次生成されるすべてのフレームに対し、輝度値の変化量の小さい部分ブロックについて白色画素の抽出を実施するように構成しても、白色画素を抽出するための処理負荷が削減される。
In the second embodiment, among the frames sequentially generated, the brightness value of the frame determined that the average change amount of the brightness value of the frame is equal to or more than a predetermined threshold value (second threshold value). It is configured to extract white pixels for partial blocks with a small amount of change, but it is configured to extract white pixels for partial blocks with a small amount of change in luminance value for all frames generated sequentially. Even so, the processing load for extracting white pixels is reduced.
１ 監視カメラシステム、
２ 撮像装置、
３ 映像記録再生装置、
４ モニタ、
５ 監視カメラシステム、
６ 撮像装置、
２１ 撮像処理部、
２２ 信号処理部、
２３ 輝度情報変化判定部、
２４ 白色検出部、
２５ 記憶部、
２６ ホワイトバランス制御部、
２７ ＩＦ部、
６１ 白色検出エリア決定部、
６２ 白色検出部、
６３ 物体情報取得部、
６４ 記憶部
1 Surveillance camera system,
2 Imaging device,
3 Video recording / playback device,
4 monitors,
5 Surveillance camera system,
6 Imaging device,
21 Imaging processing unit,
22 Signal processing unit,
23 Luminance information change determination unit,
24 White detector,
25 Memory
26 White balance control unit,
27 IF section,
61 White detection area determination unit,
62 White detector,
63 Object information acquisition unit,
64 Memory
Claims (4)
前記フレームの１つを複数に分割した部分ブロックのうち、白色または白に近い色の前記画素である白色画素の数が第一の閾値以上存在する前記部分ブロックを基準ブロックとして選択する白色検出部と、
前記基準ブロックを基準として、当該基準ブロックが白色となるように前記フレームのホワイトバランス制御を行うホワイトバランス制御部とを備え、
前記ホワイトバランス制御部が基準とする前記基準ブロックの位置は、
前記ホワイトバランス制御を行う対象フレームとその前に生成されたフレームとの輝度値の平均の変化量が第二の閾値以上の場合、前記対象フレームで選択された前記基準ブロックの位置であり、
前記対象フレームと前記前に生成されたフレームとの輝度値の平均の変化量が第二の閾値より小さい場合、前記前に生成されたフレームで選択された前記基準ブロックの位置であることを特徴とする撮像装置。 An imaging processing unit that sequentially generates frames composed of multiple pixels,
A white detection unit that selects as a reference block the partial block in which one of the frames is divided into a plurality of partial blocks in which the number of white pixels, which are white or near-white pixels, is equal to or greater than the first threshold value. When,
A white balance control unit that controls the white balance of the frame so that the reference block becomes white with the reference block as a reference is provided.
The position of the reference block based on the white balance control unit is
When the amount of change in the average brightness value between the target frame for which the white balance control is performed and the frame generated before the target frame is equal to or greater than the second threshold value, it is the position of the reference block selected in the target frame.
When the average amount of change in the brightness value between the target frame and the previously generated frame is smaller than the second threshold value, it is the position of the reference block selected in the previously generated frame. Imaging device.
前記部分ブロックのうち、前記対象フレームと前記前に生成されたフレームとの当該部分ブロックの輝度値の平均の変化量が第三の閾値より小さい前記部分ブロックから、前記白色画素を抽出することを特徴とする請求項１に記載の撮像装置。 The white detection unit
Extracting the white pixels from the partial blocks in which the average amount of change in the brightness value of the partial blocks between the target frame and the previously generated frame is smaller than the third threshold value. The imaging device according to claim 1.
前記白色検出部により複数の前記基準ブロックが選択されたとき、
前記ホワイトバランス制御部は、
前記複数の前記基準ブロックのうち、前記前に生成されたフレームで選択された前記基準ブロックから取得された前記物体情報が取得された前記基準ブロックが白色となるように前記対象フレームのホワイトバランス制御を行うことを特徴とする請求項２に記載の撮像装置。 An object information acquisition unit that detects an object from the reference block and acquires object information about the object is further provided.
When a plurality of the reference blocks are selected by the white detector,
The white balance control unit
White balance control of the target frame so that the reference block from which the object information acquired from the reference block selected in the previously generated frame among the plurality of reference blocks is acquired becomes white. The imaging device according to claim 2, wherein the image pickup apparatus is characterized in that.
前記フレームの１つである対象フレームを複数に分割した部分ブロックのうち、白色または白に近い色の前記画素である白色画素の数が第一の閾値以上存在する前記部分ブロックを基準ブロックとして選択する白色検出部と、
前記基準ブロックを基準として、当該基準ブロックが白色となるように前記対象フレームのホワイトバランス制御を行うホワイトバランス制御部とを備える撮像装置の撮像方法であって、
前記ホワイトバランス制御部が基準とする前記基準ブロックの位置は、
前記対象フレームとその前に生成されたフレームとの輝度値の平均の変化量が第二の閾値以上の場合、前記対象フレームで選択された前記基準ブロックの位置であり、
前記対象フレームと前記前に生成されたフレームとの輝度値の平均の変化量が第二の閾値より小さい場合、前記前に生成されたフレームで選択された前記基準ブロックの位置であることを特徴とする撮像方法。 An imaging processing unit that sequentially generates frames composed of multiple pixels,
Among the partial blocks obtained by dividing the target frame, which is one of the frames, into a plurality of parts, the partial block in which the number of white pixels, which are the pixels having a color close to white or white, is equal to or greater than the first threshold value is selected as the reference block. White detector and
A method of imaging an imaging apparatus including a white balance control unit that controls the white balance of the target frame so that the reference block becomes white with the reference block as a reference.
The position of the reference block based on the white balance control unit is
When the amount of change in the average brightness value between the target frame and the frame generated before the target frame is equal to or greater than the second threshold value, it is the position of the reference block selected in the target frame.
When the average amount of change in the brightness value between the target frame and the previously generated frame is smaller than the second threshold value, it is the position of the reference block selected in the previously generated frame. Imaging method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019098188A JP7205380B2 (en) | 2019-05-27 | 2019-05-27 | Imaging device and imaging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019098188A JP7205380B2 (en) | 2019-05-27 | 2019-05-27 | Imaging device and imaging method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020195017A true JP2020195017A (en) | 2020-12-03 |
| JP7205380B2 JP7205380B2 (en) | 2023-01-17 |
Family
ID=73548646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019098188A Active JP7205380B2 (en) | 2019-05-27 | 2019-05-27 | Imaging device and imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7205380B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000196949A (en) * | 1998-12-24 | 2000-07-14 | Sharp Corp | Camera device |
| JP2009164838A (en) * | 2007-12-28 | 2009-07-23 | Canon Inc | Image processing device and method, and imaging device |
| JP2012119756A (en) * | 2010-11-29 | 2012-06-21 | Ricoh Co Ltd | Imaging apparatus and white-balance control method |
| JP2013192057A (en) * | 2012-03-14 | 2013-09-26 | Canon Inc | Imaging apparatus, control method of the same, and control program |
| JP2016174349A (en) * | 2015-03-17 | 2016-09-29 | 上海兆芯集成電路有限公司 | Automatic white balance compensation method and automatic white balance compensation device |
| JP2018517369A (en) * | 2015-06-08 | 2018-06-28 | クアルコム，インコーポレイテッド | Dynamic frame skip for auto white balance |
-
2019
- 2019-05-27 JP JP2019098188A patent/JP7205380B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000196949A (en) * | 1998-12-24 | 2000-07-14 | Sharp Corp | Camera device |
| JP2009164838A (en) * | 2007-12-28 | 2009-07-23 | Canon Inc | Image processing device and method, and imaging device |
| JP2012119756A (en) * | 2010-11-29 | 2012-06-21 | Ricoh Co Ltd | Imaging apparatus and white-balance control method |
| JP2013192057A (en) * | 2012-03-14 | 2013-09-26 | Canon Inc | Imaging apparatus, control method of the same, and control program |
| JP2016174349A (en) * | 2015-03-17 | 2016-09-29 | 上海兆芯集成電路有限公司 | Automatic white balance compensation method and automatic white balance compensation device |
| JP2018517369A (en) * | 2015-06-08 | 2018-06-28 | クアルコム，インコーポレイテッド | Dynamic frame skip for auto white balance |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7205380B2 (en) | 2023-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5845464B2 (en) | Image processing apparatus, image processing method, and digital camera | |
| US9270875B2 (en) | Dual image capture processing | |
| WO2009133693A1 (en) | Imaging device | |
| US10129488B2 (en) | Method for shooting light-painting video, mobile terminal and computer storage medium | |
| JP6574878B2 (en) | Image processing apparatus, image processing method, imaging apparatus, program, and storage medium | |
| US8860840B2 (en) | Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus | |
| US20150269966A1 (en) | Image processing apparatus and control method thereof | |
| JP2008124671A (en) | Imaging apparatus and imaging method | |
| US10762600B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable recording medium | |
| JP7205380B2 (en) | Imaging device and imaging method | |
| JP6450107B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| KR100649891B1 (en) | Digital image signal processor, digital image signal processing method and digital video recorder using the method | |
| US10397587B2 (en) | Image processing apparatus and control method thereof | |
| KR100452097B1 (en) | Image data storing method using a change detection of image data | |
| KR100420620B1 (en) | Object-based digital video recording system) | |
| JPH1079881A (en) | Image pickup device | |
| JP5473260B2 (en) | Imaging device | |
| KR100391266B1 (en) | Method for background setup in object-based compression moving-image | |
| JP4455545B2 (en) | Imaging apparatus and imaging method | |
| JP2018207424A (en) | Information transfer device | |
| US20090109300A1 (en) | Digital photographing apparatus | |
| JP5211864B2 (en) | Image processing device | |
| WO2009017344A1 (en) | Camera module with high resolution image sensor and monitoring system including the module | |
| JP2013219682A (en) | Imaging device | |
| JP2010147651A (en) | Image pickup apparatus and image reproduction apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211208 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20220427 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221212 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7205380 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |