JP2021005320A - Image processing system and image processing method - Google Patents

Image processing system and image processing method Download PDF

Info

Publication number
JP2021005320A
JP2021005320A JP2019120131A JP2019120131A JP2021005320A JP 2021005320 A JP2021005320 A JP 2021005320A JP 2019120131 A JP2019120131 A JP 2019120131A JP 2019120131 A JP2019120131 A JP 2019120131A JP 2021005320 A JP2021005320 A JP 2021005320A
Authority
JP
Japan
Prior art keywords
image
pixel
image processing
target object
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019120131A
Other languages
Japanese (ja)
Inventor
将之 徳永
Masayuki Tokunaga
将之 徳永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Visual Solutions Corp
Original Assignee
Toshiba Visual Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Visual Solutions Corp filed Critical Toshiba Visual Solutions Corp
Priority to JP2019120131A priority Critical patent/JP2021005320A/en
Priority to CN202080002690.8A priority patent/CN112470165B/en
Priority to PCT/CN2020/098169 priority patent/WO2020259603A1/en
Publication of JP2021005320A publication Critical patent/JP2021005320A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

To provide an image processing system capable of detecting an object using machine learning and performing effective image quality adjustment processing on the object by using a piece of information of color space.SOLUTION: An image processing system in an embodiment includes: a reduction unit that reduces the input image and outputs a reduced image; an object detection unit that detects a predetermined target object from the reduced image; an area determination unit that determines an object candidate area that includes the target object in the input image based on the detection result of the object detection unit; a color space determination unit that determines whether or not the object candidate area is an area corresponding to the target object based on the information of the color space corresponding to the target object; and an image processing circuit that controls the image processing on the input image based on the determination result of the color space determination unit.SELECTED DRAWING: Figure 1

Description

本発明の実施形態は、画像処理装置及び画像処理方法に関する。 Embodiments of the present invention relate to an image processing apparatus and an image processing method.

従来、画像の高画質化のために、例えば、超解像処理、鮮鋭化処理、ノイズリダクション処理等の種々の画像処理技術が利用されている。このような高画質化処理を行う画像処理装置においては、画像中のオブジェクトに応じた画像処理を施すことで、一層の高画質化を図るものがある。 Conventionally, various image processing techniques such as super-resolution processing, sharpening processing, and noise reduction processing have been used for improving the image quality of images. Some image processing devices that perform such high image quality processing aim for further high image quality by performing image processing according to an object in the image.

例えば、認識対象として重要なオブジェクトである人物の顔を検出し、検出した顔領域を考慮した超解像処理やノイズリダクション処理等が行われることもある。また、近年、顔検出の手法として、深層学習を利用した処理が行われることもある。この場合には、顔検出のための演算量を低減するために、縮小画像を用いて顔領域の推論処理が行われることもある。 For example, the face of a person, which is an important object to be recognized, may be detected, and super-resolution processing or noise reduction processing may be performed in consideration of the detected face area. Further, in recent years, as a method of face detection, processing using deep learning may be performed. In this case, inference processing of the face region may be performed using a reduced image in order to reduce the amount of calculation for face detection.

しかしながら、縮小画像を用いた顔領域の判定結果からは正確な顔領域を特定することができず、十分な高画質化を図れないことがあるという問題があった。 However, there is a problem that an accurate face region cannot be specified from the determination result of the face region using the reduced image, and it may not be possible to achieve sufficient image quality.

特開２０１９−４０３８２号JP-A-2019-40382

実施形態は、機械学習を利用したオブジェクト検出を行うとともに色空間の情報を利用することで、オブジェクトに対する有効な画質調整処理を行うことができる画像処理装置及び画像処理方法を提供することを目的とする。 An object of the embodiment is to provide an image processing device and an image processing method capable of performing effective image quality adjustment processing on an object by performing object detection using machine learning and using color space information. To do.

実施形態に係る画像処理装置は、入力された画像を縮小して縮小画像を出力する縮小部と、前記縮小画像からあらかじめ定められた対象オブジェクトを検出するオブジェクト検出部と、前記オブジェクト検出部の検出結果に基づいて、前記入力された画像中の前記対象オブジェクトが含まれるオブジェクト候補領域を判定する領域判定部と、前記対象オブジェクトに対応する色空間の情報に基づいて、前記オブジェクト候補領域が前記対象オブジェクトに対応する領域であるか否かを判定する色空間判定部と、前記色空間判定部の判定結果に基づいて、前記入力された画像に対する画像処理を制御する画像処理回路とを具備する。 The image processing apparatus according to the embodiment has a reduction unit that reduces an input image and outputs a reduced image, an object detection unit that detects a predetermined target object from the reduced image, and detection of the object detection unit. Based on the result, the area determination unit that determines the object candidate area including the target object in the input image, and the object candidate area is the target based on the information of the color space corresponding to the target object. It includes a color space determination unit that determines whether or not the area corresponds to an object, and an image processing circuit that controls image processing for the input image based on the determination result of the color space determination unit.

本発明の一実施の形態に係る画像処理装置を示すブロック図。The block diagram which shows the image processing apparatus which concerns on one Embodiment of this invention. オブジェクト検出部４における処理の一例を説明するための説明図。An explanatory diagram for explaining an example of processing in the object detection unit 4. オブジェクト検出部４における処理の一例を説明するための説明図。An explanatory diagram for explaining an example of processing in the object detection unit 4. 実施の形態の動作を説明するためのフローチャート。A flowchart for explaining the operation of the embodiment.

以下、図面を参照して本発明の実施の形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図１は本発明の一実施の形態に係る画像処理装置を示すブロック図である。本実施の形態は動画像中のオブジェクトを機械学習によって得た推論モデルを用いた検出器により判定すると共に、検出されたオブジェクトの領域について色空間の判定を行うことで、オブジェクト又はその近傍に対する高画質化処理の仕方を高精度に制御するものである。これにより、画像中の例えば人物の顔等のオブジェクトを高画質化することができる。 FIG. 1 is a block diagram showing an image processing apparatus according to an embodiment of the present invention. In this embodiment, the object in the moving image is determined by a detector using an inference model obtained by machine learning, and the color space of the detected object area is determined to determine the height of the object or its vicinity. It controls the image quality processing method with high accuracy. As a result, it is possible to improve the image quality of an object such as a person's face in the image.

本実施の形態における画像処理装置は、画像処理を行う各種装置に採用することができる。例えば、本実施の形態における画像処理装置をテレビジョン受信機や、ビデオレコーダ等に採用してもよく、放送番組の画像中の各種オブジェクトを高画質化し、結果的に画像全体で高画質の動画像を得ることができる。また、例えば、本実施の形態における画像処理装置を監視カメラや、車載カメラ等に採用してもよく、撮影された動画像中の各種オブジェクトを高画質化し、結果的に人物等のオブジェクトの認識精度を向上させることもできる。 The image processing apparatus according to the present embodiment can be adopted for various devices that perform image processing. For example, the image processing device of the present embodiment may be adopted for a television receiver, a video recorder, or the like, and various objects in the image of the broadcast program are made high quality, and as a result, the entire image is made of high quality moving image. You can get an image. Further, for example, the image processing device according to the present embodiment may be adopted for a surveillance camera, an in-vehicle camera, or the like, and various objects in the captured moving image are improved in image quality, resulting in recognition of objects such as a person. The accuracy can also be improved.

図１において、入力画像は、縮小回路１、領域判定回路２及び高画質化処理回路３に与えられる。入力画像は、所定のフレームレート、所定の解像度、所定の規格に基づく動画像である。例えば、テレビジョン受信機等によって受信された放送信号に基づくものであってもよく、所定のカメラシステムから得られたものであってもよい。 In FIG. 1, the input image is given to the reduction circuit 1, the area determination circuit 2, and the high image quality processing circuit 3. The input image is a moving image based on a predetermined frame rate, a predetermined resolution, and a predetermined standard. For example, it may be based on a broadcast signal received by a television receiver or the like, or may be obtained from a predetermined camera system.

縮小部としての縮小回路１は、入力画像に対して縮小処理を行う。例えば、縮小回路１は、公知のバイリニア法、バイキュービック法等の各種縮小アルゴリズムを採用してもよく、アルゴリズムは特に限定されるものではない。縮小回路１は、入力画像から縮小画像を取得する。なお、縮小倍率は入力画像サイズやオブジェクト検出部４の演算速度に依存する。縮小回路１は、所定のフレームレートで生成した縮小画像を順次オブジェクト検出部４に出力する。 The reduction circuit 1 as a reduction unit performs reduction processing on the input image. For example, the reduction circuit 1 may employ various reduction algorithms such as a known bilinear method and a bicubic method, and the algorithm is not particularly limited. The reduction circuit 1 acquires a reduced image from the input image. The reduction ratio depends on the input image size and the calculation speed of the object detection unit 4. The reduction circuit 1 sequentially outputs the reduced images generated at a predetermined frame rate to the object detection unit 4.

オブジェクト検出部４は、機械学習技術を利用して、入力された縮小画像中から検出対象のオブジェクト（以下、対象オブジェクトという）を検出する処理を行う。なお、対象オブジェクトは、事前に定められたものであってもよい。オブジェクト検出部４は、対象オブジェクト検出のための推論モデルを構築する所定のネットワークがハードウェア又はソフトウェアによって構成されている。 The object detection unit 4 uses machine learning technology to perform a process of detecting an object to be detected (hereinafter referred to as a target object) from the input reduced image. The target object may be a predetermined object. In the object detection unit 4, a predetermined network for constructing an inference model for detecting an object object is composed of hardware or software.

オブジェクト検出部４の推論モデルは、例えば、縮小画像に縮小画像中の対象オブジェクトの範囲を示す情報をラベルとして付加して作成した大量の教師データを、所定のネットワークに与えて学習させることで得られるものである。この推論モデルは、縮小画像の入力に対して、対象オブジェクトの範囲を示す情報をその信頼度の情報と共に出力する。なお、所定のネットワークとしては、ＤＮＮ（ディープニューラルネットワーク）を採用してもよい。また、オブジェクト検出部４は、機械学習の手法として、ディープニューラルネットワーク以外の手法、例えば、ハールライク（Ｈａａｒ−Ｌｉｋｅ）等を利用するものであってもよい。 The inference model of the object detection unit 4 is obtained, for example, by giving a large amount of teacher data created by adding information indicating the range of the target object in the reduced image as a label to the reduced image to a predetermined network for learning. It is something that can be done. This inference model outputs information indicating the range of the target object together with the reliability information in response to the input of the reduced image. A DNN (deep neural network) may be adopted as the predetermined network. Further, the object detection unit 4 may use a method other than the deep neural network, for example, Har-Like, or the like as the machine learning method.

図２及び図３はオブジェクト検出部４における処理の一例を説明するための説明図である。図２及び図３は対象オブジェクトが人物の顔である場合の検出処理の例を示している。 2 and 3 are explanatory views for explaining an example of processing in the object detection unit 4. 2 and 3 show an example of detection processing when the target object is the face of a person.

図２及び図３の縮小画像Ｐｉｎは、オブジェクト検出部４に入力される縮小画像を示している。この縮小画像Ｐｉｎには、人物Ｏ１，Ｏ２の画像が含まれており、丸い形状は、対象オブジェクトである顔部分の画像を示している。図２の例では、オブジェクト検出部４は、推論処理によって、縮小画像Ｐｏｕｔに示すように、人物Ｏ１の顔部分を含む領域ＤＲ１と人物Ｏ２の顔部分を含む領域ＤＲ２とを対象オブジェクトの検出領域として検出する。例えば、オブジェクト検出部４は、顔部分を検出し、検出した顔部分の中心の座標を中心とした所定サイズの矩形領域を検出領域とする。オブジェクト検出部４は、領域ＤＲ１，ＤＲ２に関する情報を対象オブジェクトの検出結果として出力する。 The reduced image pin of FIGS. 2 and 3 shows a reduced image input to the object detection unit 4. The reduced image Pin includes images of people O1 and O2, and the round shape indicates an image of a face portion which is a target object. In the example of FIG. 2, the object detection unit 4 detects the target object by inference processing, as shown in the reduced image Pout, the area DR1 including the face portion of the person O1 and the region DR2 including the face portion of the person O2. Detect as. For example, the object detection unit 4 detects a face portion and sets a rectangular region of a predetermined size centered on the coordinates of the center of the detected face portion as a detection region. The object detection unit 4 outputs information about the areas DR1 and DR2 as the detection result of the target object.

一方、図３は縮小画像Ｐｉｎをグリッドによって区画された小領域（以下、判定小領域という）毎に対象オブジェクトの範囲を検出する例を示している。この場合には、オブジェクト検出部４を構成する推論モデルは、判定小領域毎に対象オブジェクトであるか否かを示すラベルを付加した縮小画像を教師データとする学習によって取得することができる。 On the other hand, FIG. 3 shows an example in which the range of the target object is detected for each small area (hereinafter referred to as a determination small area) in which the reduced image Pin is partitioned by the grid. In this case, the inference model constituting the object detection unit 4 can be acquired by learning using a reduced image with a label indicating whether or not the object is a target object for each determination small area as teacher data.

従って、オブジェクト検出部４は、推論処理によって、縮小画像Ｐｏｕｔに示すように、人物Ｏ１の顔部分として検出した２つの判定小領域を含む領域ＤＲ３と人物Ｏ２の顔部分として検出した４つの判定小領域を含む領域ＤＲ４とを対象オブジェクトの検出領域として検出する。オブジェクト検出部４は、領域ＤＲ３，ＤＲ４に関する情報を対象オブジェクトの検出結果として出力する。 Therefore, as shown in the reduced image Pout, the object detection unit 4 detects the area DR3 including the two determination small areas detected as the face portion of the person O1 and the four determination small areas detected as the face portion of the person O2 by the inference process. The area DR4 including the area is detected as the detection area of the target object. The object detection unit 4 outputs information about the areas DR3 and DR4 as the detection result of the target object.

オブジェクト検出部４は、検出領域に関する情報を領域判定回路２に出力する。領域判定部としての領域判定回路２は、図２及び図３の例のいずれの場合においても、縮小画像について検出された検出領域を、入力画像のサイズに対応した位置及びサイズの領域（以下、オブジェクト推論領域という）に変換する。 The object detection unit 4 outputs information about the detection area to the area determination circuit 2. In any case of the examples of FIGS. 2 and 3, the area determination circuit 2 as the area determination unit uses the detection area detected for the reduced image as a position and size area corresponding to the size of the input image (hereinafter referred to as “region”). Convert to (called object inference area).

オブジェクト検出部４は、当該オブジェクト推論領域の入力画像について、対象オブジェクトを構成するであろうと考えられる領域の候補（以下、オブジェクト候補領域という）を求める。例えば、オブジェクト検出部４は、当該オブジェクト推論領域の入力画像について、オブジェクト推論領域内の画素毎に、オブジェクト候補領域内の画素、即ち、対象オブジェクトを構成する画素の候補（以下、オブジェクト画素候補という）であるか否かを判定する。 The object detection unit 4 obtains a candidate for an area (hereinafter, referred to as an object candidate area) that is considered to constitute the target object for the input image of the object inference area. For example, the object detection unit 4 refers to the input image of the object inference area for each pixel in the object inference area, that is, a pixel in the object candidate area, that is, a candidate for pixels constituting the target object (hereinafter referred to as an object pixel candidate). ) Is determined.

例えば、領域判定回路２は、検出領域の判定時の信頼度のスコアを、オブジェクト推論領域の各画素がオブジェクト画素候補であるか否かの判定に用いるスコア（以下、領域スコアという）としてもよい。この場合には、図２の例では、領域ＤＲ１に対応するオブジェクト推論領域内の全ての画素は相互に同一領域スコアとなり、領域ＤＲ２に対応するオブジェクト推論領域内の全ての画素は相互に同一領域スコアとなる。また、図３の例では、領域ＤＲ３，ＤＲ４の各判定小領域にそれぞれ対応するオブジェクト推論領域毎に、オブジェクト推論領域内の全ての画素が相互に同一領域スコアとなる。 For example, the area determination circuit 2 may use the reliability score at the time of determination of the detection area as a score (hereinafter referred to as an area score) used for determining whether or not each pixel in the object inference area is an object pixel candidate. .. In this case, in the example of FIG. 2, all the pixels in the object inference area corresponding to the area DR1 have the same area score, and all the pixels in the object inference area corresponding to the area DR2 have the same area. It becomes a score. Further, in the example of FIG. 3, all the pixels in the object inference area have the same area score for each object inference area corresponding to each determination small area of the areas DR3 and DR4.

なお、領域判定回路２は、検出領域の判定時の信頼度のスコアだけでなく、他の情報を利用して領域スコアを決定してもよい。領域判定回路２は領域スコアが所定の閾値を超えた画素をオブジェクト画素候補としてもよい。 The region determination circuit 2 may determine the region score by using not only the reliability score at the time of determining the detection region but also other information. The area determination circuit 2 may use pixels whose area score exceeds a predetermined threshold value as object pixel candidates.

本実施の形態においては、対象オブジェクトを構成する画素であるオブジェクト画素を求めるために、オブジェクト画素候補を色空間判定部５に与えるようになっている。なお、オブジェクト画素は、対象オブジェクトに対する処理パラメータを用いて画像処理が行われる画素のことである。 In the present embodiment, object pixel candidates are given to the color space determination unit 5 in order to obtain object pixels which are pixels constituting the target object. The object pixel is a pixel in which image processing is performed using processing parameters for the target object.

色空間判定部５は、オブジェクト画素候補の画素が、対象オブジェクトに相当する色空間の情報を保持しているかに基づいて、オブジェクト画素を判定するようになっている。例えば、対象オブジェクトが人間の顔である場合には、オブジェクト画素候補の画素の色情報が人間の肌色(顔色)を示す場合には、当該画素は対象オブジェクトに相当する色空間の情報を保持していると判定できる。 The color space determination unit 5 determines the object pixel based on whether the pixel of the object pixel candidate holds the information of the color space corresponding to the target object. For example, when the target object is a human face and the color information of the object pixel candidate pixel indicates a human skin color (complexion color), the pixel holds information in the color space corresponding to the target object. It can be determined that it is.

例えば、色空間判定部５は、入力画像中のオブジェクト画素候補の各画素を、所定の色空間の情報に変換して、その色を判定してもよい。例えば、色空間判定部５は、入力画像中のオブジェクト画素候補の各画素をＨＳＶ色空間に変換し、画素の色がＨＳＶ色空間内の対象オブジェクトの色に対応する所定の範囲（以下、オブジェクト色範囲という）内に存在するか否かを画素毎に判定することで、オブジェクト画素を判定してもよい。また、ＨＳＶ色空間内の色相（Ｈ）、彩度（Ｓ）及び明度（Ｖ）のうちの少なくとも１つがオブジェクト色範囲内にあるか否かによってオブジェクト画素を判定してもよい。 For example, the color space determination unit 5 may convert each pixel of the object pixel candidate in the input image into information in a predetermined color space and determine the color. For example, the color space determination unit 5 converts each pixel of the object pixel candidate in the input image into the HSV color space, and the pixel color corresponds to the color of the target object in the HSV color space (hereinafter, object). The object pixel may be determined by determining for each pixel whether or not it exists within the color range. Further, the object pixel may be determined based on whether or not at least one of the hue (H), saturation (S), and lightness (V) in the HSV color space is within the object color range.

また、例えば、色空間判定部５は、入力画像中のオブジェクト画素候補の各画素をＹＣｂＣｒ色空間に変換し、画素の色がＹＣｂＣｒ色空間内のオブジェクト色範囲内に存在するか否かを画素毎に判定することで、オブジェクト画素を判定してもよい。また、この場合にも、ＹＣｒＣＢ色空間のうちの少なくとも１つがオブジェクト色範囲内にあるか否かによってオブジェクト画素を判定してもよい。 Further, for example, the color space determination unit 5 converts each pixel of the object pixel candidate in the input image into the YCbCr color space, and determines whether or not the pixel color exists within the object color range in the YCbCr color space. The object pixel may be determined by determining each time. Also in this case, the object pixel may be determined based on whether or not at least one of the YCrCB color spaces is within the object color range.

なお、色空間判定部５が判定に用いる色空間としては、上述したＨＳＶ色空間、ＹＣｒＣｂ色空間に限らず、ＲＧＢ色空間等、種々の色空間を採用することができる。人間の顔を対象オブジェクトとする場合には、人種等に応じてオブジェクト色範囲が異なる。そこで、色空間判定部５は、オブジェクト画素の判定に際して複数のオブジェクト色範囲を設定してもよい。 The color space used by the color space determination unit 5 for determination is not limited to the HSV color space and YCrCb color space described above, and various color spaces such as an RGB color space can be adopted. When a human face is the target object, the object color range differs depending on the race and the like. Therefore, the color space determination unit 5 may set a plurality of object color ranges when determining the object pixels.

また、上記説明では、オブジェクト画素候補の各画素の色がオブジェクト色範囲内にあるか否かによってオブジェクト画素であるか否かを判定する例を説明した。これに対し、色空間判定部５は、オブジェクト色範囲内に基準点を設け、この基準点からの各画素の色の点までの距離に応じた色スコアを設定し、色スコアが所定の閾値を超えた画素をオブジェクト画素としてもよい。上述したオブジェクト色範囲内にあるか否かによってオブジェクト画素であるか否かを判定する例は、オブジェクト色範囲内の色スコアが最大値でオブジェクト色範囲外の色スコアが最小値である例と言える。 Further, in the above description, an example of determining whether or not an object pixel is an object pixel has been described based on whether or not the color of each pixel of the object pixel candidate is within the object color range. On the other hand, the color space determination unit 5 provides a reference point within the object color range, sets a color score according to the distance from the reference point to the color point of each pixel, and the color score is a predetermined threshold value. Pixels exceeding the above may be used as object pixels. The example of determining whether or not the pixel is an object pixel based on whether or not it is within the object color range described above is an example in which the color score within the object color range is the maximum value and the color score outside the object color range is the minimum value. I can say.

例えば、図３の例では、領域スコアの結果から、領域ＤＲ３，ＤＲ４中の丸い形状の部分を入力画像のサイズに応じて拡大した領域の各画素がオブジェクト画素候補になり得る。しかし、上述したように、領域判定回路２における検出領域の判定時の信頼度のスコアを領域スコアに用いた場合には、オブジェクト推論領域内又は判定小領域内の全ての画素が同一領域スコアとなる。この結果、特に顔の輪郭部分では、顔部分以外（背景）に対応する画素についてもオブジェクト画素候補となることがある。 For example, in the example of FIG. 3, from the result of the area score, each pixel of the area in which the round-shaped portion in the areas DR3 and DR4 is enlarged according to the size of the input image can be an object pixel candidate. However, as described above, when the reliability score at the time of determination of the detection region in the region determination circuit 2 is used for the region score, all the pixels in the object inference region or the determination small region have the same region score. Become. As a result, especially in the contour portion of the face, pixels corresponding to other than the face portion (background) may also be object pixel candidates.

本実施の形態においては、オブジェクト画素候補の各画素について色スコアを求めており、オブジェクト画素候補の各画素のうち顔部分以外の背景部分の画素については、色スコアを用いることで、オブジェクト画素から除外することが可能である。 In the present embodiment, the color score is obtained for each pixel of the object pixel candidate, and the pixel of the background portion other than the face portion of each pixel of the object pixel candidate is obtained from the object pixel by using the color score. It can be excluded.

色空間判定部５は、オブジェクト画素候補の画素毎に、オブジェクト画素であるか否かの判定結果、又は色スコアの情報を高画質化処理回路３に出力する。なお、オブジェクト画素であるか否かの判定結果についても、上述したように、色スコアの情報として表現できるので、以下の説明では、色スコアの情報が高画質化処理回路３に供給されるものとして説明する。 The color space determination unit 5 outputs the determination result of whether or not the object pixel is an object pixel or the color score information to the high image quality processing circuit 3 for each pixel of the object pixel candidate. As described above, the determination result of whether or not the pixel is an object pixel can also be expressed as color score information. Therefore, in the following description, the color score information is supplied to the high image quality processing circuit 3. It is explained as.

画像処理回路を構成する高画質化処理回路３は、入力画像に対して所定の画質処理を行うことで、高画質化処理を施す。本実施の形態においては、高画質化処理回路３は、入力画像又は入力画像中のオブジェクト画素候補について、画素毎に色スコアの情報に基づいて画質処理の処理パラメータを設定してもよい。 The high image quality processing circuit 3 constituting the image processing circuit performs high image quality processing by performing predetermined image quality processing on the input image. In the present embodiment, the high image quality processing circuit 3 may set processing parameters for image quality processing for each pixel of the input image or the object pixel candidate in the input image based on the color score information.

例えば、高画質化処理回路３は、色スコアが所定の閾値より高い画素をオブジェクト画素とし、オブジェクト画素については鮮鋭化処理に適した処理パラメータを設定して鮮鋭化処理を施してもよい。また、高画質化処理回路３は、入力画像のうち色スコアが所定の閾値より高い画素以外の画素、又はオブジェクト画素候補の各画素のうち色スコアが所定の閾値以下の画素に対して、ノイズリダクション処理に適した処理パラメータを設定してノイズリダクション処理を施してもよい。凹凸のある人間の顔部等のオブジェクトと比較的平坦な背景との境界部分では、折り返しのノイズが生じやすい。高画質化処理回路３は、このようなノイズの除去や鮮鋭化処理によって、対象オブジェクトの画質を高画質化することが可能である。 For example, in the high image quality processing circuit 3, pixels having a color score higher than a predetermined threshold value may be used as object pixels, and processing parameters suitable for sharpening processing may be set for the object pixels to perform sharpening processing. Further, the high image quality processing circuit 3 makes noise for pixels other than pixels having a color score higher than a predetermined threshold value in the input image, or pixels having a color score equal to or lower than a predetermined threshold value among each pixel of the object pixel candidate. The noise reduction processing may be performed by setting processing parameters suitable for the reduction processing. Folding noise is likely to occur at the boundary between an object such as an uneven human face and a relatively flat background. The high image quality processing circuit 3 can improve the image quality of the target object by such noise removal and sharpening processing.

なお、高画質化処理回路３は、鮮鋭化処理やノイズリダクション処理に限らず、各種画像処理、例えば、超解像処理等を行うようになっていてもよい。超解像処理においても、処理パラメータを色スコアに応じて画素毎に変更することができる。更に、領域スコアが所定の閾値よりも大きいオブジェクト画素候補の各画素の色スコアのみに応じて処理パラメータを設定する例を説明したが、領域スコア及び色スコアの値に応じて処理パラメータを画素毎に設定するようになっていてもよい。また、処理パラメータは画素毎でなく、所定の領域毎に変更するようになっていてもよい。 The high image quality processing circuit 3 is not limited to sharpening processing and noise reduction processing, and may perform various image processing, for example, super-resolution processing. Also in the super-resolution processing, the processing parameters can be changed for each pixel according to the color score. Further, an example of setting the processing parameter only according to the color score of each pixel of the object pixel candidate whose region score is larger than a predetermined threshold value has been described, but the processing parameter is set for each pixel according to the value of the region score and the color score. It may be set to. Further, the processing parameters may be changed not for each pixel but for each predetermined area.

次に、このように構成された実施の形態の動作について図４を参照して説明する。図４は実施の形態の動作を説明するためのフローチャートである。 Next, the operation of the embodiment configured in this way will be described with reference to FIG. FIG. 4 is a flowchart for explaining the operation of the embodiment.

動画像等が入力画像として縮小回路１、領域判定回路２及び高画質化処理回路３に入力される。図４のフローチャートは、入力された動画像のフレーム毎の処理を示しており、図１の各回路は、所定のフレームについて図４の各処理を実行する。 A moving image or the like is input as an input image to the reduction circuit 1, the area determination circuit 2, and the high image quality processing circuit 3. The flowchart of FIG. 4 shows the processing for each frame of the input moving image, and each circuit of FIG. 1 executes each processing of FIG. 4 for a predetermined frame.

縮小回路１は、図４のステップＳ１において、縮小処理を行う。入力画像は所定の縮小アルゴリズムによって縮小画像に変換される。この縮小画像はオブジェクト検出部４に供給される。 The reduction circuit 1 performs the reduction process in step S1 of FIG. The input image is converted into a reduced image by a predetermined reduction algorithm. This reduced image is supplied to the object detection unit 4.

オブジェクト検出部４は、機械学習技術を利用して、対象オブジェクトを検出する（ステップＳ２）。例えば、オブジェクト検出部４は、対象オブジェクトの画像領域として矩形の検出領域を求める。オブジェクト検出部４の検出結果は領域判定回路２に供給され、領域判定回路２は、検出領域を元の入力画像の位置及びサイズに拡大したオブジェクト推論領域を求める（ステップＳ３）。 The object detection unit 4 detects the target object by using the machine learning technique (step S2). For example, the object detection unit 4 obtains a rectangular detection area as an image area of the target object. The detection result of the object detection unit 4 is supplied to the area determination circuit 2, and the area determination circuit 2 obtains an object inference area in which the detection area is expanded to the position and size of the original input image (step S3).

領域判定回路２は、オブジェクト推論領域内の画素毎に、対象オブジェクトを構成する画素の候補であるか否かの判定に用いる領域スコアを求める（ステップＳ４）。領域判定回路２は、領域スコアが閾値よりも大きい画素をオブジェクト画素候補に決定する（ステップＳ５）。 The area determination circuit 2 obtains an area score used for determining whether or not it is a candidate for pixels constituting the target object for each pixel in the object inference area (step S4). The area determination circuit 2 determines a pixel whose area score is larger than the threshold value as an object pixel candidate (step S5).

オブジェクト画素候補の情報は、色空間判定部５に与えられる。色空間判定部５は、オブジェクト画素候補の各画素について色スコアを求める（ステップＳ６）。例えば、色空間判定部５は、所定の色空間においてオブジェクト画素候補の画素の色とオブジェクト色範囲との関係に基づいて、色スコアを求める。即ち、色スコアは、例えば大きな値ほど、その画素の色が、色空間上で、対象オブジェクトの色に近い色であると考えられる。従って、色スコアを用いることで、オブジェクト画素候補の各画素が対象オブジェクトの画素であるか否かの判定をより高精度に行うことが可能である。 The information of the object pixel candidate is given to the color space determination unit 5. The color space determination unit 5 obtains a color score for each pixel of the object pixel candidate (step S6). For example, the color space determination unit 5 obtains a color score based on the relationship between the color of the pixel of the object pixel candidate and the object color range in a predetermined color space. That is, for example, the larger the color score, the closer the color of the pixel is to the color of the target object in the color space. Therefore, by using the color score, it is possible to determine with higher accuracy whether or not each pixel of the object pixel candidate is a pixel of the target object.

色空間判定部５は、オブジェクト画素候補の画素毎の色スコアの情報を高画質化処理回路３に出力する。高画質化処理回路３は、色スコアに応じて入力画像に対する画質処理の処理パラメータを例えば画素毎に設定し（ステップＳ７）、高画質化処理を施す（ステップＳ８）。 The color space determination unit 5 outputs the information of the color score for each pixel of the object pixel candidate to the high image quality processing circuit 3. The high image quality processing circuit 3 sets the processing parameters of the image quality processing for the input image for each pixel, for example, according to the color score (step S7), and performs the high image quality processing (step S8).

例えば、高画質化処理回路３は、色スコアが所定の閾値よりも高いオブジェクト画素については、鮮鋭化処理に適した処理パラメータを設定し、オブジェクト画素以外の画素についてはノイズリダクション処理に適した処理パラメータを設定して、高画質化処理を施す。これにより、人間の顔等の対象オブジェクトを高画質化することが可能である。 For example, the high image quality processing circuit 3 sets processing parameters suitable for sharpening processing for object pixels whose color score is higher than a predetermined threshold value, and processes suitable for noise reduction processing for pixels other than object pixels. Set parameters and perform high image quality processing. This makes it possible to improve the image quality of a target object such as a human face.

なお、本実施の形態においては、高画質化処理回路３において、オブジェクト画素とオブジェクト画素以外の画素について相互に異なる処理パラメータを設定するようになっており、対象オブジェクト以外の画素部分を低画質化することで、相対的に対象オブジェクトを高画質化することも可能である。例えば、予め定められた対象オブジェクトに対して、画像中の他のオブジェクトの画質を低画質化することも可能であり、この場合には、対象オブジェクトの視認性を相対的に向上させることができる。 In the present embodiment, in the high image quality processing circuit 3, different processing parameters are set for the object pixel and the pixel other than the object pixel, and the image quality of the pixel portion other than the target object is lowered. By doing so, it is possible to relatively improve the image quality of the target object. For example, it is possible to lower the image quality of other objects in the image with respect to a predetermined target object, and in this case, the visibility of the target object can be relatively improved. ..

このように本実施の形態においては、動画中の対象オブジェクトを機械学習によって得た推論モデルを用いた検出器により判定するだけでなく、検出されたオブジェクトの領域について色空間の判定を行うことで、オブジェクトやその周辺に対する高画質化処理の仕方を高精度に制御することができる。これにより、画像中の例えば人物の顔等のオブジェクトを高画質化することができ、動画像中のオブジェクトの視認性を向上させることができると共に、オブジェクトに対する認識精度を向上させることも可能である。 As described above, in the present embodiment, not only the target object in the moving image is determined by the detector using the inference model obtained by machine learning, but also the color space of the detected object region is determined. , It is possible to control the method of high image quality processing for an object and its surroundings with high accuracy. As a result, it is possible to improve the image quality of an object such as a person's face in the image, improve the visibility of the object in the moving image, and improve the recognition accuracy of the object. ..

なお、上記実施の形態においては、対象オブジェクトとして人物の顔を例に説明したが、対象オブジェクトは特に限定されるものではない。例えば、対象オブジェクトとして、犬、猫等の動物や、自動車や、ボール等を設定してもよい。例えば、ゴルフボールを対象オブジェクトに設定した場合には、ゴルフボールを追尾した動画像において、ゴルフボールの画質を向上させ、ディンプルまで明瞭に表示する等の高画質化処理が可能となる。 In the above embodiment, the face of a person has been described as an example of the target object, but the target object is not particularly limited. For example, animals such as dogs and cats, automobiles, balls, and the like may be set as target objects. For example, when a golf ball is set as a target object, it is possible to improve the image quality of the golf ball in a moving image in which the golf ball is tracked, and to perform high image quality processing such as clearly displaying dimples.

なお、上記実施の形態における各回路（縮小回路１、領域判定回路２、高画質化処理回路３、オブジェクト検出部４及び色空間判定部５）は、それぞれを構成する各部が個々の電子回路として構成されていてもよく、あるいは、集積回路における回路ブロックとして構成されていてもよい。また、各回路は、１つ以上のＣＰＵを具備して構成されていてもよい。また、各回路が、各部の機能を実行させるためのプログラムをメモリ等の記憶媒体から読み込むと共に、当該読み込んだプログラムに応じた動作を行うようにしてもよい。 In each circuit (reduction circuit 1, area determination circuit 2, high image quality processing circuit 3, object detection unit 4 and color space determination unit 5) in the above embodiment, each component constituting each circuit is an individual electronic circuit. It may be configured, or it may be configured as a circuit block in an integrated circuit. Further, each circuit may be configured to include one or more CPUs. Further, each circuit may read a program for executing the function of each part from a storage medium such as a memory and perform an operation according to the read program.

本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。 The present invention is not limited to the above embodiment, and can be variously modified at the implementation stage without departing from the gist thereof. In addition, the above-described embodiment includes inventions at various stages, and various inventions can be extracted by an appropriate combination in a plurality of disclosed constituent requirements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the column of effect of the invention can be solved. If is obtained, a configuration in which this configuration requirement is deleted can be extracted as an invention.

１…縮小回路、２…領域判定回路、３…高画質化処理回路、４…オブジェクト検出部、５…色空間判定部。 1 ... Reduction circuit, 2 ... Area determination circuit, 3 ... High image quality processing circuit, 4 ... Object detection unit, 5 ... Color space determination unit.

Claims (7)

入力された画像を縮小して縮小画像を出力する縮小部と、
前記縮小画像からあらかじめ定められた対象オブジェクトを検出するオブジェクト検出部と、
前記オブジェクト検出部の検出結果に基づいて、前記入力された画像中の前記対象オブジェクトが含まれるオブジェクト候補領域を判定する領域判定部と、
前記対象オブジェクトに対応する色空間の情報に基づいて、前記オブジェクト候補領域が前記対象オブジェクトに対応する領域であるか否かを判定する色空間判定部と、
前記色空間判定部の判定結果に基づいて、前記入力された画像に対する画像処理を制御する画像処理回路と
を具備する画像処理装置。 A reduction unit that reduces the input image and outputs a reduced image,
An object detection unit that detects a predetermined target object from the reduced image,
Based on the detection result of the object detection unit, an area determination unit that determines an object candidate area including the target object in the input image, and an area determination unit.
A color space determination unit that determines whether or not the object candidate area is an area corresponding to the target object based on the information of the color space corresponding to the target object.
An image processing apparatus including an image processing circuit that controls image processing on the input image based on a determination result of the color space determination unit. 前記オブジェクト検出部は、ニューラルネットワークを用いた推論処理によって、前記縮小画像から前記対象オブジェクトを検出する
請求項１に記載の画像処理装置。 The image processing device according to claim 1, wherein the object detection unit detects the target object from the reduced image by inference processing using a neural network. 前記領域判定部は、前記入力された画像の画素毎に前記オブジェクト候補領域を構成するオブジェクト画素候補を判定する
請求項１に記載の画像処理装置。 The image processing device according to claim 1, wherein the area determination unit determines an object pixel candidate constituting the object candidate area for each pixel of the input image. 前記色空間判定部は、前記オブジェクト画素候補について、画素毎に前記対象オブジェクトを構成するオブジェクト画素である否かを判定する
請求項３に記載の画像処理装置。 The image processing device according to claim 3, wherein the color space determination unit determines whether or not the object pixel candidate is an object pixel constituting the target object for each pixel. 前記画像処理回路は、前記オブジェクト画素と前記オブジェクト画素以外の画素とで異なる処理パラメータを用いた画像処理を施す
請求項４に記載の画像処理装置。 The image processing apparatus according to claim 4, wherein the image processing circuit performs image processing using different processing parameters for the object pixel and a pixel other than the object pixel. 前記画像処理回路は、前記オブジェクト画素に鮮鋭化処理を施し、前記オブジェクト画素以外の画素にノイズリダクション処理を施すための処理パラメータを設定する
請求項４に記載の画像処理装置。 The image processing apparatus according to claim 4, wherein the image processing circuit performs sharpening processing on the object pixels and sets processing parameters for performing noise reduction processing on pixels other than the object pixels. 入力された画像を縮小して縮小画像を出力し、
前記縮小画像からあらかじめ定められた対象オブジェクトを検出し、
前記対象オブジェクトの検出結果に基づいて、前記入力された画像中の前記対象オブジェクトが含まれるオブジェクト候補領域を判定し、
前記対象オブジェクトに対応する色空間の情報に基づいて、前記オブジェクト候補領域が前記対象オブジェクトに対応する領域であるか否かを判定し、
前記色空間の情報を用いた判定の結果に基づいて、前記入力された画像に対する画像処理を制御する
画像処理方法。 Reduces the input image and outputs a reduced image,
A predetermined target object is detected from the reduced image,
Based on the detection result of the target object, the object candidate area including the target object in the input image is determined.
Based on the information in the color space corresponding to the target object, it is determined whether or not the object candidate area is a region corresponding to the target object.
An image processing method that controls image processing on the input image based on the result of determination using the information in the color space.
JP2019120131A 2019-06-27 2019-06-27 Image processing system and image processing method Pending JP2021005320A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019120131A JP2021005320A (en) 2019-06-27 2019-06-27 Image processing system and image processing method
CN202080002690.8A CN112470165B (en) 2019-06-27 2020-06-24 Image processing apparatus and image processing method
PCT/CN2020/098169 WO2020259603A1 (en) 2019-06-27 2020-06-24 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019120131A JP2021005320A (en) 2019-06-27 2019-06-27 Image processing system and image processing method

Publications (1)

Publication Number Publication Date
JP2021005320A true JP2021005320A (en) 2021-01-14

Family

ID=74059858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019120131A Pending JP2021005320A (en) 2019-06-27 2019-06-27 Image processing system and image processing method

Country Status (3)

Country Link
JP (1) JP2021005320A (en)
CN (1) CN112470165B (en)
WO (1) WO2020259603A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000076454A (en) * 1998-08-31 2000-03-14 Minolta Co Ltd Three-dimensional shape data processor
JP2006011685A (en) * 2004-06-24 2006-01-12 Noritsu Koki Co Ltd Photographic image processing method and its device
JP2010152521A (en) * 2008-12-24 2010-07-08 Toshiba Corp Apparatus and method for performing stereographic processing to image
JP2011044132A (en) * 2009-07-23 2011-03-03 Casio Computer Co Ltd Image processing apparatus, image processing method and image processing program
CN104751136A (en) * 2015-03-11 2015-07-01 西安理工大学 Face recognition based multi-camera video event retrospective trace method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7120279B2 (en) * 2003-01-30 2006-10-10 Eastman Kodak Company Method for face orientation determination in digital color images
WO2011145727A1 (en) * 2010-05-21 2011-11-24 シャープ株式会社 Colour determination device, colour determination method, image processing circuit and program
JP2012235407A (en) * 2011-05-09 2012-11-29 Sony Corp Image processing apparatus and image processing method
JP5980555B2 (en) * 2012-04-23 2016-08-31 オリンパス株式会社 Image processing apparatus, operation method of image processing apparatus, and image processing program
CN103473564B (en) * 2013-09-29 2017-09-19 公安部第三研究所 A kind of obverse face detection method based on sensitizing range
IL252657A0 (en) * 2017-06-04 2017-08-31 De Identification Ltd System and method for image de-identification
CN107909551A (en) * 2017-10-30 2018-04-13 珠海市魅族科技有限公司 Image processing method, device, computer installation and computer-readable recording medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000076454A (en) * 1998-08-31 2000-03-14 Minolta Co Ltd Three-dimensional shape data processor
JP2006011685A (en) * 2004-06-24 2006-01-12 Noritsu Koki Co Ltd Photographic image processing method and its device
JP2010152521A (en) * 2008-12-24 2010-07-08 Toshiba Corp Apparatus and method for performing stereographic processing to image
JP2011044132A (en) * 2009-07-23 2011-03-03 Casio Computer Co Ltd Image processing apparatus, image processing method and image processing program
CN104751136A (en) * 2015-03-11 2015-07-01 西安理工大学 Face recognition based multi-camera video event retrospective trace method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
原 謙治，外５名: "リアルタイム顔色彩転送手法", 映像情報メディア学会技術報告, vol. 33, no. 6, JPN6022044960, 4 February 2009 (2009-02-04), pages 87 - 92, ISSN: 0005011596 *

Also Published As

Publication number Publication date
CN112470165B (en) 2023-04-04
WO2020259603A1 (en) 2020-12-30
CN112470165A (en) 2021-03-09

Similar Documents

Publication Publication Date Title
US10783354B2 (en) Facial image processing method and apparatus, and storage medium
US10872262B2 (en) Information processing apparatus and information processing method for detecting position of object
US11087169B2 (en) Image processing apparatus that identifies object and method therefor
US6526161B1 (en) System and method for biometrics-based facial feature extraction
US9092868B2 (en) Apparatus for detecting object from image and method therefor
CN112308095A (en) Picture preprocessing and model training method and device, server and storage medium
JP5675233B2 (en) Information processing apparatus, recognition method thereof, and program
US20230360434A1 (en) Facial authentication device, facial authentication method, and program recording medium
JP6362085B2 (en) Image recognition system, image recognition method and program
JP6095817B1 (en) Object detection device
JP2021503139A (en) Image processing equipment, image processing method and image processing program
US20210174062A1 (en) Image processing device, image processing method, and recording medium
JP2007025902A (en) Image processor and image processing method
CN112822471B (en) Projection control method, intelligent robot and related products
JP2007026308A (en) Image processing method and image processor
JP2006323779A (en) Image processing method and device
JP2021005320A (en) Image processing system and image processing method
JP4789526B2 (en) Image processing apparatus and image processing method
JP2005165983A (en) Method for detecting jaw of human face, jaw detection system, and jaw detection program
JP2006285403A (en) Image processing method, and image processing device
CN108121963B (en) Video data processing method and device and computing equipment
JP6276504B2 (en) Image detection apparatus, control program, and image detection method
JP2007025901A (en) Image processor and image processing method
TWI804083B (en) Object detection system
JP2005071125A (en) Object detector, object detection method, object data selection program and object position detection program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230414

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230620