JP2023002768A - 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム - Google Patents

画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム Download PDF

Info

Publication number
JP2023002768A
JP2023002768A JP2022172156A JP2022172156A JP2023002768A JP 2023002768 A JP2023002768 A JP 2023002768A JP 2022172156 A JP2022172156 A JP 2022172156A JP 2022172156 A JP2022172156 A JP 2022172156A JP 2023002768 A JP2023002768 A JP 2023002768A
Authority
JP
Japan
Prior art keywords
image
module
original image
identifying
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022172156A
Other languages
English (en)
Other versions
JP7429756B2 (ja
Inventor
小雲 王
Xiaoyun Wang
明智 陳
Mingzhi Chen
召 王
Zhao Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2023002768A publication Critical patent/JP2023002768A/ja
Application granted granted Critical
Publication of JP7429756B2 publication Critical patent/JP7429756B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6005—Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

【課題】収集された画像に対して画像識別を行って、画像の画像品質を特定するための画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。【解決手段】画像処理方法は、元画像に対して画像処理を行って、元画像の輝度に対する成分画像を得ることと、元画像と成分画像との少なくとも一方を処理対象画像として特定することと、処理対象画像における画素を分類して、分類結果を得ることと、分類結果に基づいて処理対象画像を処理して、目標画像を得ることと、目標画像に基づいて、元画像の画像品質を特定することと、を含む。【選択図】図２

Description

本開示は人工知能技術分野に関し、具体的に、自動運転、インテリジェント交通、コンピュータ視覚、及びディープラーニング技術分野に関し、より具体的に、画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラムに関する。
幾つかの場面で、収集された画像に対して画像識別を行って、画像の画像品質を特定する必要がある。例えば、交通分野において、カメラによって交通の画像を収集することで、画像に基づいて交通状況を特定することが多い。しかしながら、関連技術では、画像の画像品質を識別する時、識別効果が良くなく、識別コストが高い。
本開示は、画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供している。
本開示の１つの局面によれば、元画像に対して画像処理を行って、前記元画像の輝度に対する成分画像を得ることと、前記元画像と前記成分画像との少なくとも一方を処理対象画像として特定することと、前記処理対象画像における画素を分類して、分類結果を得ることと、前記分類結果に基づいて前記処理対象画像を処理して、目標画像を得ることと、前記目標画像に基づいて、前記元画像の画像品質を特定することと、を含む画像処理方法を提供している。
本開示の別の局面によれば、第１の処理モジュールと、第１の特定モジュールと、分類モジュールと、第２の処理モジュールと、第２の特定モジュールと、を含む画像処理装置を提供している。第１の処理モジュールは、元画像に対して画像処理を行って、前記元画像の輝度に対する成分画像を得るために用いられる。第１の特定モジュールは、前記元画像と前記成分画像との少なくとも一方を処理対象画像として特定するために用いられる。分類モジュールは、前記処理対象画像における画素を分類して、分類結果を得るために用いられる。第２の処理モジュールは、前記分類結果に基づいて前記処理対象画像を処理して、目標画像を得るために用いられる。第２の特定モジュールは、前記目標画像に基づいて、前記元画像の画像品質を特定するために用いられる。
本開示の別の局面によれば、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信接続するメモリとを有する電子機器を提供している。ここで、前記メモリに、前記少なくとも１つのプロセッサによって実行され得るコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが上記画像処理方法を実行することができる。
本開示の別の局面によれば、コンピュータに上記画像処理方法を実行させるためのコンピュータコマンドを記憶している、非一時的なコンピュータ読取可能な記憶媒体を提供している。
本開示の別の局面によれば、プロセッサにより実行される場合に、上記画像処理方法を実現するコンピュータプログラムを提供している。
理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。
ここで、図面は、本技術案をよりよく理解するために用いられ、本開示を限定するものではない。
本開示の一実施例による画像処理方法及び装置の適用シーンを概略的に示している。 本開示の一実施例による画像処理方法のフローチャートを概略的に示している。 本開示の一実施例による画像処理方法の概略図を概略的に示している。 本開示の別の実施例による画像処理方法の概略図を概略的に示している。 本開示の別の実施例による画像処理方法の概略図を概略的に示している。 本開示の一実施例による画像処理方法のシステム構造を概略的に示している。 本開示の一実施例による画像処理方法の概略図を概略的に示している。 本開示の一実施例による画像処理方法のタイミングチャートを概略的に示している。 本開示の一実施例による画像処理装置のブロック図を概略的に示している。 本開示の実施例を実現するための画像処理を実行するための電子機器のブロック図である。
以下、図面を参照して本開示の例示的な実施例を説明する。ここで、より理解しやすいために本開示の実施例の様々な詳細は含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば、ここで記載される実施例に対して様々な変更・修正を行うことができ、本開示の範囲及び精神から逸脱することはないと分かるべきである。同様に、明確かつ簡潔に説明するために、以下の記載において周知の機能や構成に対する説明を省略する。
ここで使用した用語は、単に具体的な実施例を説明するためのものに過ぎず、本開示を限定することを意図しない。ここで使用した「含む」、「含まれる」などの用語は、前記特徴、ステップ、操作及び／又は部品の存在を表すが、１つ又は複数の他の特徴、ステップ、操作又は部品の存在や、追加を除外しない。
ここで使用したすべての用語（技術及び科学用語を含む）は、別途定義しない限り、当業者が通常に理解した意味を持つ。ここで使用した用語は、本明細書のコンテキストと一致する意味を持つと解釈すべきであり、理想化又は硬すぎる方式で解釈すべきではないことに留意すべきである。
「Ａと、Ｂと、Ｃなどの少なくとも１つ」といった表現を使用する場合、一般的に当業者が通常に理解したこの表現の意味で解釈すべきである（例えば、「Ａと、Ｂと、Ｃとの少なくとも１つを有するシステム」は、単にＡを有する、単にＢを有する、単にＣを有する、ＡとＢとを有する、ＡとＣとを有する、ＢとＣとを有する、及び／又はＡと、Ｂと、Ｃとを有するシステムなどを含むが、これらに限られない）。
本開示の実施例は、元画像に対して画像処理を行って、元画像の輝度に対する成分画像を得て、元画像と成分画像との少なくとも一方を処理対象画像として特定する画像処理方法を提供している。その後、処理対象画像における画素を分類して、分類結果を得て、分類結果に基づいて処理対象画像を処理して、目標画像を得る。続いて、目標画像に基づいて、元画像の画像品質を特定する。
図１は、本開示の一実施例による画像処理方法及び装置の適用シーンを概略的に示している。当業者が本開示の技術内容を理解することに役立つように、図１に示すのは単に本開示の実施例を適用可能な適用シーンの例示であるが、本開示の実施例が他の機器、システム、環境又はシーンに適用できないことを意味しないことに留意すべきである。
図１に示すように、本開示の適用シーン１００は、例えば、複数のカメラ１１０、１２０を含む。
複数のカメラ１１０、１２０は、例えば、ビデオストリームを収集するために用いられ、ビデオストリームにおける画像フレームを識別することで交通状況を得ることができる。複数のカメラ１１０、１２０は、路面機器に実装されてもよく、自動運転車両に実装され、自動運転車両の運転中にビデオストリームをリアルタイムに収集してもよい。
幾つかの場面で、例えば、風吹き、降雨、凍結などの様々な外部環境の原因で、カメラによって収集されたビデオストリームに異常が発生し、例えば、ビデオストリームにおける画像フレームにノイズポイント、ボケ、遮蔽、色ずれ又は輝度異常などが発生し、それによって画像品質が悪くなってしまう。画像品質の悪いビデオストリームに基づいて識別する時、交差点の車両、ナンバープレート、歩行者などの交通状況を正確に識別することが困難である。
したがって、本開示の実施例は、画像識別の方式で画像品質を特定することにより、画像品質に基づいてカメラによる撮影に異常があるか否かをタイムリーに検出するものであり、人工巡検の方式でカメラの撮影異常を検出することに比べて、本開示の実施例はカメラのメンテナンスコストを低減した。
本開示の実施例は、画像処理方法を提供しており、以下に図１の適用シーンに合わせて、図２～図８を参照しながら本開示の例示的な実施形態による画像処理方法を説明する。
図２は、本開示の一実施例による画像処理方法のフローチャートを概略的に示している。
図２に示すように、本開示の実施例の画像処理方法２００は、例えば、操作Ｓ２１０～操作Ｓ２５０を含んでよい。
操作Ｓ２１０において、元画像に対して画像処理を行って、元画像の輝度に対する成分画像を得る。
操作Ｓ２２０において、元画像と成分画像との少なくとも一方を処理対象画像として特定する。
操作Ｓ２３０において、処理対象画像における画素を分類して、分類結果を得る。
操作Ｓ２４０において、分類結果に基づいて処理対象画像を処理して、目標画像を得る。
操作Ｓ２５０において、目標画像に基づいて、元画像の画像品質を特定する。
例示的に、元画像は、例えばカメラによって収集された画像である。元画像は、例えば色相、飽和度、輝度などの情報を含み、元画像を処理することで、元画像の輝度に対する成分画像を得る。その後、元画像と成分画像とを対比して対比結果を得て、対比結果は例えば画像の前景情報及び背景情報を含み、対比結果に応じて元画像及び成分画像から処理対象画像を特定する。
続いて、処理対象画像における各画素を分類して、複数のカテゴリを含む分類結果を得て、その後、分類結果に基づいて処理対象画像を処理して、目標画像を得る。目標画像が得られた後、目標画像に基づいて元画像の画像品質を特定することができる。画像品質は例えば元画像の画面が遮蔽されているか否かを表す。
本開示の実施例によれば、元画像の輝度に対する成分画像を取得してから、元画像又は成分画像における画素を分類して目標画像を得て、最後に目標画像に基づいて元画像の画像品質を特定することで、画像品質の検出効果及び正確性を向上させ、検出コストを低減した。
図３は、本開示の一実施例による画像処理方法の概略図を概略的に示している。
図３に示すように、本開示の実施例３００によれば、例えば元画像３１０をＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖａｌｕｅ）色空間へ変換して、複数の成分画像を得て、その後、複数の成分画像から輝度に対する成分画像３２０を特定してよい。
例示的に、ＨＳＶ色空間は、例えばＲＧＢ色空間におけるポイントを円柱座標系に示す。元画像３１０は、ＨＳＶ色空間において、色相（Ｈｕｅ）に対する成分画像、飽和度（Ｓａｔｕｒａｔｉｏｎ）に対する成分画像、輝度（Ｖａｌｕｅ）に対する成分画像を含む。複数の成分画像から輝度（Ｖａｌｕｅ）に対する成分画像３２０を特定する。成分画像３２０は輝度情報に対してより敏感であるので、成分画像３２０に基づいて前景情報と背景情報とをよりよく区別できる場合がある。
輝度に対する成分画像３２０が得られた後、元画像３１０及び成分画像３２０のいずれか１つを処理対象画像として選択してよい。
例えば、元画像３１０の前景情報と背景情報との間の第１の相違度を特定し、第１の相違度が大きいほど、前景情報と背景情報との区別がより明らかになることを表す。元画像３１０において、前景情報は例えば遮蔽されている部分（黒色部分）の画像情報を含み、背景情報は例えば遮蔽されていない部分の画像情報を含む。
例えば、成分画像３２０の前景情報と背景情報との間の第２の相違度を特定し、第２の相違度が大きいほど、前景情報と背景情報との区別がより明らかになることを表す。成分画像３２０において、前景情報は例えば遮蔽されている部分（黒色部分）の画像情報を含み、背景情報は例えば遮蔽されていない部分の画像情報を含む。
その後、第１の相違度と第２の相違度とに基づいて、元画像３１０又は成分画像３２０を処理対象画像として特定する。例えば、第１の相違度が第２の相違度より大きい場合、元画像３１０を処理対象画像としてよい。第２の相違度が第１の相違度より大きい場合、成分画像３２０を処理対象画像としてよい。
本開示の実施例によれば、前景情報と背景情報との間の相違に基づいて、元画像及び成分画像から前景情報と背景情報との相違度が大きい画像を処理対象画像として選択し、相違度が大きいほど、前景情報と背景情報との区別がより明らかになり、それにより後続の処理対象画像に対する処理の正確性を向上させる。
図４は、本開示の別の実施例による画像処理方法の概略図を概略的に示している。
図４に示すように、本開示の実施例４００によれば、処理対象画像が得られた後、処理対象画像における画素を分類して、分類結果を得ることができる。
例えば、処理対象画像における各画素に対して、この画素の画素値が閾値より大きい場合、画素を第１のグループに割り当ててよい。この画素の画素値が閾値以下である場合、画素を第２のグループに割り当ててよく、その後、第１のグループと第２のグループとを分類結果とする。閾値は例えば１０、２０などを含む。
第１のグループと第２のグループとが得られた後、処理対象画像における第１のグループに属する画素の画素値を第１のスコアに設定してよい。処理対象画像における第２のグループに属する画素の画素値を第２のスコアに設定する。第１のスコアは例えば０であり、第２のスコアは例えば２５５である。
その後、第１のスコアと第２のスコアとに基づいて、処理対象画像から目標画像４１０を得る。目標画像４１０は、例えば二値化画像であり、二値化画像における画素値が０である部分は、例えば前景部分であり、画素値が２５５である部分は、例えば背景部分である。
本開示の実施例によれば、処理対象画像を二値化処理して目標画像を得ることで、目標画像における前景部分と背景部分との区別がより明らかになり、後続の目標画像に対する処理精度を向上させる。
図５は、本開示の別の実施例による画像処理方法の概略図を概略的に示している。
図５に示すように、本開示の実施例５００によれば、目標画像が得られた後、目標画像における各画素が属する第１のスコア又は第２のスコアに基づいて、元画像５１０の連通領域５１１を特定することができる。例えば、元画像５１０における各画素に対して、この画素が目標画像の第１のスコアに対応するか、又は第２のスコアに対応するかことに応じて連通領域５１１を特定する。元画像５１０の連通領域５１１における各画素は、例えば目標画像の第２のスコア（２５５）に対応する。図５には灰色領域で連通領域５１１を示す。
元画像５１０における連通領域５１１が特定された後、連通領域５１１に基づいて元画像５１０の画像品質を特定することができ、連通領域５１１は例えば元画像５１０における遮蔽されている部分である。
例えば、連通領域の領域面積と元画像の画像面積との間の比率に基づいて、元画像の遮蔽率を特定することができる。その後、遮蔽率に基づいて元画像の画像品質を特定する。遮蔽率が高いほど、画像品質が悪いことを表すことができる。
本開示の実施例によれば、処理対象画像に対して二値化処理を行って目標画像を得た後、目標画像に基づいて元画像における連通領域を確認し、その後、連通領域の領域面積と元画像の画像面積との間の比率に基づいて遮蔽率を特定することで、遮蔽率に基づいて画像品質を特定する。これにより分かるように、本開示の実施例によって、画像品質の検出効果及び正確性を向上させ、検出コストを低減することができる。
本開示の別の例において、元画像のボケ程度、色ずれ程度、輝度異常程度などの情報を特定することで、元画像の画像品質を特定してもよい。例示的に、本開示の実施例は、元画像の遮蔽程度、ボケ程度、色ずれ程度、輝度異常程度に基づいて、総合的に元画像の画像品質を特定してもよい。
１つの例において、元画像のボケ程度について、参考画像なしの鮮明度評価方法を採用し、Ｂｒｅｎｎｅｒ勾配関数を用いて隣接する２つの画素の階調差の二乗を算出してよく、このＢｒｅｎｎｅｒ勾配関数は例えば式（１）のように定義される。
Figure 2023002768000002
ただし、ｆ(ｘ， ｙ)は、元画像ｆの対応画素点(ｘ，ｙ)の階調値を表し、Ｄ（ｆ）は、元画像鮮明度（分散）の算出結果である。
元画像の画素毎に分散Ｄ（ｆ）を算出することで、すべての画素による累積分散を得る。累積分散が所定閾値より小さい場合、元画像の画像品質が悪く、即ち、元画像がぼやけていると判定する。
別の例において、元画像の色ずれ程度について、元画像がＲＧＢカラー画像である場合、ＲＧＢカラー画像をＣＩＥ Ｌ*ａ*ｂ*空間へ変換し、ただし、Ｌ*は画像輝度を表し、ａ*は画像の赤／緑成分を表し、ｂ*は画像の黄／青成分を表す。通常、色ずれがある画像は、ａ*及びｂ*成分での平均値が原点から遠く離れており、分散も比較的に小さい。したがって、画像のａ*及びｂ*成分での平均値及び分散を算出し、平均値及び分散に基づけば、画像に色ずれがあるか否かを評価できる。
Figure 2023002768000003
Figure 2023002768000004
Figure 2023002768000005
Figure 2023002768000006
Ｋ＝Ｄ／Ｍ （６）
ただし、画像のａ*及びｂ*成分での平均値はそれぞれｄａ、ｄｂであり、画像のａ*及びｂ*成分での分散はそれぞれＭａ、Ｍｂである。
ただし、式（２）－（６）において、ｍ、ｎはそれぞれ画像の幅及び高さであり、画素を単位とする。ａ－ｂ彩度平面において、円相当の中心座標は(ｄａ，ｄｂ)であり、半径は Ｍである。円相当の中心からａ－ｂ彩度平面の中性軸原点(ａ＝０，ｂ＝０)までの距離はＤである。円相当のａ－ｂ彩度平面における具体的な位置から、画像全体の色ずれを判断する。ｄｂ＞０の場合、画像が赤っぽくなり、そうでなければ、緑っぽくなる。ｄｂ＞０の場合、画像が黄っぽくなり、そうでなければ、青っぽくなる。色ずれ因子Ｋの値が大きいほど、画像の色ずれ程度が大きいことを表す。
別の例において、元画像の輝度異常程度について、元画像が階調画像である場合、式（７）－（１１）によって階調画像の平均値ｄａ及び平均差Ｍａを算出する。画像に輝度異常がある場合、平均値が平均値ポイント（平均値ポイントは、例えば１２８とすることができる）からずれており、平均差も比較的小さくなる。画像の平均値及び平均差を算出することで、平均値及び平均差に基づいて画像にオーバー露光又はアンダー露光の状況があるか否かを評価することができる。
Figure 2023002768000007
Figure 2023002768000008
Figure 2023002768000009
Figure 2023002768000010
Ｋ＝Ｄ／Ｍ （１１）
式（７）におけるｘiは、元画像におけるｉ個目の画素の画素値であり、Ｎは、元画像における画素の総数であり、式（９）におけるＨｉｓｔ[i]は、元画像における画素値がｉの画素数である。
輝度因子Ｋが所定閾値より小さい場合、画像の輝度が正常である。輝度因子が所定閾値以上である場合、画像の輝度が異常である。具体的に、輝度因子が所定閾値以上である場合、さらに平均値ｄａを判断し、平均値ｄａが０より大きい場合、画像輝度が比較的明るくなり、平均値ｄａが０以下である場合、画像の輝度が比較的暗くなる。
図６は、本開示の一実施例による画像処理方法のシステム構造を概略的に示している。
図６に示すように、ビデオ画像品質診断のシステム構造６００は、例えば、ストリーミング・メディアプラットフォーム６１０、ＷＥＢ設定管理システム６２０、診断タスクスケジューリングサーバ６３０、監視センター６４０、及び画像品質診断サーバ６５０を含む。
ストリーミング・メディアプラットフォーム６１０は、例えば、シグナリングサーバ及びストリーミング・メディアクラスタを含み、ストリーミング・メディアプラットフォーム６１０はビデオストリームを取得するために用いられ、ビデオストリームには診断対象画像が含まれる。
ＷＥＢ設定管理システム６２０は診断タスクを管理するために用いられ、診断タスクは、例えば、ビデオストリームにおける画像に対して画像品質診断を行うことを含む。
診断タスクスケジューリングサーバ６３０は、診断タスクをスケジューリングするために用いられ、データベースを含み、データベースはタスク情報を記憶するために用いられる。
監視センター６４０は、診断タスクスケジューリングサーバ６３０におけるタスク実行の状況を監視するために用いられる。
画像品質診断サーバ６５０は、診断タスクスケジューリングサーバ６３０が配るタスクに応じて、ストリーミング・メディアプラットフォーム６１０からビデオストリームを取得し、ビデオストリームにおける画像に対して画像品質診断を行って、診断タスクスケジューリングサーバ６３０にタスク処理の状態を報告する。
図７は、本開示の一実施例による画像処理方法の概略図を概略的に示している。
図７に示すように、本開示の実施例によれば、例えば、ストリーミング・メディアプラットフォーム７１０、ビデオ画像品質診断システム７２０、及び監視プラットフォーム７３０を含む。
ストリーミング・メディアプラットフォーム７１０はビデオストリームを生成するために用いられる。
ビデオ画像品質診断システム７２０は、例えば、スケジューリングサーバ、診断サーバ、登録センターを含む。スケジューリングサーバは、ストリーミング・メディアプラットフォーム７１０にビデオストリームを取得するリクエストを送信してよい。スケジューリングサーバは、診断サーバに診断サブタスクを配っても良い。診断サーバは、診断サブタスクを完了した後、スケジューリングサーバにサブタスク診断結果を報告する。診断サーバは、登録センターに登録してよい。スケジューリングサーバは、負荷ポリシーに応じて診断ノードを選択することで、診断ノードに応じて診断サブタスクを配ってもよい。スケジューリングサーバは、異常の診断タスクを監視プラットフォーム７３０に報告してもよい。
監視プラットフォーム７３０は、診断タスクの状態を監視するために用いられる。
図８は、本開示の一実施例による画像処理方法のタイミングチャートを概略的に示している。
図８に示すように、本開示の実施例によれば、例えば、スケジューリングサーバ８１０、登録センター８２０、診断サーバ８３０、ストリーミング・メディアプラットフォーム８４０、及び監視プラットフォーム８５０を含む。
スケジューリングサーバ８１０がユーザからのタスク起動リクエストを受信した後、登録センター８２０へ診断サーバを利用可能なノードを取り込む。登録センター８２０は、診断ノードリストをスケジューリングサーバ８１０に返送する。スケジューリングサーバ８１０は、ノードリストに基づいて、負荷ポリシーに応じて動作ノードを選択する。
スケジューリングサーバ８１０は、動作ノードを選択した後、診断サーバ８３０に診断サブタスクを配って、診断サーバ８３０は、配る結果をフィードバックする。スケジューリングサーバ８１０は、配る結果を受信した後、ユーザにタスク起動結果をフィードバックする。
診断サーバ８３０は、予定の時間内に診断タスクを繰り返し実行する。例えば、診断サーバ８３０は、ストリーミング・メディアプラットフォーム８４０にビデオストリームを抽出するリクエストを送信し、ストリーミング・メディアプラットフォーム８４０は、診断サーバ８３０にリアルタイムビデオストリームを返送し、その後、診断サーバ８３０がビデオストリームに基づいて画像品質の診断タスクを実行し、スケジューリングサーバ８１０にビデオ画像異常診断結果を返送する。
スケジューリングサーバ８１０は、ビデオ画像異常診断結果を受信した後、監視プラットフォーム８５０に異常情報を報告してよい。
図９は、本開示の一実施例による画像処理装置のブロック図を概略的に示している。
図９に示すように、本開示の実施例の画像処理装置９００は、例えば第１の処理モジュール９１０、第１の特定モジュール９２０、分類モジュール９３０、第２の処理モジュール９４０、及び第２の特定モジュール９５０を含む。
第１の処理モジュール９１０は、元画像に対して画像処理を行って、元画像の輝度に対する成分画像を得るために用いられる。本開示の実施例によれば、第１の処理モジュール９１０は、例えば前文で図２を参照して説明した操作Ｓ２１０を実行することができるので、ここでその説明を繰り返さない。
第１の特定モジュール９２０は、元画像と成分画像との少なくとも一方を処理対象画像として特定するために用いられる。本開示の実施例によれば、第１の特定モジュール９２０は、例えば前文で図２を参照して説明した操作Ｓ２２０を実行することができるので、ここでその説明を繰り返さない。
分類モジュール９３０は、処理対象画像における画素を分類して、分類結果を得るために用いられる。本開示の実施例によれば、分類モジュール９３０は、例えば前文で図２を参照して説明した操作Ｓ２３０を実行することができるので、ここでその説明を繰り返さない。
第２の処理モジュール９４０は、分類結果に基づいて処理対象画像を処理して、目標画像を得るために用いられる。本開示の実施例によれば、第２の処理モジュール９４０は、例えば前文で図２を参照して説明した操作Ｓ２４０を実行してよく、ここで説明を繰り返さない。
第２の特定モジュール９５０は、目標画像に基づいて、元画像の画像品質を特定するために用いられる。本開示の実施例によれば、第２の特定モジュール９５０は、例えば前文で図２を参照して説明した操作Ｓ２５０を実行してよく、ここで説明を繰り返さない。
本開示の実施例によれば、処理対象画像における各画素に対して、分類モジュール９３０は、第１の割当サブモジュール、第２の割当サブモジュール、及び第１の特定サブモジュールを含む。第１の割当サブモジュールは、画素の画素値が閾値より大きいことに応じて、画素を第１のグループに割り当てるために用いられる。第２の割当サブモジュールは、画素の画素値が閾値以下であることに応じて、画素を第２のグループに割り当てるために用いられる。第１の特定サブモジュールは、第１のグループと第２のグループとを分類結果とするために用いられる。
本開示の実施例によれば、第２の処理モジュール９４０は、第１の設定サブモジュール、第２の設定サブモジュール、及び取得サブモジュールを含む。第１の設定サブモジュールは、第１のグループにおける画素の画素値を第１のスコアに設定するために用いられる。第２の設定サブモジュールは、第２のグループにおける画素の画素値を第２のスコアに設定するために用いられる。取得サブモジュールは、第１のスコアと第２のスコアとに基づいて、目標画像を得るために用いられる。
本開示の実施例によれば、第２の特定モジュール９５０は、第２の特定サブモジュールと第３の特定サブモジュールとを含む。第２の特定サブモジュールは、目標画像に基づいて、元画像の連通領域を特定するために用いられる。第３の特定サブモジュールは、連通領域に基づいて、元画像の画像品質を特定するために用いられる。
本開示の実施例によれば、第３の特定サブモジュールは、第１の特定手段と第２の特定手段とを含む。第１の特定手段は、連通領域の領域面積と元画像の画像面積との間の比率に基づいて、元画像の遮蔽率を特定するために用いられる。第２の特定手段は、遮蔽率に基づいて、元画像の画像品質を特定するために用いられる。
本開示の実施例によれば、第１の特定モジュール９２０は、第４の特定サブモジュール、第５の特定サブモジュール、及び第６の特定サブモジュールを含む。第４の特定サブモジュールは、元画像の前景情報と背景情報との間の第１の相違度を特定するために用いられる。第５の特定サブモジュールは、成分画像の前景情報と背景情報との間の第２の相違度を特定するために用いられる。第６の特定サブモジュールは、第１の相違度と第２の相違度とに基づいて、元画像又は成分画像を処理対象画像として特定するために用いられる。
本開示の実施例によれば、第１の処理モジュール９１０は、変換サブモジュールと第７の特定サブモジュールとを含む。変換サブモジュールは、元画像をＨＳＶ色空間へ変換して、複数の成分画像を得るために用いられる。第７の特定サブモジュールは、複数の成分画像から輝度に対する成分画像を特定するために用いられる。
本開示の技術案では、係られたユーザ個人情報の収集、記憶、使用、加工、伝送、提供、及び開示などの処理は、いずれも関連法律や法規の規定に合致しており、公序良俗に反していない。
本開示の実施例によれば、本開示は、電子機器、読取可能な記憶媒体、及びコンピュータプログラムをさらに提供している。
図１０は、本開示の実施例を実現するための画像処理を実行するための電子機器のブロック図である。
図１０は、本開示の実施例を実現するための例示的な電子機器１０００の概略的ブロック図を示している。電子機器１０００は、様々な形式のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ及び他の適切なコンピュータである。電子機器は、さらに様々な形式の移動装置を示してもよく、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブル機器及び他の類似の演算装置である。本明細書に示された部材、それらの接続及び関係、並びにそれらの機能は、例示に過ぎず、本明細書に記載された及び／又は要求された本開示の実現を限定しない。
図１０に示すように、機器１０００は、計算手段１００１を含み、計算手段１００１は、リードオンリーメモリ（ＲＯＭ）１００２に記憶されたコンピュータプログラム又は記憶手段１００８からランダムアクセスメモリ（ＲＡＭ）１００３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行してもよい。ＲＡＭ１００３には、さらに機器１０００の操作に必要な様々なプログラム及びデータを記憶してもよい。計算手段１００１、ＲＯＭ１００２、及びＲＡＭ１００３は、バス１００４を介して相互に接続される。入出力（Ｉ／Ｏ）インターフェース１００５も、バス１００４に接続される。
機器１０００における複数の部品は、Ｉ／Ｏインターフェース１００５に接続され、例えばキーボード、マウス等の入力手段１００６と、例えば様々な種類のディスプレイ、スピーカ等の出力手段１００７と、例えば磁気ディスク、光ディスク等の記憶手段１００８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信手段１００９とを含む。通信手段１００９は、機器１０００がインターネット等のコンピュータネットワーク及び／又は各種の電気ネットワークを介して他の機器と情報・データをやり取りすることを可能にする。
計算手段１００１は、処理及び演算能力を有する各種の汎用及び／又は専用の処理モジュールであってもよい。計算手段１００１の幾つかの例として、中央処理ユニット（ＣＰＵ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、各種専用の人工知能（ＡＩ）演算チップ、各種機械学習モデルアルゴリズムをランニングする演算ユニット、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されない。計算手段１００１は、前文で記載された各方法及び処理、例えば画像処理方法を実行する。例えば、幾つかの実施例において、画像処理方法は、例えば記憶手段１００８のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ １００２及び／又は通信手段１００９を介して機器１０００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ１００３にロードされて計算手段１００１により実行される場合、前文に記載の画像処理方法の１つ又は複数のステップを実行してもよい。代替的に、他の実施例において、計算手段１００１は、他の任意の適切な方式（例えば、ファームウェアを介する）により画像処理方法を実行するように構成されてもよい。
本明細書で以上に説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラムマブルロジックデバイス （ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実施され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラムマブルプロセッサを含むプログラムマブルシステムで実行され及び／又は解釈されることが可能であり、該プログラムマブルプロセッサは、専用又は汎用のプログラムマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができることを含んでもよい。
本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び／又はブロック図に規定された機能・操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。
本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んで又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、１つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ-ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。
ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かついかなる形式（音声入力、語音入力又は、触覚入力を含む）でユーザからの入力を受信してもよい。
ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。
コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント-サーバの関係を有するコンピュータプログラムによって生成される。サーバは、クラウドサーバであってもよく、分散型システムのサーバであってもよく、又はブロックチェーンを組合せたサーバであってもよい。
理解されるべきこととして、以上に示された様々な形式のフローを使用してもよく、操作を改めてソーティングしたり、追加したり又は削除してもよい。例えば、本開示に記載の各操作は、並列に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示の発明の所望の結果を実現することができれば、本明細書はここで限定されない。
以上説明した画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラムは、以下のように表現することができる。
第１態様の画像処理方法は、
元画像に対して画像処理を行って、前記元画像の輝度に対する成分画像を得ることと、
前記元画像と前記成分画像との少なくとも一方を処理対象画像として特定することと、
前記処理対象画像における画素を分類して、分類結果を得ることと、
前記分類結果に基づいて前記処理対象画像を処理して、目標画像を得ることと、
前記目標画像に基づいて、前記元画像の画像品質を特定することと、を含む。
第２態様の画像処理方法は、
第１態様に記載の画像処理方法であって、
前記処理対象画像における画素を分類して、分類結果を得ることは、前記処理対象画像における各画素に対して、
前記画素の画素値が閾値より大きいことに応じて、前記画素を第１のグループに割り当てることと、
前記画素の画素値が前記閾値以下であることに応じて、前記画素を第２のグループに割り当てることと、
前記第１のグループと前記第２のグループとを前記分類結果とすることと、を含む。
第３態様の画像処理方法は、
第２態様に記載の画像処理方法であって、
前記分類結果に基づいて前記処理対象画像を処理して、目標画像を得ることは、
前記第１のグループにおける画素の画素値を第１のスコアに設定することと、
前記第２のグループにおける画素の画素値を第２のスコアに設定することと、
前記第１のスコアと前記第２のスコアとに基づいて、前記目標画像を得ることと、を含む。
第４態様の画像処理方法は、
第３態様に記載の画像処理方法であって、
前記目標画像に基づいて、前記元画像の画像品質を特定することは、
前記目標画像に基づいて、前記元画像の連通領域を特定することと、
前記連通領域に基づいて、前記元画像の画像品質を特定することと、を含む。
第５態様の画像処理方法は、
第４態様に記載の画像処理方法であって、
前記連通領域に基づいて、前記元画像の画像品質を特定することは、
前記連通領域の領域面積と前記元画像の画像面積との間の比率に基づいて、前記元画像の遮蔽率を特定することと、
前記遮蔽率に基づいて、前記元画像の画像品質を特定することと、を含む。
第６態様の画像処理方法は、
第１～５態様の何れか１つに記載の画像処理方法であって、
前記元画像と前記成分画像との少なくとも一方を処理対象画像として特定することは、
前記元画像の前景情報と背景情報との間の第１の相違度を特定することと、
前記成分画像の前景情報と背景情報との間の第２の相違度を特定することと、
前記第１の相違度と前記第２の相違度とに基づいて、前記元画像又は前記成分画像を前記処理対象画像として特定することと、を含む。
第７態様の画像処理方法は、
第１～６態様の何れか１つに記載の画像処理方法であって、
元画像に対して画像処理を行って、前記元画像の輝度に対する成分画像を得ることは、
前記元画像をＨＳＶ色空間へ変換して、複数の成分画像を得ることと、
前記複数の成分画像から輝度に対する成分画像を特定することと、を含む。
第８態様の画像処理装置は、
元画像に対して画像処理を行って、前記元画像の輝度に対する成分画像を得るための第１の処理モジュールと、
前記元画像と前記成分画像との少なくとも一方を処理対象画像として特定するための第１の特定モジュールと、
前記処理対象画像における画素を分類して、分類結果を得るための分類モジュールと、
前記分類結果に基づいて前記処理対象画像を処理して、目標画像を得るための第２の処理モジュールと、
前記目標画像に基づいて、前記元画像の画像品質を特定するための第２の特定モジュールと、を含む。
第９態様の画像処理装置は、
第８態様に記載の画像処理装置であって、
前記分類モジュールは、
前記処理対象画像における各画素に対して、前記画素の画素値が閾値より大きいことに応じて、前記画素を第１のグループに割り当てるための第１の割当サブモジュールと、
前記処理対象画像における各画素に対して、前記画素の画素値が前記閾値以下であることに応じて、前記画素を第２のグループに割り当てるための第２の割当サブモジュールと、
前記第１のグループと前記第２のグループとを前記分類結果とするための第１の特定サブモジュールと、を含む。
第１０態様の画像処理装置は、
第９態様に記載の画像処理装置であって、
前記第２の処理モジュールは、
前記第１のグループにおける画素の画素値を第１のスコアに設定するための第１の設定サブモジュールと、
前記第２のグループにおける画素の画素値を第２のスコアに設定するための第２の設定サブモジュールと、
前記第１のスコアと前記第２のスコアとに基づいて、前記目標画像を得るための取得サブモジュールと、を含む。
第１１態様の画像処理装置は、
第１０態様に記載の画像処理装置であって、
第２の特定モジュールは、
前記目標画像に基づいて、前記元画像の連通領域を特定するための第２の特定サブモジュールと、
前記連通領域に基づいて、前記元画像の画像品質を特定するための第３の特定サブモジュールと、を含む。
第１２態様の画像処理装置は、
第１１態様に記載の画像処理装置であって、
前記第３の特定サブモジュールは、
前記連通領域の領域面積と前記元画像の画像面積との間の比率に基づいて、前記元画像の遮蔽率を特定するための第１の特定手段と、
前記遮蔽率に基づいて、前記元画像の画像品質を特定するための第２の特定手段と、を含む。
第１３態様の画像処理装置は、
第８～１２態様の何れか１つに記載の画像処理装置であって、
前記第１の特定モジュールは、
前記元画像の前景情報と背景情報との間の第１の相違度を特定するための第４の特定サブモジュールと、
前記成分画像の前景情報と背景情報との間の第２の相違度を特定するための第５の特定サブモジュールと、
前記第１の相違度と前記第２の相違度とに基づいて、前記元画像又は前記成分画像を前記処理対象画像として特定するための第６の特定サブモジュールと、を含む。
第１４態様の画像処理装置は、
第８～１３態様の何れか１つに記載の画像処理装置であって、
前記第１の処理モジュールは、
前記元画像をＨＳＶ色空間へ変換して、複数の成分画像を得るための変換サブモジュールと、
前記複数の成分画像から輝度に対する成分画像を特定するための第７の特定サブモジュールと、を含む。
第１５態様の電子機器は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続するメモリとを有する電子機器であって、
前記メモリに、前記少なくとも１つのプロセッサによって実行され得るコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが第１～７態様のいずれか１つに記載の画像処理方法を実行することができる。
第１６態様の記録媒体は、
コンピュータに第１～７態様のいずれか１つに記載の画像処理方法を実行させるためのコンピュータコマンドを記憶している、
非一時的なコンピュータ読取可能な記憶媒体である。
第１７態様のコンピュータプログラムは、
プロセッサにより実行される場合に、第１～７態様のいずれか１つに記載の画像処理方法を実現するコンピュータプログラムである。
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。

Claims (17)

  1. 元画像に対して画像処理を行って、前記元画像の輝度に対する成分画像を得ることと、
    前記元画像と前記成分画像との少なくとも一方を処理対象画像として特定することと、
    前記処理対象画像における画素を分類して、分類結果を得ることと、
    前記分類結果に基づいて前記処理対象画像を処理して、目標画像を得ることと、
    前記目標画像に基づいて、前記元画像の画像品質を特定することと、を含む、
    画像処理方法。
  2. 前記処理対象画像における画素を分類して、分類結果を得ることは、前記処理対象画像における各画素に対して、
    前記画素の画素値が閾値より大きいことに応じて、前記画素を第１のグループに割り当てることと、
    前記画素の画素値が前記閾値以下であることに応じて、前記画素を第２のグループに割り当てることと、
    前記第１のグループと前記第２のグループとを前記分類結果とすることと、を含む、
    請求項１に記載の画像処理方法。
  3. 前記分類結果に基づいて前記処理対象画像を処理して、目標画像を得ることは、
    前記第１のグループにおける画素の画素値を第１のスコアに設定することと、
    前記第２のグループにおける画素の画素値を第２のスコアに設定することと、
    前記第１のスコアと前記第２のスコアとに基づいて、前記目標画像を得ることと、を含む、
    請求項２に記載の画像処理方法。
  4. 前記目標画像に基づいて、前記元画像の画像品質を特定することは、
    前記目標画像に基づいて、前記元画像の連通領域を特定することと、
    前記連通領域に基づいて、前記元画像の画像品質を特定することと、を含む、
    請求項３に記載の画像処理方法。
  5. 前記連通領域に基づいて、前記元画像の画像品質を特定することは、
    前記連通領域の領域面積と前記元画像の画像面積との間の比率に基づいて、前記元画像の遮蔽率を特定することと、
    前記遮蔽率に基づいて、前記元画像の画像品質を特定することと、を含む、
    請求項４に記載の画像処理方法。
  6. 前記元画像と前記成分画像との少なくとも一方を処理対象画像として特定することは、
    前記元画像の前景情報と背景情報との間の第１の相違度を特定することと、
    前記成分画像の前景情報と背景情報との間の第２の相違度を特定することと、
    前記第１の相違度と前記第２の相違度とに基づいて、前記元画像又は前記成分画像を前記処理対象画像として特定することと、を含む、
    請求項１～５の何れか一項に記載の画像処理方法。
  7. 元画像に対して画像処理を行って、前記元画像の輝度に対する成分画像を得ることは、
    前記元画像をＨＳＶ色空間へ変換して、複数の成分画像を得ることと、
    前記複数の成分画像から輝度に対する成分画像を特定することと、を含む、
    請求項１～５の何れか一項に記載の画像処理方法。
  8. 元画像に対して画像処理を行って、前記元画像の輝度に対する成分画像を得るための第１の処理モジュールと、
    前記元画像と前記成分画像との少なくとも一方を処理対象画像として特定するための第１の特定モジュールと、
    前記処理対象画像における画素を分類して、分類結果を得るための分類モジュールと、
    前記分類結果に基づいて前記処理対象画像を処理して、目標画像を得るための第２の処理モジュールと、
    前記目標画像に基づいて、前記元画像の画像品質を特定するための第２の特定モジュールと、を含む、
    画像処理装置。
  9. 前記分類モジュールは、
    前記処理対象画像における各画素に対して、前記画素の画素値が閾値より大きいことに応じて、前記画素を第１のグループに割り当てるための第１の割当サブモジュールと、
    前記処理対象画像における各画素に対して、前記画素の画素値が前記閾値以下であることに応じて、前記画素を第２のグループに割り当てるための第２の割当サブモジュールと、
    前記第１のグループと前記第２のグループとを前記分類結果とするための第１の特定サブモジュールと、を含む、
    請求項８に記載の画像処理装置。
  10. 前記第２の処理モジュールは、
    前記第１のグループにおける画素の画素値を第１のスコアに設定するための第１の設定サブモジュールと、
    前記第２のグループにおける画素の画素値を第２のスコアに設定するための第２の設定サブモジュールと、
    前記第１のスコアと前記第２のスコアとに基づいて、前記目標画像を得るための取得サブモジュールと、を含む、
    請求項９に記載の画像処理装置。
  11. 第２の特定モジュールは、
    前記目標画像に基づいて、前記元画像の連通領域を特定するための第２の特定サブモジュールと、
    前記連通領域に基づいて、前記元画像の画像品質を特定するための第３の特定サブモジュールと、を含む、
    請求項１０に記載の画像処理装置。
  12. 前記第３の特定サブモジュールは、
    前記連通領域の領域面積と前記元画像の画像面積との間の比率に基づいて、前記元画像の遮蔽率を特定するための第１の特定手段と、
    前記遮蔽率に基づいて、前記元画像の画像品質を特定するための第２の特定手段と、を含む、
    請求項１１に記載の画像処理装置。
  13. 前記第１の特定モジュールは、
    前記元画像の前景情報と背景情報との間の第１の相違度を特定するための第４の特定サブモジュールと、
    前記成分画像の前景情報と背景情報との間の第２の相違度を特定するための第５の特定サブモジュールと、
    前記第１の相違度と前記第２の相違度とに基づいて、前記元画像又は前記成分画像を前記処理対象画像として特定するための第６の特定サブモジュールと、を含む、
    請求項８～１２の何れか一項に記載の画像処理装置。
  14. 前記第１の処理モジュールは、
    前記元画像をＨＳＶ色空間へ変換して、複数の成分画像を得るための変換サブモジュールと、
    前記複数の成分画像から輝度に対する成分画像を特定するための第７の特定サブモジュールと、を含む、
    請求項８～１２の何れか一項に記載の画像処理装置。
  15. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信接続するメモリとを有する電子機器であって、
    前記メモリに、前記少なくとも１つのプロセッサによって実行され得るコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが請求項１～５のいずれか一項に記載の画像処理方法を実行することができる、
    電子機器。
  16. コンピュータに請求項１～５のいずれか一項に記載の画像処理方法を実行させるためのコンピュータコマンドを記憶している、
    非一時的なコンピュータ読取可能な記憶媒体。
  17. プロセッサにより実行される場合に、請求項１～５のいずれか一項に記載の画像処理方法を実現するコンピュータプログラム。
JP2022172156A 2021-10-27 2022-10-27 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム Active JP7429756B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111259248.6A CN113963321B (zh) 2021-10-27 2021-10-27 图像处理方法、装置、电子设备和介质
CN202111259248.6 2021-10-27

Publications (2)

Publication Number Publication Date
JP2023002768A true JP2023002768A (ja) 2023-01-10
JP7429756B2 JP7429756B2 (ja) 2024-02-08

Family

ID=79467675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022172156A Active JP7429756B2 (ja) 2021-10-27 2022-10-27 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム

Country Status (4)

Country Link
US (1) US20230049656A1 (ja)
JP (1) JP7429756B2 (ja)
KR (1) KR20220151583A (ja)
CN (1) CN113963321B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495103B (zh) * 2022-01-28 2023-04-04 北京百度网讯科技有限公司 文本识别方法、装置、电子设备和介质
CN115937050B (zh) * 2023-03-02 2023-10-13 图兮数字科技(北京)有限公司 图像处理方法、装置、电子设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3787823B2 (ja) * 1997-07-31 2006-06-21 ソニー株式会社 画像処理装置および画像処理方法
JP2000042499A (ja) 1998-08-03 2000-02-15 Sumitomo Metal Ind Ltd 異物除去装置
JP4196124B2 (ja) 2003-08-29 2008-12-17 株式会社ニコン 撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置
JP2010014494A (ja) 2008-07-02 2010-01-21 Denso Corp 異物検出装置、異物検出プログラム、異物除去装置、および車載通信装置
JP2014194706A (ja) * 2013-03-29 2014-10-09 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
CN103488987B (zh) * 2013-10-15 2017-04-19 浙江宇视科技有限公司 一种基于视频检测交通信号灯的方法及装置
EP3570543A4 (en) * 2017-01-12 2019-12-25 Sony Corporation IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
JP2019129446A (ja) 2018-01-25 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN109741313B (zh) * 2018-12-29 2023-08-22 南京信息工程大学 独立成分分析和卷积神经网络的无参考图像质量评价方法
CN112766137B (zh) 2021-01-14 2023-02-10 华南理工大学 一种基于深度学习的动态场景异物入侵检测方法
CN112991308B (zh) * 2021-03-25 2023-11-24 北京百度网讯科技有限公司 一种图像质量的确定方法、装置、电子设备和介质

Also Published As

Publication number Publication date
CN113963321A (zh) 2022-01-21
CN113963321B (zh) 2023-08-04
US20230049656A1 (en) 2023-02-16
JP7429756B2 (ja) 2024-02-08
KR20220151583A (ko) 2022-11-15

Similar Documents

Publication Publication Date Title
JP7429756B2 (ja) 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN112801164B (zh) 目标检测模型的训练方法、装置、设备及存储介质
WO2021036636A1 (zh) 升降设备的振动检测方法、装置、服务器及存储介质
US9830736B2 (en) Segmenting objects in multimedia data
CN103440117B (zh) 视频图像处理的方法及系统
CN112949767B (zh) 样本图像增量、图像检测模型训练及图像检测方法
CN112863187B (zh) 感知模型的检测方法、电子设备、路侧设备和云控平台
CN112270309A (zh) 一种车辆卡口设备抓拍质量评估方法、装置及可读介质
US20200193635A1 (en) Image positioning system and image positioning method based on upsampling
CN114187541A (zh) 一种面向自定义业务场景的智能视频分析的方法和存储设备
CN108900895B (zh) 一种对视频流的目标区域的屏蔽方法及其装置
JP2023002773A (ja) 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN112329567A (zh) 自动驾驶场景中目标检测的方法及系统、服务器及介质
CN111860324A (zh) 基于小波变换的高频分量检测及色彩识别的火灾预警方法
CN113901911B (zh) 图像识别、模型训练方法、装置、电子设备及存储介质
Wang et al. An improved YOLOX approach for low-light and small object detection: PPE on tunnel construction sites
CN104881663A (zh) 辨别复选框的选定结果的方法及装置
CN117132964A (zh) 模型训练方法、点云编码方法、对象处理方法及装置
US20200151482A1 (en) Client terminal for performing hybrid machine vision and method thereof
CN116403200A (zh) 基于硬件加速的车牌实时识别系统
JP2022006180A (ja) 画像の手ぶれ補正方法、装置、電子機器、記憶媒体、コンピュータプログラム製品、路側機およびクラウド制御プラットフォーム
CN113963322B (zh) 一种检测模型训练方法、装置及电子设备
CN115393211A (zh) 一种图像处理方法、装置、电子设备及可读存储介质
CN117593381A (zh) 图像信号处理isp参数的调整及相关设备
CN116385311A (zh) 低照度图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240129

R150 Certificate of patent or registration of utility model

Ref document number: 7429756

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150