JP2023002773A - 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム - Google Patents

画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム Download PDF

Info

Publication number
JP2023002773A
JP2023002773A JP2022172568A JP2022172568A JP2023002773A JP 2023002773 A JP2023002773 A JP 2023002773A JP 2022172568 A JP2022172568 A JP 2022172568A JP 2022172568 A JP2022172568 A JP 2022172568A JP 2023002773 A JP2023002773 A JP 2023002773A
Authority
JP
Japan
Prior art keywords
image
original image
pixel
identifying
feature data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022172568A
Other languages
English (en)
Inventor
小雲 王
Xiaoyun Wang
明智 陳
Mingzhi Chen
召 王
Zhao Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2023002773A publication Critical patent/JP2023002773A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】収集された画像に対して画像識別を行って、画像の画像品質を特定するための画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。【解決手段】画像処理方法は、元画像に対してノイズ低減処理を行って、平滑化画像を得ることと、元画像に対して特徴抽出処理を行って、少なくとも1つの方向に対する特徴データを得ることと、元画像と、平滑化画像と、少なくとも1つの方向に対する特徴データとに基づいて、元画像の画像品質を特定することと、を含む。【選択図】図2

Description

本開示は人工知能技術分野に関し、具体的に、自動運転、インテリジェント交通、コンピュータ視覚、及びディープラーニング技術分野に関し、より具体的に、画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラムに関する。
幾つかの場面で、収集された画像に対して画像識別を行って、画像の画像品質を特定する必要がある。例えば、交通分野において、カメラによって交通の画像を収集することで、画像に基づいて交通状況を特定することが多い。しかしながら、関連技術では、画像の画像品質を識別する時、識別効果が良くなく、識別コストが高い。
本開示は、画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供している。
本開示の1つの局面によれば、元画像に対してノイズ低減処理を行って、平滑化画像を得ることと、前記元画像に対して特徴抽出処理を行って、少なくとも1つの方向に対する特徴データを得ることと、前記元画像と、前記平滑化画像と、少なくとも1つの方向に対する特徴データとに基づいて、前記元画像の画像品質を特定することと、を含む、画像処理方法と提供している。
本開示の別の局面によれば、第1の処理モジュールと、第2の処理モジュールと、特定モジュールとを含む画像処理装置を提供している。第1の処理モジュールは、元画像に対してノイズ低減処理を行って、平滑化画像を得るために用いられる。第2の処理モジュールは、前記元画像に対して特徴抽出処理を行って、少なくとも1つの方向に対する特徴データを得るために用いられる。特定モジュールは、前記元画像と、前記平滑化画像と、少なくとも1つの方向に対する特徴データとに基づいて、前記元画像の画像品質を特定するために用いられる。
本開示の別の局面によれば、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサと通信接続するメモリとを有する電子機器を提供している。ここで、前記メモリに、前記少なくとも1つのプロセッサによって実行され得るコマンドが記憶されており、前記コマンドが前記少なくとも1つのプロセッサによって実行されることで、前記少なくとも1つのプロセッサが上記画像処理方法を実行することができる。
本開示の別の局面によれば、コンピュータに上記画像処理方法を実行させるためのコンピュータコマンドを記憶している、非一時的なコンピュータ読取可能な記憶媒体を提供している。
本開示の別の局面によれば、プロセッサにより実行される場合に、上記画像処理方法を実現するコンピュータプログラムを提供している。
理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。
ここで、図面は、本技術案をよりよく理解するために用いられ、本開示を限定するものではない。
本開示の一実施例による画像処理方法及び装置の適用シーンを概略的に示している。 本開示の一実施例による画像処理方法のフローチャートを概略的に示している。 本開示の一実施例による画像処理方法の概略図を概略的に示している。 本開示の一実施例による畳み込み計算の概略図を概略的に示している。 本開示の一実施例による特徴画像の概略図を概略的に示している。 本開示の一実施例による画像処理方法のシステム構造を概略的に示している。 本開示の一実施例による画像処理方法の概略図を概略的に示している。 本開示の一実施例による画像処理方法のタイミングチャートを概略的に示している。 本開示の一実施例による画像処理装置のブロック図を概略的に示している。 本開示の実施例を実現するための画像処理を実行するための電子機器のブロック図である。
以下、図面を参照して本開示の例示的な実施例を説明する。ここで、より理解しやすいために本開示の実施例の様々な詳細は含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば、ここで記載される実施例に対して様々な変更・修正を行うことができ、本開示の範囲及び精神から逸脱することはないと分かるべきである。同様に、明確かつ簡潔に説明するために、以下の記載において周知の機能や構成に対する説明を省略する。
ここで使用した用語は、単に具体的な実施例を説明するためのものに過ぎず、本開示を限定することを意図しない。ここで使用した「含む」、「含まれる」などの用語は、前記特徴、ステップ、操作及び/又は部品の存在を表すが、1つ又は複数の他の特徴、ステップ、操作又は部品の存在や、追加を除外しない。
ここで使用したすべての用語(技術及び科学用語を含む)は、別途定義しない限り、当業者が通常に理解した意味を持つ。ここで使用した用語は、本明細書のコンテキストと一致する意味を持つと解釈すべきであり、理想化又は硬すぎる方式で解釈すべきではないことに留意すべきである。
「Aと、Bと、Cなどの少なくとも1つ」といった表現を使用する場合、一般的に当業者が通常に理解したこの表現の意味で解釈すべきである(例えば、「Aと、Bと、Cとの少なくとも1つを有するシステム」は、単にAを有する、単にBを有する、単にCを有する、AとBとを有する、AとCとを有する、BとCとを有する、及び/又はAと、Bと、Cとを有するシステムなどを含むが、これらに限られない)。
本開示の実施例は、元画像に対してノイズ低減処理を行って、平滑化画像を得ることを含む画像処理方法を提供している。その後、元画像に対して特徴抽出処理を行って、少なくとも1つの方向に対する特徴データを得る。続いて、元画像と、平滑化画像と、少なくとも1つの方向に対する特徴データとに基づいて、元画像の画像品質を特定する。
図1は、本開示の一実施例による画像処理方法及び装置の適用シーンを概略的に示している。当業者が本開示の技術内容を理解することに役立つように、図1に示すのは単に本開示の実施例を適用可能な適用シーンの例示であるが、本開示の実施例が他の機器、システム、環境又はシーンに適用できないことを意味しないことに留意すべきである。
図1に示すように、本開示の適用シーン100は、例えば、複数のカメラ110、120を含む。
複数のカメラ110、120は、例えば、ビデオストリームを収集するために用いられ、ビデオストリームにおける画像フレームを識別することで交通状況を得ることができる。複数のカメラ110、120は、路面機器に実装されてもよく、自動運転車両に実装され、自動運転車両の運転中にビデオストリームをリアルタイムに収集してもよい。
幾つかの場面で、例えば、風吹き、降雨、凍結などの様々な外部環境の原因で、カメラによって収集されたビデオストリームに異常が発生し、例えば、ビデオストリームにおける画像フレームにノイズポイント、ボケ、遮蔽、色ずれ又は輝度異常などが発生し、それによって画像品質が悪くなってしまう。画像品質の悪いビデオストリームに基づいて識別する時、交差点の車両、ナンバープレート、歩行者などの交通状況を正確に識別することが困難である。
したがって、本開示の実施例は、画像識別の方式で画像品質を特定することにより、画像品質に基づいてカメラによる撮影に異常があるか否かをタイムリーに検出するものであり、人工巡検の方式でカメラの撮影異常を検出することに比べて、本開示の実施例はカメラのメンテナンスコストを低減した。
本開示の実施例は、画像処理方法を提供しており、以下に図1の適用シーンに合わせて、図2~図8を参照しながら本開示の例示的な実施形態による画像処理方法を説明する。
図2は、本開示の一実施例による画像処理方法のフローチャートを概略的に示している。
図2に示すように、本開示の実施例の画像処理方法200は、例えば、操作S210~操作S230を含んでよい。
操作S210において、元画像に対してノイズ低減処理を行って、平滑化画像を得る。
操作S220において、元画像に対して特徴抽出処理を行って、少なくとも1つの方向に対する特徴データを得る。
操作S230において、元画像と、平滑化画像と、少なくとも1つの方向に対する特徴データとに基づいて、元画像の画像品質を特定する。
例示的に、元画像は、例えば、カメラによって収集されたビデオストリームにおける画像フレームである。カメラが外部環境の影響を受けるため、元画像にノイズポイントが存在する。したがって、元画像に存在するノイズポイント情報を判断することで、元画像の画像品質を特定する必要がある。
例えば、まず、元画像に対してノイズ低減処理を行うことで平滑化画像を得て、平滑化画像は、例えば、ノイズポイント情報が除去された。しかしながら、平滑化画像には、元画像における一部のエッジ情報も避けられずに除去された。
続いて、元画像に対して特徴抽出を行って、複数の方向に対する特徴データを得て、複数の方向は、例えば、元画像に対する水平方向、垂直方向、傾斜方向などを含む。特徴データには、例えば、元画像におけるノイズポイント情報が表されている。
続いて、元画像と、平滑化画像と、少なくとも1つの方向に対する特徴データとに基づいて、元画像の画像品質を特定することができる。例えば、元画像と平滑化画像との対比結果に基づき、対比結果は、例えば、元画像におけるノイズポイント情報及びエッジ情報を含む。少なくとも1つの方向に対する特徴データは、元画像におけるノイズポイント情報を表すため、少なくとも1つの方向に対する特徴データを参考として、元画像と平滑化画像との対比結果からノイズポイント情報を特定し、ノイズポイント情報に基づいて元画像の画像品質を特定する。
本開示の実施例によれば、元画像に対してノイズ低減処理を行って平滑化画像を得て、元画像の少なくとも1つの方向に対する特徴データを抽出し、その後、元画像と、平滑化画像と、少なくとも1つの方向に対する特徴データとに基づいて、元画像の画像品質を得ることで、画像品質の検出効果及び正確性を向上させ、検出コストを低減した。
図3は、本開示の一実施例による画像処理方法の概略図を概略的に示している。
図3に示すように、画像を収集するカメラに異常がない場合、収集された画像は正常画像310であり、この正常画像310には、例えば、ノイズポイントがないか、又はノイズポイントの数が少ない。
画像を収集するカメラに異常がある場合、収集された画像は、例えば、複数のノイズポイントを含み、収集された画像を階調画像に変換して元画像320を得て、元画像320には複数のノイズポイントがある。
元画像320のノイズは、ソルトアンドペッパーノイズ(salt and pepper noise)であってもよく、ソルトアンドペッパーノイズはパルスノイズとも呼ばれ、画像に良くあるノイズの1つである。ソルトアンドペッパーノイズは、ランダムに現れる白ポイント又は黒ポイントである。ソルトアンドペッパーノイズとは、明るい領域に黒画素があること、又は/及び暗い領域に白画素があることである。ソルトアンドペッパーノイズの発生原因は、映像信号が突然の強い干渉を受けて発生したり、アナログデジタルコンバータ又はビット伝送にエラーが発生することによる。
例示的に、元画像320に対してノイズ低減処理を行う時、メディアンフィルタ(Median filtering)で元画像320に対してフィルタリング処理を行って平滑化画像330を得ることができる。メディアンフィルタのフィルタリング過程は、1つの画素の画素値をこの画素の近傍領域における強度値の中間値で置換する(中間値を計算する過程には、この画素の画素値も含まれる)ことであり、メディアンフィルタはソルトアンドペッパーノイズを処理する時に好適なノイズ低減効果を提供可能である。
しかしながら、メディアンフィルタを用いてフィルタリングする時、画像のエッジがぼやけて、鮮鋭ではなくなる。これは、画素値の代わりに中間値を用いて、画素値が大きく変化する場合、例えば、境界又は細部がぼやけることになるためである。したがって、フィルタリングされた平滑化画像330におけるノイズポイントが除去され、且つ画像エッジ部分の情報も除去されることになる。
平滑化画像330が得られた後、元画像320と平滑化画像330とを対比して、対比結果を得ることができる。対比結果には、例えば、ノイズポイント情報及び元画像のエッジ情報が含まれる。したがって、元画像320に対して特徴抽出を行ってノイズポイント情報を得る必要があり、それによって特徴抽出により得られたノイズポイント情報を参考として、対比結果からノイズ情報を特定する。特徴抽出の過程は、例えば、図4及び図5を参照する。
図4は、本開示の一実施例による畳み込み計算の概略図を概略的に示している。
図4に示すように、本開示の実施例400は、例えば、元画像に対して畳み込み計算を行うことを含む。例えば、少なくとも1つの方向と一対一対応する少なくとも1つの畳み込みカーネルを用いて、それぞれ元画像のデータに対して畳み込み計算を行って、少なくとも1つの方向に対する特徴データを得る。
4つの方向を例として、4つの方向は、例えば、0°方向、45°方向、90°方向、135°方向を含む。4つの方向と一対一対応する4つの畳み込みカーネルは、図4に示すように、各畳み込みカーネルが例えば3*3のマトリックスである。
4つの畳み込みカーネルのそれぞれを用いて、それぞれ元画像に対して畳み込み計算を行って、4つの畳み込みカーネルと一対一対応する4つの特徴データを得る。4つの特徴データは、例えば、4つの特徴画像である。図4には90°方向の畳み込みカーネルで元画像に対して畳み込み処理を行うことが示されている。
図5は、本開示の一実施例による特徴画像の概略図を概略的に示している。
図5に示すように、4つの方向の畳み込みカーネルを用いて、それぞれ元画像に対して畳み込みを行って、4つの方向に対する特徴データを得て、4つの方向の特徴データは、例えば、4つの特徴画像510、520、530、540である。
平滑化画像及び複数の方向に対する特徴データが得られた後、元画像における現在画素に対して、現在画素と平滑化画像における対応画素との間の画素差を特定することができ、例えば、元画像における現在画素の画素値から平滑化画像における現在画素に対応する画素の画素値を減算する。具体的に、元画像における各画素を順に現在画素としてもよい。
その後、少なくとも1つの方向に対する特徴データから、現在画素に対する目標特徴データを特定し、画素差と目標特徴データとに基づいて元画像の画像品質を特定する。
目標特徴データの取得について、例えば、少なくとも1つの方向に対する特徴データは複数の方向に対する特徴画像を含み、複数の方向に対する特徴画像から1つの方向に対する目標特徴画像を特定することができる。その後、目標特徴画像において、現在画素に対応する目標画素の画素値を現在画素に対する目標特徴データとする。
例えば、複数の方向に対する特徴画像から、現在画素に対応する複数の候補画素を特定し、複数の候補画素は複数の方向に対する特徴画像と一対一対応している。4つの方向に対する特徴画像を例として、1つ目の特徴画像から現在画素に対応する画素を1つ目の候補画素として特定し、2つ目の特徴画像から現在画素に対応する画素を2つ目の候補画素として特定し、3つ目の特徴画像から現在画素に対応する画素を3つ目の候補画素として特定し、4つ目の特徴画像から現在画素に対応する画素を4つ目の候補画素として特定する。
続いて、4つの候補画素から画素値が最も小さい候補画素を特定し、画素値が最も小さい候補画素に対応する特徴画像を目標特徴画像として特定する。例えば、2つ目の特徴画像を目標特徴画像として特定した場合、目標特徴画像において、現在画素に対応する目標画素(2つ目の候補画素)の画素値を現在画素に対する目標特徴データとする。
これにより、目標特徴データは目標画素の画素値であり、上記内容から元画像における現在画素と平滑化画像における対応画素との間の画素差を得ることができる。画素差が第1の閾値より大きく、且つ、目標画素の画素値が第2の閾値より大きい場合、現在画素がノイズポイントであると判定できる。第1の閾値は、例えば10を含むが、これに限られず、第2の閾値は、例えば0.1を含むが、これに限られない。
元画像におけるすべての画素をそれぞれ現在画素とすることで、各画素がノイズポイントであるか否かを判定できる。その後、元画像のノイズポイントの数に基づいて、元画像の画像品質を特定する。
例えば、元画像のノイズポイントの数と元画像の画素総数との間の比率を特定し、その後、比率に基づいて元画像の画像品質を特定する。比率が所定比率より大きい場合、元画像の画像品質が悪く、即ち、元画像にソルトアンドペッパーノイズが存在する程度が大きいと判定できる。
本開示の実施例によれば、メディアンフィルタで元画像に対してノイズ低減処理を行って平滑化画像を得て、複数の方向の畳み込みカーネルで元画像に対して特徴抽出を行って複数の方向に対する特徴データを得る。その後、元画像と平滑化画像との差に基づいてノイズポイントを予め特定し、予め特定されたノイズポイントには、例えば偽情報が含まれる。続いて、さらに複数の方向に対する特徴データを参考として、予め特定されたノイズポイントから真のノイズポイントを特定し、ノイズポイントが元画像に占める比率に基づいて、元画像の画像品質を特定する。これによって分かるように、本開示の実施例によれば、画像品質の検出効果及び正確性を向上させ、検出コストを低減することができる。
本開示の別の例において、元画像のボケ程度、色ずれ程度、輝度異常程度などの情報を特定することで、元画像の画像品質を特定してもよい。例示的に、本開示の実施例は、元画像のソルトアンドペッパーノイズ程度、ボケ程度、色ずれ程度、輝度異常程度に基づいて、総合的に元画像の画像品質を特定してもよい。
1つの例において、元画像のボケ程度について、参考画像なしの鮮明度評価方法を採用し、Brenner勾配関数を用いて隣接する2つの画素の階調差の二乗を算出してよく、このBrenner勾配関数は例えば式(1)のように定義される。
Figure 2023002773000002
(1)
ただし、f(x, y)は、元画像fの対応画素点(x,y)の階調値を表し、D(f)は、元画像鮮明度(分散)の算出結果である。
元画像の画素毎に分散D(f)を算出することで、すべての画素による累積分散を得る。累積分散が所定閾値より小さい場合、元画像の画像品質が悪く、即ち、元画像がぼやけていると判定する。
別の例において、元画像の色ずれ程度について、元画像がRGBカラー画像である場合、RGBカラー画像をCIE L*a*b*空間へ変換し、ただし、L*は画像輝度を表し、a*は画像の赤/緑成分を表し、b*は画像の黄/青成分を表す。通常、色ずれがある画像は、a*及びb*成分での平均値が原点から遠く離れており、分散も比較的に小さい。したがって、画像のa*及びb*成分での平均値及び分散を算出し、平均値及び分散に基づけば、画像に色ずれがあるか否かを評価できる。
Figure 2023002773000003
(2)
Figure 2023002773000004

(3)
Figure 2023002773000005
(4)
Figure 2023002773000006
(5)
K=D/M
(6)
ただし、画像のa*及びb*成分での平均値はそれぞれda、dbであり、画像のa*及びb*成分での分散はそれぞれMa、Mbである。
ただし、式(2)-(6)において、m、nはそれぞれ画像の幅及び高さであり、画素を単位とする。a-b彩度平面において、円相当の中心座標は(da,db)であり、半径は Mである。円相当の中心からa-b彩度平面の中性軸原点(a=0,b=0)までの距離はDである。円相当のa-b彩度平面における具体的な位置から、画像全体の色ずれを判断する。db>0の場合、画像が赤っぽくなり、そうでなければ、緑っぽくなる。db>0の場合、画像が黄っぽくなり、そうでなければ、青っぽくなる。色ずれ因子Kの値が大きいほど、画像の色ずれ程度が大きいことを表す。
別の例において、元画像の輝度異常程度について、元画像が階調画像である場合、式(7)-(11)によって階調画像の平均値da及び平均差Maを算出する。画像に輝度異常がある場合、平均値が平均値ポイント(平均値ポイントは、例えば128とすることができる)からずれており、平均差も比較的小さくなる。画像の平均値及び平均差を算出することで、平均値及び平均差に基づいて画像にオーバー露光又はアンダー露光の状況があるか否かを評価することができる。
Figure 2023002773000007
(7)
Figure 2023002773000008
(8)
Figure 2023002773000009
(9)
Figure 2023002773000010
(10)
K=D/M
(11)
式(7)におけるxiは、元画像におけるi個目の画素の画素値であり、Nは、元画像における画素の総数であり、式(9)におけるHist[i]は、元画像における画素値がiの画素数である。
輝度因子Kが所定閾値より小さい場合、画像の輝度が正常である。輝度因子が所定閾値以上である場合、画像の輝度が異常である。具体的に、輝度因子が所定閾値以上である場合、さらに平均値daを判断し、平均値daが0より大きい場合、画像輝度が比較的明るくなり、平均値daが0以下である場合、画像の輝度が比較的暗くなる。
図6は、本開示の一実施例による画像処理方法のシステム構造を概略的に示している。
図6に示すように、ビデオ画像品質診断のシステム構造600は、例えば、ストリーミング・メディアプラットフォーム610、WEB設定管理システム620、診断タスクスケジューリングサーバ630、監視センター640、及び画像品質診断サーバ650を含む。
ストリーミング・メディアプラットフォーム610は、例えば、シグナリングサーバ及びストリーミング・メディアクラスタを含み、ストリーミング・メディアプラットフォーム610はビデオストリームを取得するために用いられ、ビデオストリームには診断対象画像が含まれる。
WEB設定管理システム620は診断タスクを管理するために用いられ、診断タスクは、例えば、ビデオストリームにおける画像に対して画像品質診断を行うことを含む。
診断タスクスケジューリングサーバ630は、診断タスクをスケジューリングするために用いられ、診断タスクスケジューリングサーバ630は、データベースを含み、データベースはタスク情報を記憶するために用いられる。
監視センター640は、診断タスクスケジューリングサーバ630におけるタスク実行の状況を監視するために用いられる。
画像品質診断サーバ650は、診断タスクスケジューリングサーバ630が配るタスクに応じて、ストリーミング・メディアプラットフォーム610からビデオストリームを取得し、ビデオストリームにおける画像に対して画像品質診断を行って、診断タスクスケジューリングサーバ630にタスク処理の状態を報告する。
図7は、本開示の一実施例による画像処理方法の概略図を概略的に示している。
図7に示すように、本開示の実施例によれば、例えば、ストリーミング・メディアプラットフォーム710、ビデオ画像品質診断システム720、及び監視プラットフォーム730を含む。
ストリーミング・メディアプラットフォーム710はビデオストリームを生成するために用いられる。
ビデオ画像品質診断システム720は、例えば、スケジューリングサーバ、診断サーバ、登録センターを含む。スケジューリングサーバは、ストリーミング・メディアプラットフォーム710にビデオストリームを取得するリクエストを送信してよい。スケジューリングサーバは、診断サーバに診断サブタスクを配っても良い。診断サーバは、診断サブタスクを完了した後、スケジューリングサーバにサブタスク診断結果を報告する。診断サーバは、登録センターに登録してよい。スケジューリングサーバは、負荷ポリシーに応じて診断ノードを選択することで、診断ノードに応じて診断サブタスクを配ってもよい。スケジューリングサーバは、異常の診断タスクを監視プラットフォーム730に報告してもよい。
監視プラットフォーム730は、診断タスクの状態を監視するために用いられる。
図8は、本開示の一実施例による画像処理方法のタイミングチャートを概略的に示している。
図8に示すように、本開示の実施例によれば、例えば、スケジューリングサーバ810、登録センター820、診断サーバ830、ストリーミング・メディアプラットフォーム840、及び監視プラットフォーム850を含む。
スケジューリングサーバ810がユーザからのタスク起動リクエストを受信した後、登録センター820へ診断サーバを利用可能なノードを取り込む。登録センター820は、診断ノードリストをスケジューリングサーバ810に返送する。スケジューリングサーバ810は、ノードリストに基づいて、負荷ポリシーに応じて動作ノードを選択する。
スケジューリングサーバ810は、動作ノードを選択した後、診断サーバ830に診断サブタスクを配って、診断サーバ830は、配る結果をフィードバックする。スケジューリングサーバ810は、配る結果を受信した後、ユーザにタスク起動結果をフィードバックする。
診断サーバ830は、予定の時間内に診断タスクを繰り返し実行する。例えば、診断サーバ830は、ストリーミング・メディアプラットフォーム840にビデオストリームを抽出するリクエストを送信し、ストリーミング・メディアプラットフォーム840は、診断サーバ830にリアルタイムビデオストリームを返送し、その後、診断サーバ830がビデオストリームに基づいて画像品質の診断タスクを実行し、スケジューリングサーバ810にビデオ画像異常診断結果を返送する。
スケジューリングサーバ810は、ビデオ画像異常診断結果を受信した後、監視プラットフォーム850に異常情報を報告してよい。
図9は、本開示の一実施例による画像処理装置のブロック図を概略的に示している。
図9に示すように、本開示の実施例の画像処理装置900は、例えば、第1の処理モジュール910、第2の処理モジュール920、及び特定モジュール930を含む。
第1の処理モジュール910は、元画像に対してノイズ低減処理を行って、平滑化画像を得るために用いられる。本開示の実施例によれば、第1の処理モジュール910は、例えば、前文で図2を参照して説明した操作S210を実行することができるので、ここでその説明を繰り返さない。
第2の処理モジュール920は、元画像に対して特徴抽出処理を行って、少なくとも1つの方向に対する特徴データを得るために用いられる。本開示の実施例によれば、第2の処理モジュール920は、例えば、前文で図2を参照して説明した操作S220を実行することができるので、ここでその説明を繰り返さない。
特定モジュール930は、元画像と、平滑化画像と、少なくとも1つの方向に対する特徴データとに基づいて、元画像の画像品質を特定するために用いられる。本開示の実施例によれば、特定モジュール930は、例えば、前文で図2を参照して説明した操作S230を実行することができるので、ここでその説明を繰り返さない。
本開示の実施例によれば、特定モジュール930は、第1の特定サブモジュール、第2の特定サブモジュール、及び第3の特定サブモジュールを含む。第1の特定サブモジュールは、元画像における現在画素に対して、現在画素と平滑化画像における対応画素との間の画素差を特定するために用いられる。第2の特定サブモジュールは、少なくとも1つの方向に対する特徴データから現在画素に対する目標特徴データを特定するために用いられる。第3の特定サブモジュールは、画素差及び目標特徴データに基づいて、元画像の画像品質を特定するために用いられる。
本開示の実施例によれば、少なくとも1つの方向に対する特徴データは、複数の方向に対する特徴画像を含む。ここで、第2の特定サブモジュールは、第1の特定手段と第2の特定手段とを含む。第1の特定手段は、複数の方向に対する特徴画像から1つの方向に対する目標特徴画像を特定するために用いられる。第2の特定手段は、目標特徴画像において、現在画素に対応する目標画素の画素値を現在画素に対する目標特徴データとするために用いられる。
本開示の実施例によれば、第1の特定手段は、第1の特定サブ手段、第2の特定サブ手段、及び第3の特定サブ手段を含む。第1の特定サブ手段は、複数の方向に対する特徴画像から、現在画素に対応する複数の候補画素を特定するために用いられ、ここで、複数の候補画素は複数の方向に対する特徴画像と一対一対応する。第2の特定サブ手段は、複数の候補画素から画素値が最も小さい候補画素を特定するために用いられる。第3の特定サブ手段は、画素値が最も小さい候補画素に対応する特徴画像を目標特徴画像として特定するために用いられる。
本開示の実施例によれば、目標特徴データは、目標画素の画素値を含む。第3の特定サブモジュールは、第3の特定手段と第4の特定手段とを含む。第3の特定手段は、画素差が第1の閾値より大きく、且つ、目標画素の画素値が第2の閾値より大きいことに応じて、現在画素がノイズポイントであると判定するために用いられる。第4の特定手段は、元画像のノイズポイントの数に基づいて、元画像の画像品質を特定するために用いられる。
本開示の実施例によれば、第4の特定手段は、第4の特定サブ手段と第5の特定サブ手段とを含む。第4の特定サブ手段は、元画像のノイズポイントの数と元画像の画素総数との間の比率を特定するために用いられる。第5の特定サブ手段は、比率に基づいて、元画像の画像品質を特定するために用いられる。
本開示の実施例によれば、第2の処理モジュール920は、さらに、少なくとも1つの方向と一対一対応する少なくとも1つの畳み込みカーネルを用いて、それぞれ元画像のデータに対して畳み込み処理を行って、少なくとも1つの方向に対する特徴データを得るために用いられる。
本開示の実施例によれば、第1の処理モジュール910は、さらに、メディアンフィルタで元画像に対してフィルタリング処理を行って、平滑化画像を得るために用いられる。
本開示の技術案では、係られたユーザ個人情報の収集、記憶、使用、加工、伝送、提供、及び開示などの処理は、いずれも関連法律や法規の規定に合致しており、公序良俗に反していない。
本開示の実施例によれば、本開示は、電子機器、読取可能な記憶媒体、及びコンピュータプログラムをさらに提供している。
図10は、本開示の実施例を実現するための画像処理を実行するための電子機器のブロック図である。
図10は、本開示の実施例を実現するための例示的な電子機器1000の概略的ブロック図を示している。電子機器1000は、様々な形式のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ及び他の適切なコンピュータである。電子機器は、さらに様々な形式の移動装置を示してもよく、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブル機器及び他の類似の演算装置である。本明細書に示された部材、それらの接続及び関係、並びにそれらの機能は、例示に過ぎず、本明細書に記載された及び/又は要求された本開示の実現を限定しない。
図10に示すように、機器1000は、計算手段1001を含み、計算手段1001は、リードオンリーメモリ(ROM)1002に記憶されたコンピュータプログラム又は記憶手段1008からランダムアクセスメモリ(RAM)1003にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行してもよい。RAM1003には、さらに機器1000の操作に必要な様々なプログラム及びデータを記憶してもよい。計算手段1001、ROM1002、及びRAM1003は、バス1004を介して相互に接続される。入出力(I/O)インターフェース1005も、バス1004に接続される。
機器1000における複数の部品は、I/Oインターフェース1005に接続され、例えばキーボード、マウス等の入力手段1006と、例えば様々な種類のディスプレイ、スピーカ等の出力手段1007と、例えば磁気ディスク、光ディスク等の記憶手段1008と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信手段1009とを含む。通信手段1009は、機器1000がインターネット等のコンピュータネットワーク及び/又は各種の電気ネットワークを介して他の機器と情報・データをやり取りすることを可能にする。
計算手段1001は、処理及び演算能力を有する各種の汎用及び/又は専用の処理モジュールであってもよい。計算手段1001の幾つかの例として、中央処理ユニット(CPU)、GPU(Graphics Processing Unit)、各種専用の人工知能(AI)演算チップ、各種機械学習モデルアルゴリズムをランニングする演算ユニット、DSP(Digital Signal Processor)、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されない。計算手段1001は、前文で記載された各方法及び処理、例えば画像処理方法を実行する。例えば、幾つかの実施例において、画像処理方法は、例えば記憶手段1008のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ROM 1002及び/又は通信手段1009を介して機器1000にロード及び/又はインストールされてもよい。コンピュータプログラムがRAM1003にロードされて計算手段1001により実行される場合、前文に記載の画像処理方法の1つ又は複数のステップを実行してもよい。代替的に、他の実施例において、計算手段1001は、他の任意の適切な方式(例えば、ファームウェアを介する)により画像処理方法を実行するように構成されてもよい。
本明細書で以上に説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、コンプレックスプログラムマブルロジックデバイス (CPLD)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムにおいて実施され、該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラムマブルプロセッサを含むプログラムマブルシステムで実行され及び/又は解釈されることが可能であり、該プログラムマブルプロセッサは、専用又は汎用のプログラムマブルプロセッサであってもよく、記憶システム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも1つの入力装置、及び該少なくとも1つの出力装置に伝送することができることを含んでもよい。
本開示の方法を実施するためのプログラムコードは、1つ又は複数のプログラミング言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び/又はブロック図に規定された機能・操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。
本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んで又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、1つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラマブルリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバ、コンパクトディスクリードオンリーメモリ(CD-ROM)、光学記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。
ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、かついかなる形式(音声入力、語音入力又は、触覚入力を含む)でユーザからの入力を受信してもよい。
ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェア部品を含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンド部品を含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる)、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)及びインターネットを例示的に含む。
コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント-サーバの関係を有するコンピュータプログラムによって生成される。サーバは、クラウドサーバであってもよく、分散型システムのサーバであってもよく、又はブロックチェーンを組合せたサーバであってもよい。
理解されるべきこととして、以上に示された様々な形式のフローを使用してもよく、操作を改めてソーティングしたり、追加したり又は削除してもよい。例えば、本開示に記載の各操作は、並列に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示の発明の所望の結果を実現することができれば、本明細書はここで限定されない。
以上説明した画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラムは、以下のように表現することができる。
第1態様の画像処理方法は、
元画像に対してノイズ低減処理を行って、平滑化画像を得ることと、
前記元画像に対して特徴抽出処理を行って、少なくとも1つの方向に対する特徴データを得ることと、
前記元画像と、前記平滑化画像と、少なくとも1つの方向に対する特徴データとに基づいて、前記元画像の画像品質を特定することと、を含む。
第2態様の画像処理方法は、
第1態様に記載の画像処理方法であって、
前記元画像と、前記平滑化画像と、少なくとも1つの方向に対する特徴データとに基づいて、前記元画像の画像品質を特定することは、
前記元画像における現在画素に対して、前記現在画素と前記平滑化画像における対応画素との間の画素差を特定することと、
少なくとも1つの方向に対する特徴データから、前記現在画素に対する目標特徴データを特定することと、
前記画素差と前記目標特徴データとに基づいて、前記元画像の画像品質を特定することと、を含む。
第3態様の画像処理方法は、
第2態様に記載の画像処理方法であって、
少なくとも1つの方向に対する特徴データは、複数の方向に対する特徴画像を含み、
少なくとも1つの方向に対する特徴データから、前記現在画素に対する目標特徴データを特定することは、
複数の方向に対する特徴画像から、1つの方向に対する目標特徴画像を特定することと、
前記目標特徴画像において、前記現在画素に対応する目標画素の画素値を前記現在画素に対する目標特徴データとすることと、を含む。
第4態様の画像処理方法は、
第3態様に記載の画像処理方法であって、
複数の方向に対する特徴画像から、1つの方向に対する目標特徴画像を特定することは、
複数の方向に対する特徴画像から、前記現在画素に対応する、複数の方向に対する特徴画像と一対一対応する複数の候補画素を特定することと、
前記複数の候補画素から、画素値が最も小さい候補画素を特定することと、
画素値が最も小さい候補画素に対応する特徴画像を前記目標特徴画像として特定することと、を含む。
第5態様の画像処理方法は、
第2態様に記載の画像処理方法であって、
前記目標特徴データは、目標画素の画素値を含み、
前記画素差と前記目標特徴データとに基づいて、前記元画像の画像品質を特定することは、
前記画素差が第1の閾値より大きく、且つ前記目標画素の画素値が第2の閾値より大きいことに応じて、前記現在画素がノイズポイントであると判定することと、
前記元画像のノイズポイントの数に基づいて、前記元画像の画像品質を特定することと、を含む。
第6態様の画像処理方法は、
第5態様に記載の画像処理方法であって、
前記元画像のノイズポイントの数に基づいて、前記元画像の画像品質を特定することは、
前記元画像のノイズポイントの数と元画像の画素総数との間の比率を特定することと、
前記比率に基づいて、前記元画像の画像品質を特定することと、を含む。
第7態様の画像処理方法は、
第1~6態様の何れか1つに記載の画像処理方法であって、
前記元画像に対して特徴抽出処理を行って、少なくとも1つの方向に対する特徴データを得ることは、
前記少なくとも1つの方向と一対一対応する少なくとも1つの畳み込みカーネルを用いて、それぞれ前記元画像のデータに対して畳み込み処理を行って、少なくとも1つの方向に対する特徴データを得ることを含む。
第8態様の画像処理方法は、
第1~7態様の何れか1つに記載の画像処理方法であって、
前記元画像に対してノイズ低減処理を行って、平滑化画像を得ることは、
メディアンフィルタで前記元画像に対してフィルタリング処理を行って、前記平滑化画像を得ることを含む。
第9態様の画像処理装置は、
元画像に対してノイズ低減処理を行って、平滑化画像を得るための第1の処理モジュールと、
前記元画像に対して特徴抽出処理を行って、少なくとも1つの方向に対する特徴データを得るための第2の処理モジュールと、
前記元画像と、前記平滑化画像と、少なくとも1つの方向に対する特徴データとに基づいて、前記元画像の画像品質を特定するための特定モジュールと、を含む。
第10態様の画像処理装置は、
第9態様に記載の画像処理装置であって、
前記特定モジュールは、
前記元画像における現在画素に対して、前記現在画素と前記平滑化画像における対応画素との間の画素差を特定するための第1の特定サブモジュールと、
少なくとも1つの方向に対する特徴データから、前記現在画素に対する目標特徴データを特定するための第2の特定サブモジュールと、
前記画素差と前記目標特徴データとに基づいて、前記元画像の画像品質を特定するための第3の特定サブモジュールと、を含む。
第11態様の画像処理装置は、
第10態様に記載の画像処理装置であって、
少なくとも1つの方向に対する特徴データは、複数の方向に対する特徴画像を含み、
前記第2の特定サブモジュールは、
複数の方向に対する特徴画像から、1つの方向に対する目標特徴画像を特定するための第1の特定手段と、
前記目標特徴画像において、前記現在画素に対応する目標画素の画素値を前記現在画素に対する目標特徴データとするための第2の特定手段と、を含む。
第12態様の画像処理装置は、
第11態様に記載の画像処理装置であって、
前記第1の特定手段は、
複数の方向に対する特徴画像から、前記現在画素に対応する、複数の方向に対する特徴画像と一対一対応する複数の候補画素を特定するための第1の特定サブ手段と、
前記複数の候補画素から、画素値が最も小さい候補画素を特定するための第2の特定サブ手段と、
画素値が最も小さい候補画素に対応する特徴画像を前記目標特徴画像として特定するための第3の特定サブ手段と、を含む。
第13態様の画像処理装置は、
第10態様に記載の画像処理装置であって、
前記目標特徴データは、目標画素の画素値を含み、
前記第3の特定サブモジュールは、
前記画素差が第1の閾値より大きく、且つ前記目標画素の画素値が第2の閾値より大きいことに応じて、前記現在画素がノイズポイントであると判定するための第3の特定手段と、
前記元画像のノイズポイントの数に基づいて、前記元画像の画像品質を特定するための第4の特定手段と、を含む。
第14態様の画像処理装置は、
第13態様に記載の画像処理装置であって、
前記第4の特定手段は、
前記元画像のノイズポイントの数と元画像の画素総数との間の比率を特定するための第4の特定サブ手段と、
前記比率に基づいて、前記元画像の画像品質を特定するための第5の特定サブ手段と、を含む。
第15態様の画像処理装置は、
第9~14態様の何れか1つに記載の画像処理装置であって、
前記第2の処理モジュールは、さらに、
前記少なくとも1つの方向と一対一対応する少なくとも1つの畳み込みカーネルを用いて、それぞれ前記元画像のデータに対して畳み込み処理を行って、少なくとも1つの方向に対する特徴データを得るために用いられる。
第16態様の画像処理装置は、
第9~15態様の何れか1つに記載の画像処理装置であって、
前記第1の処理モジュールは、さらに、
メディアンフィルタで前記元画像に対してフィルタリング処理を行って、前記平滑化画像を得るために用いられる。
第17態様の電子機器は、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと通信接続するメモリとを有する電子機器であって、
前記メモリに、前記少なくとも1つのプロセッサによって実行され得るコマンドが記憶されており、前記コマンドが前記少なくとも1つのプロセッサによって実行されることで、前記少なくとも1つのプロセッサが第1~8態様のいずれか1つに記載の画像処理方法を実行することができる。
第18態様の記憶媒体は、
コンピュータに第1~8態様のいずれか1つに記載の画像処理方法を実行させるためのコンピュータコマンドを記憶している、
非一時的なコンピュータ読取可能な記憶媒体である。
第19態様のコンピュータプログラムは、
プロセッサにより実行される場合に、第1~8態様のいずれか1つに記載の画像処理方法を実現するコンピュータプログラムである。
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。

Claims (19)

  1. 元画像に対してノイズ低減処理を行って、平滑化画像を得ることと、
    前記元画像に対して特徴抽出処理を行って、少なくとも1つの方向に対する特徴データを得ることと、
    前記元画像と、前記平滑化画像と、少なくとも1つの方向に対する特徴データとに基づいて、前記元画像の画像品質を特定することと、を含む、
    画像処理方法。
  2. 前記元画像と、前記平滑化画像と、少なくとも1つの方向に対する特徴データとに基づいて、前記元画像の画像品質を特定することは、
    前記元画像における現在画素に対して、前記現在画素と前記平滑化画像における対応画素との間の画素差を特定することと、
    少なくとも1つの方向に対する特徴データから、前記現在画素に対する目標特徴データを特定することと、
    前記画素差と前記目標特徴データとに基づいて、前記元画像の画像品質を特定することと、を含む、
    請求項1に記載の画像処理方法。
  3. 少なくとも1つの方向に対する特徴データは、複数の方向に対する特徴画像を含み、
    少なくとも1つの方向に対する特徴データから、前記現在画素に対する目標特徴データを特定することは、
    複数の方向に対する特徴画像から、1つの方向に対する目標特徴画像を特定することと、
    前記目標特徴画像において、前記現在画素に対応する目標画素の画素値を前記現在画素に対する目標特徴データとすることと、を含む、
    請求項2に記載の画像処理方法。
  4. 複数の方向に対する特徴画像から、1つの方向に対する目標特徴画像を特定することは、
    複数の方向に対する特徴画像から、前記現在画素に対応する、複数の方向に対する特徴画像と一対一対応する複数の候補画素を特定することと、
    前記複数の候補画素から、画素値が最も小さい候補画素を特定することと、
    画素値が最も小さい候補画素に対応する特徴画像を前記目標特徴画像として特定することと、を含む、
    請求項3に記載の画像処理方法。
  5. 前記目標特徴データは、目標画素の画素値を含み、
    前記画素差と前記目標特徴データとに基づいて、前記元画像の画像品質を特定することは、
    前記画素差が第1の閾値より大きく、且つ前記目標画素の画素値が第2の閾値より大きいことに応じて、前記現在画素がノイズポイントであると判定することと、
    前記元画像のノイズポイントの数に基づいて、前記元画像の画像品質を特定することと、を含む、
    請求項2に記載の画像処理方法。
  6. 前記元画像のノイズポイントの数に基づいて、前記元画像の画像品質を特定することは、
    前記元画像のノイズポイントの数と元画像の画素総数との間の比率を特定することと、
    前記比率に基づいて、前記元画像の画像品質を特定することと、を含む、
    請求項5に記載の画像処理方法。
  7. 前記元画像に対して特徴抽出処理を行って、少なくとも1つの方向に対する特徴データを得ることは、
    前記少なくとも1つの方向と一対一対応する少なくとも1つの畳み込みカーネルを用いて、それぞれ前記元画像のデータに対して畳み込み処理を行って、少なくとも1つの方向に対する特徴データを得ることを含む、
    請求項1~6の何れか一項に記載の画像処理方法。
  8. 前記元画像に対してノイズ低減処理を行って、平滑化画像を得ることは、
    メディアンフィルタで前記元画像に対してフィルタリング処理を行って、前記平滑化画像を得ることを含む、
    請求項1~6の何れか一項に記載の画像処理方法。
  9. 元画像に対してノイズ低減処理を行って、平滑化画像を得るための第1の処理モジュールと、
    前記元画像に対して特徴抽出処理を行って、少なくとも1つの方向に対する特徴データを得るための第2の処理モジュールと、
    前記元画像と、前記平滑化画像と、少なくとも1つの方向に対する特徴データとに基づいて、前記元画像の画像品質を特定するための特定モジュールと、を含む、
    画像処理装置。
  10. 前記特定モジュールは、
    前記元画像における現在画素に対して、前記現在画素と前記平滑化画像における対応画素との間の画素差を特定するための第1の特定サブモジュールと、
    少なくとも1つの方向に対する特徴データから、前記現在画素に対する目標特徴データを特定するための第2の特定サブモジュールと、
    前記画素差と前記目標特徴データとに基づいて、前記元画像の画像品質を特定するための第3の特定サブモジュールと、を含む、
    請求項9に記載の画像処理装置。
  11. 少なくとも1つの方向に対する特徴データは、複数の方向に対する特徴画像を含み、
    前記第2の特定サブモジュールは、
    複数の方向に対する特徴画像から、1つの方向に対する目標特徴画像を特定するための第1の特定手段と、
    前記目標特徴画像において、前記現在画素に対応する目標画素の画素値を前記現在画素に対する目標特徴データとするための第2の特定手段と、を含む、
    請求項10に記載の画像処理装置。
  12. 前記第1の特定手段は、
    複数の方向に対する特徴画像から、前記現在画素に対応する、複数の方向に対する特徴画像と一対一対応する複数の候補画素を特定するための第1の特定サブ手段と、
    前記複数の候補画素から、画素値が最も小さい候補画素を特定するための第2の特定サブ手段と、
    画素値が最も小さい候補画素に対応する特徴画像を前記目標特徴画像として特定するための第3の特定サブ手段と、を含む、
    請求項11に記載の画像処理装置。
  13. 前記目標特徴データは、目標画素の画素値を含み、
    前記第3の特定サブモジュールは、
    前記画素差が第1の閾値より大きく、且つ前記目標画素の画素値が第2の閾値より大きいことに応じて、前記現在画素がノイズポイントであると判定するための第3の特定手段と、
    前記元画像のノイズポイントの数に基づいて、前記元画像の画像品質を特定するための第4の特定手段と、を含む、
    請求項10に記載の画像処理装置。
  14. 前記第4の特定手段は、
    前記元画像のノイズポイントの数と元画像の画素総数との間の比率を特定するための第4の特定サブ手段と、
    前記比率に基づいて、前記元画像の画像品質を特定するための第5の特定サブ手段と、を含む、
    請求項13に記載の画像処理装置。
  15. 前記第2の処理モジュールは、さらに、
    前記少なくとも1つの方向と一対一対応する少なくとも1つの畳み込みカーネルを用いて、それぞれ前記元画像のデータに対して畳み込み処理を行って、少なくとも1つの方向に対する特徴データを得るために用いられる、
    請求項9~14の何れか一項に記載の画像処理装置。
  16. 前記第1の処理モジュールは、さらに、
    メディアンフィルタで前記元画像に対してフィルタリング処理を行って、前記平滑化画像を得るために用いられる、
    請求項9~14の何れか一項に記載の画像処理装置。
  17. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサと通信接続するメモリとを有する電子機器であって、
    前記メモリに、前記少なくとも1つのプロセッサによって実行され得るコマンドが記憶されており、前記コマンドが前記少なくとも1つのプロセッサによって実行されることで、前記少なくとも1つのプロセッサが請求項1~6のいずれか一項に記載の画像処理方法を実行することができる、
    電子機器。
  18. コンピュータに請求項1~6のいずれか一項に記載の画像処理方法を実行させるためのコンピュータコマンドを記憶している、
    非一時的なコンピュータ読取可能な記憶媒体。
  19. プロセッサにより実行される場合に、請求項1~6のいずれか一項に記載の画像処理方法を実現するコンピュータプログラム。
JP2022172568A 2021-10-27 2022-10-27 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム Pending JP2023002773A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111259230.6A CN113962974A (zh) 2021-10-27 2021-10-27 图像处理方法、装置、电子设备和介质
CN202111259230.6 2021-10-27

Publications (1)

Publication Number Publication Date
JP2023002773A true JP2023002773A (ja) 2023-01-10

Family

ID=79467784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022172568A Pending JP2023002773A (ja) 2021-10-27 2022-10-27 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム

Country Status (4)

Country Link
US (1) US20230048649A1 (ja)
JP (1) JP2023002773A (ja)
KR (1) KR20220151130A (ja)
CN (1) CN113962974A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937050B (zh) * 2023-03-02 2023-10-13 图兮数字科技(北京)有限公司 图像处理方法、装置、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005055588A1 (ja) * 2003-12-03 2005-06-16 Nikon Corporation ノイズ除去の強弱を画面内でコントロ−ルする画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ
JP2006237676A (ja) * 2005-02-22 2006-09-07 Fuji Xerox Co Ltd 画像評価方法および画像評価装置並びにプログラム
JP2013115580A (ja) * 2011-11-28 2013-06-10 Canon Inc 動画像符号化装置及びその制御方法、コンピュータプログラム
WO2013179963A1 (ja) * 2012-05-28 2013-12-05 富士フイルム株式会社 画像処理装置、撮像装置及び画像処理方法、並びにプログラム
JP2015115193A (ja) * 2013-12-11 2015-06-22 凸版印刷株式会社 走査型電子顕微鏡装置の評価方法、及び走査型電子顕微鏡装置の評価装置
JP2016206769A (ja) * 2015-04-17 2016-12-08 セイコーエプソン株式会社 画像処理装置、及び画像処理方法
JP2021506434A (ja) * 2017-12-20 2021-02-22 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 肺画像を評価するためのシステム及び方法
JP2021518966A (ja) * 2018-11-01 2021-08-05 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 医用画像認識方法及びシステム、並びに、モデルトレーニング方法、コンピュータ装置、及びプログラム
JP2021166378A (ja) * 2021-03-03 2021-10-14 独立行政法人 国立印刷局 印刷物の潜像読取方法、潜像読取装置及び潜像読取ソフトウェア

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI407801B (zh) * 2010-08-11 2013-09-01 Silicon Motion Inc 用來進行壞像素補償之方法與用來進行壞像素補償之裝置
CN102169576B (zh) * 2011-04-02 2013-01-16 北京理工大学 一种图像拼接算法定量评价方法
CN103888690B (zh) * 2012-12-19 2018-08-03 韩华泰科株式会社 用于检测缺陷像素的设备和方法
JP6063728B2 (ja) * 2012-12-19 2017-01-18 ハンファテクウィン株式会社Hanwha Techwin Co.,Ltd. 欠陥画素検出装置、欠陥画素検出方法及びプログラム
CN104394377B (zh) * 2014-12-08 2018-03-02 浙江省公众信息产业有限公司 一种监控图像的模糊异常的识别方法及装置
US10282838B2 (en) * 2017-01-09 2019-05-07 General Electric Company Image analysis for assessing image data
CN107330891B (zh) * 2017-07-17 2021-02-19 浙报融媒体科技(浙江)有限责任公司 一种有效的图像质量评价系统
CN109214995A (zh) * 2018-08-20 2019-01-15 阿里巴巴集团控股有限公司 图片质量的确定方法、装置和服务器
US11104077B2 (en) * 2019-03-29 2021-08-31 Xerox Corporation Composite-based additive manufacturing (CBAM) image quality (IQ) verification and rejection handling
CN112529845B (zh) * 2020-11-24 2024-09-17 浙江大华技术股份有限公司 图像质量值确定方法、装置、存储介质及电子装置
CN113379700B (zh) * 2021-06-08 2022-11-25 展讯通信(上海)有限公司 图像质量的检测方法、系统、设备及介质
CN113538286B (zh) * 2021-07-29 2023-03-07 杭州微影软件有限公司 一种图像处理方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005055588A1 (ja) * 2003-12-03 2005-06-16 Nikon Corporation ノイズ除去の強弱を画面内でコントロ−ルする画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ
JP2006237676A (ja) * 2005-02-22 2006-09-07 Fuji Xerox Co Ltd 画像評価方法および画像評価装置並びにプログラム
JP2013115580A (ja) * 2011-11-28 2013-06-10 Canon Inc 動画像符号化装置及びその制御方法、コンピュータプログラム
WO2013179963A1 (ja) * 2012-05-28 2013-12-05 富士フイルム株式会社 画像処理装置、撮像装置及び画像処理方法、並びにプログラム
JP2015115193A (ja) * 2013-12-11 2015-06-22 凸版印刷株式会社 走査型電子顕微鏡装置の評価方法、及び走査型電子顕微鏡装置の評価装置
JP2016206769A (ja) * 2015-04-17 2016-12-08 セイコーエプソン株式会社 画像処理装置、及び画像処理方法
JP2021506434A (ja) * 2017-12-20 2021-02-22 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 肺画像を評価するためのシステム及び方法
JP2021518966A (ja) * 2018-11-01 2021-08-05 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 医用画像認識方法及びシステム、並びに、モデルトレーニング方法、コンピュータ装置、及びプログラム
JP2021166378A (ja) * 2021-03-03 2021-10-14 独立行政法人 国立印刷局 印刷物の潜像読取方法、潜像読取装置及び潜像読取ソフトウェア

Also Published As

Publication number Publication date
US20230048649A1 (en) 2023-02-16
KR20220151130A (ko) 2022-11-14
CN113962974A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
KR102229594B1 (ko) 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체
WO2021036636A1 (zh) 升降设备的振动检测方法、装置、服务器及存储介质
US11380232B2 (en) Display screen quality detection method, apparatus, electronic device and storage medium
JP7429756B2 (ja) 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN103440117B (zh) 视频图像处理的方法及系统
WO2020007118A1 (zh) 显示屏外围电路检测方法、装置、电子设备及存储介质
CN112949767B (zh) 样本图像增量、图像检测模型训练及图像检测方法
US20200355627A1 (en) Method for detecting display screen peripheral circuit, apparatus, electronic device and storage medium
CN102740121B (zh) 应用于视频监控网络的视频质量诊断控制系统及方法
CN109446977B (zh) 基于人脸识别的图像处理方法、装置、存储介质及终端
US20200193635A1 (en) Image positioning system and image positioning method based on upsampling
CN105118027A (zh) 一种图像的去雾方法
JP2023002773A (ja) 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN113052923A (zh) 色调映射方法、装置、电子设备和存储介质
Wang et al. An improved YOLOX approach for low-light and small object detection: PPE on tunnel construction sites
US10366286B2 (en) Detection of traffic light signal changes
CN114037087B (zh) 模型训练方法及装置、深度预测方法及装置、设备和介质
CN116883971A (zh) 目标对象的识别方法及装置、非易失性存储介质
CN113763311A (zh) 图像识别方法及装置、以及自动分拣机器人
CN114429439A (zh) 一种显示故障检测方法、装置、电子设备和存储介质
CN111382726B (zh) 工程作业检测方法以及相关装置
CN116883414B (zh) 一种适用于输电线路运维的多系统数据选择方法和系统
CN104902220A (zh) 基于改进gmm方法的设备运行状态云监控装置
CN116385311A (zh) 低照度图像处理方法、装置、设备及存储介质
CN118509581A (zh) 视频监控质量巡检与故障预警方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230816

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240305