JP2021108169A - 画像処理の方法、装置、機器及び記憶媒体 - Google Patents

画像処理の方法、装置、機器及び記憶媒体 Download PDF

Info

Publication number
JP2021108169A
JP2021108169A JP2021064162A JP2021064162A JP2021108169A JP 2021108169 A JP2021108169 A JP 2021108169A JP 2021064162 A JP2021064162 A JP 2021064162A JP 2021064162 A JP2021064162 A JP 2021064162A JP 2021108169 A JP2021108169 A JP 2021108169A
Authority
JP
Japan
Prior art keywords
image
noise
psnr
original image
added
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021064162A
Other languages
English (en)
Other versions
JP7166382B2 (ja
Inventor
チョンチン ワン
Chengjin Wang
チョンチン ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021108169A publication Critical patent/JP2021108169A/ja
Application granted granted Critical
Publication of JP7166382B2 publication Critical patent/JP7166382B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91357Television signal processing therefor for scrambling ; for copy protection by modifying the video signal
    • H04N2005/91364Television signal processing therefor for scrambling ; for copy protection by modifying the video signal the video signal being scrambled

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】自動運転の分野に関する画像処理方法、装置、機器及び記憶媒体を提供する。【解決手段】方法は、オリジナル画像とノイズ付加画像を取得し、オリジナル画像とノイズ付加画像をそれぞれコーデックして、オリジナル画像に対応する第1の復号画像及びノイズ付加画像に対応する第2の復号画像を取得し、オリジナル画像と第1の復号画像に基づいて、第1の復号画像とオリジナル画像との間の第1のPSNRを取得し、ノイズ付加画像と第2の復号画像に基づいて、第2の復号画像とノイズ付加画像との間の第2のPSNRを取得し、第1のPSNR及び第2のPSNRを出力する。本願は、一部の画像とそれに対応する復号画像との間のPSNRが低いということの信頼できる原因を取得でき、それにより自動運転の信頼性を向上させる。【選択図】図1

Description

本願の実施例は、画像処理の分野に関し、特に、自動運転分野に使用できる画像処理の方法、装置、機器及び記憶媒体に関する。
自動運転システムでは、カメラによって収集されたオリジナルビデオを圧縮符号化してから、ディスクに保存する必要がある。ここで、オリジナルビデオのオリジナル画像と、当該オリジナル画像を圧縮符号化してから復号した後に取得する復号画像との差異は、ピーク信号対雑音比(Peak Signal to Noise Ratio、PSNRと略称する)で特徴付けることができ、オリジナル画像とそれに対応する復号画像との間のPSNR値が低いほど、オリジナル画像とそれに対応する復号画像との差異が大きいことを意味する。
現在、検出により、オリジナルビデオの一部のオリジナル画像とそれに対応する復号画像との間のPSNRが、第1のプリセットの閾値より小さい値であることを分かり、これは、一部のオリジナル画像はコーデックして取得した復号画像がオリジナル画像と大きく異なること、即ち、復号画像の品質が悪いことを意味し、復号画像の品質は自動運転の正常な運行に直接に影響するため、オリジナル画像とそれに対応する復号画像との間のPSNRが低い原因を取得することは特に重要である。
しかし、現在提供された、一部の画像とそれに対応する復号画像との間のPSNRが低い原因は、いずれも一部の推測にすぎず、信頼性が低い。そのため、画像とそれに対応するコーデック後の復号画像との間のPSNRが低いということの信頼できる原因をどのように取得するかは、早急に解決する必要のある技術的な問題である。
本願は、画像処理の方法、装置、機器及び記憶媒体を提供し、画像とそれに対応するコーデック後の復号画像との間のPSNRが低いということの信頼できる原因を取得でき、それにより自動運転車両の正常な運行を確保する。
本願の第1の態様によれば、画像処理方法を提供し、当該方法は、オリジナル画像とノイズ付加画像を取得することであって、前記ノイズ付加画像は、前記オリジナル画像にノイズを加えた後の画像であり、前記オリジナル画像においてノイズのあるピクセルの数はプリセットの数より少ない、取得することと、前記オリジナル画像及び前記ノイズ付加画像をそれぞれコーデックして、前記オリジナル画像に対応する第1の復号画像、及び前記ノイズ付加画像に対応する第2の復号画像を取得することと、前記オリジナル画像と前記第1の復号画像に基づいて、前記第1の復号画像と前記オリジナル画像との間の第1のピーク信号対雑音比PSNRを取得することと、前記ノイズ付加画像と前記第2の復号画像に基づいて、前記第2の復号画像と前記ノイズ付加画像との間の第2のPSNRを取得することと、前記第1のPSNR及び前記第2のPSNRを出力することと、を含む。
本願の第2の態様によれば、画像処理装置を提供し、当該装置は、車両の、自動運転システムを実行する車載端末に適用される画像処理装置であって、取得モジュール、コーデックモジュール、及び出力モジュールを含み、前記取得モジュールは、オリジナル画像とノイズ付加画像を取得するために用いられ、ただし、前記ノイズ付加画像は、前記オリジナル画像にノイズを加えた後の画像であり、前記オリジナル画像においてノイズのあるピクセルの数はプリセットの数より少なく、前記コーデックモジュールは、前記オリジナル画像及び前記ノイズ付加画像をそれぞれコーデックして、前記オリジナル画像に対応する第1の復号画像、及び前記ノイズ付加画像に対応する第2の復号画像を取得するために用いられ、前記取得モジュールは、さらに、前記オリジナル画像と前記第1の復号画像に基づいて、前記第1の復号画像と前記オリジナル画像との間の第1のピーク信号対雑音比PSNRを取得し、且つ、前記ノイズ付加画像と前記第2の復号画像に基づいて、前記第2の復号画像と前記ノイズ付加画像との間の第2のPSNRを取得するために用いられ、前記出力モジュールは、前記第1のPSNR及び前記第2のPSNRを出力するために用いられる。
本願の第3の態様によれば、電子機器を提供し、前記電子機器は、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサに通信接続されるメモリと、を含み、ただし、前記メモリには前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも1つのプロセッサが請求項1〜9のいずれか一項に記載の画像処理方法を実行できるように、上記第1の態様のいずれかに記載の方法を実行させる。
本願の第4の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令はコンピュータに上記第1の態様のいずれかに記載の方法を実行させるために用いられる。
本願の第5の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータ可読記憶媒体に記憶され、電子機器の少なくとも1つのプロセッサは、前記コンピュータ可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも1つのプロセッサは、前記コンピュータプログラムを実行することによって、前記電子機器に上記第1の態様のいずれかに記載の方法を実行させる。
本願による技術手段は、画像とそれに対応するコーデック後の復号画像との間のPSNRが低いということの信頼できる原因を取得できないという技術的問題を解決し、自動運転車両の正常な運行を確保する。
本明細書に記載の内容は、本願の実施例の主要な特徴又は重要な特徴を特定することを意図したものではなく、本願の範囲を限定することを意図したものでもないことを理解されたい。本願のその他の特徴は、以下の明細書によって容易に理解される。
図面は、本実施形態をより良く理解するために使用され、本願の制限を構成するものではない。
本願の実施例にて提供される画像処理方法のフローチャート1である。 本願の実施例にて提供される画像処理方法のフローチャート2である。 本願の実施例にて提供されるシステムアーキテクチャ図1である。 本願の実施例にて提供されるシステムアーキテクチャ図2である。 本願の実施例にて提供されるシステムアーキテクチャ図3である。 本願の実施例にて提供されるシステムアーキテクチャ図4である。 本願の実施例にて提供されるシステムアーキテクチャ図5である。 本願の実施例にて提供されるシステムアーキテクチャ図6である。 本願の実施例にて提供される第1のオリジナル画像の概略図である。 本願の実施例にて提供される第1のオリジナル画像にソルトノイズを加えた後のノイズ付加画像の概略図である。 本願の実施例にて提供される第1のオリジナル画像にペッパーノイズを加えた後のノイズ付加画像の概略図である。 本願の実施例にて提供される第1のオリジナル画像にガウスノイズを加えた後のノイズ付加画像の概略図である。 本願の実施例にて提供される画像処理装置の構造概略図である。 本願の実施例の画像処理方法を実現するための電子機器のブロック図である。
以下、図面を参照しながら本願の例示的な実施例を説明するが、この説明には、理解を容易にするために本願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを理解できる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造についての説明を省略する。
本願は、画像処理の方法、装置、機器及び記憶媒体を提供し、画像処理分野における自動運転の分野に適用され、それにより、取得された画像とそれに対応するコーデック後の復号画像との間のPSNRが低いということの信頼できる原因を取得し、自動運転の正常な運行を確保するという目的を達成する。
自動運転システムにおいて、カメラによって収集されたオリジナルビデオを圧縮符号化してから、ディスクに保存する必要がある。ただし、オリジナルビデオのオリジナル画像と、当該オリジナル画像を圧縮符号化してから復号した後に取得した復号画像との差異は、ピーク信号対雑音比(Peak Signal to Noise Ratio、PSNRと略称する)によって特徴付けられ、オリジナル画像とそれに対応する復号画像との間のPSNR値が低いほど、オリジナル画像とそれに対応する復号画像との差異が大きいことを意味する。
現在、検出により、オリジナルビデオの一部のオリジナル画像とそれに対応するコーデック後の復号画像との間のPSNRが、第1のプリセットの閾値より小さい値であることが分かり、これは、当該一部のオリジナル画像をコーデックして取得した復号画像が深刻な損傷を受けていることを示し、復号画像の品質が自動運転の正常な運行に直接に影響するため、一部のオリジナル画像とそれに対応する復号画像との間のPSNRが低い原因を取得することは特に重要である。しかし、現在提供される、一部の画像とそれに対応する復号画像との間のPSNRが低い原因は、いずれも推測にすぎず、理論的根拠がない。例えば、対応するPSNRが第1のプリセットの閾値より小さい全ての画像を取得して、共通点を観察し、詳細な検出により分かるように、対応するPSNRが第1のプリセットの閾値より小さい画像は、いずれもオリジナル画像のノイズが大きいという問題があり、そのため、一部の画像とそれに対応する復号画像との間のPSNRが低いと推測する原因は次のとおりである。コーデックアルゴリズムに問題があることにより、画像ノイズが大きい場合、画像に対応する復号画像と当該画像との差異が大きく、即ち、画像とそれに対応する復号画像との間のPSNRが低い。しかし、この原因はただの推測にすぎず、理論的根拠はない。したがって、一部の画像とそれに対応する復号画像との間のPSNRが低いということの信頼できる原因を取得する方法は、早急に解決する必要のある技術的な問題である。
本願は、上記の技術的問題を解決するために、画像処理方法を提供し、明らかなノイズのないオリジナル画像とそれに対応する復号画像との間のPSNRを取得し、且つ、当該オリジナル画像にノイズを加えた後のノイズ付加画像とそれに対応する復号画像との間のPSNRを取得することにより、当該2つのPSNRに基づいて、一部の画像とそれに対応する復号画像との間のPSNRが低いということの信頼できる原因を決定することができる。以下、具体的な実施例を用いて本願の画像処理方法について説明する。
図1は、本願の実施例にて提供される画像処理方法のフローチャート1であり、本実施例の方法は自動運転システムを実行する車載端末に適用され、図1に示すように、本実施例の方法はステップS101〜S105を含む。
ステップS101、車載端末が第1のオリジナル画像とノイズ付加画像を取得し、ただし、当該ノイズ付加画像は、当該第1のオリジナル画像にノイズを加えた後の画像であり、第1のオリジナル画像においてノイズのあるピクセルの数はプリセットの数より少ない。
即ち、本ステップの第1のオリジナル画像は、明らかなノイズのない画像である。
ここで、当該第1のオリジナル画像と当該ノイズ付加画像のフォーマットは、YUVフォーマットであってもよい。
ステップS102、車載端末は当該第1のオリジナル画像及び当該ノイズ付加画像をそれぞれコーデックして、当該第1のオリジナル画像に対応する第1の復号画像、及び当該ノイズ付加画像に対応する第2の復号画像を取得する。
本実施例では、画像をコーデックするステップは、画像を圧縮符号化してから当該画像を解凍することを意味し、解凍は復号のことである。例えば、当該第1のオリジナル画像に対応する第1の復号画像とは、第1のオリジナル画像を圧縮符号化してから復号することで取得する画像を言い、当該ノイズ付加画像に対応する第2の復号画像とは、ノイズ付加画像を圧縮符号化してから復号することで取得した画像を言う。
本実施例において、現在、画像をコーデックする方法は現在の一般的な方法であり、例えば、H265プロトコルに基づくビデオのコーデック方法がある。
ステップS103、車載端末は当該第1のオリジナル画像及び当該第1の復号画像に基づいて、当該第1のオリジナル画像と当該第1の復号画像との間の第1のPSNRを取得する。
ここで、現在、当該第1のオリジナル画像と当該第1の復号画像との間のPSNRを取得する方法は現在の一般的な方法であり、ここでは詳細な説明を省略する。
ステップS104、車載端末は当該ノイズ付加画像及び当該第2の復号画像に基づいて、当該ノイズ付加画像と当該第2の復号画像との間の第2のPSNRを取得する。
ここで、現在、当該ノイズ付加画像と当該第2の復号画像との間のPSNRを取得する方法は一般的な方法であり、ここでは詳細な説明を省略する。
ステップS105、車載端末は当該第1のオリジナル画像と当該第1の復号画像との間の第1のPSNR、及び当該ノイズ付加画像と当該第2の復号画像との間の第2のPSNRを出力する。
1つの方式では、車載端末は、車載端末のディスプレイが第1のPSNR及び第2のPSNRを表示するように、当該第1のPSNR及び当該第2のPSNRを車載端末のディスプレイに出力することが可能である。
別の方式では、車載端末は、他の機器が当該第1のPSNR及び当該第2のPSNRを表示するように、当該第1のPSNR及び当該第2のPSNRを、ディスプレイを備えた他の機器に出力することが可能である。他の機器は、端末機器又はサーバであってもよい。
本実施例では、第1のオリジナル画像と第1のオリジナル画像に対応する第1の復号画像との間の第1のPSNR、及び、ノイズ付加画像と当該ノイズ付加画像に対応する第2の復号画像との間の第2のPSNRを取得し、第1のオリジナル画像はノイズの少ない画像であるため、ノイズの干渉を受けずに、第1のPSNRに基づいて、コーデックアルゴリズムが、一部の画像とそれに対応する復号画像との間のPSNRが低くなる原因であるか否かを決定できる。一部の画像とそれに対応する復号画像との間のPSNRが低くなる原因が、コーデックアルゴリズムではないと決定した場合、第2のPSNR値に基づいて、一部の画像とそれに対応する復号画像との間のPSNRが低くなる原因を決定でき、例えば、第2のPSNR値が小さい場合、車載端末がノイズ付加画像を圧縮符号化する前にノイズ低減処理を行ったことを決定できる。即ち、本実施例の方法によって、第1のPSNR及び第2のPSNRの2つの客観的実験データを取得し、当該2つの客観的実験データを分析することで、画像とそれに対応する復号画像との間のPSNRが低いということの信頼できる原因を取得することができ、それにより自動運転の正常な運行を保証する。
以下、第1のPSNR及び第2のPSNRのいくつかの具体的な例を挙げて、一部の画像とそれに対応する復号画像との間のPSNRが低いということの信頼できる原因を決定するプロセスについて説明する。
1つの具体的な例において、表1−1に示すように、第1のオリジナル画像は画像1であり、第1のオリジナル画像とそれに対応する第1の復号画像との間の第1のPSNRは40.582であり、第1のオリジナル画像にソルトノイズを加えた後のノイズ付加画像11とそれに対応する第2の復号画像との間の第2のPSNRは17.609である。又は、表1−2に示すように、第1のオリジナル画像は画像2であり、第1のオリジナル画像と第1のオリジナル画像に対応する第1の復号画像との間の第1のPSNRは38.337であり、第1のオリジナル画像にソルトノイズを加えた後のノイズ付加画像21とノイズ付加画像21に対応する第2の復号画像との間の第2のPSNRは18.261である。
Figure 2021108169
Figure 2021108169
別の具体的な例において、表2−1に示すように、第1のオリジナル画像は画像1であり、第1のオリジナル画像とそれに対応する第1の復号画像との間の第1のPSNRは40.582であり、第1のオリジナル画像にペッパーノイズを加えた後のノイズ付加画像12とノイズ付加画像12に対応する第2の復号画像との間の第2のPSNRは29.064である。又は、表2−2に示すように、第1のオリジナル画像は画像2であり、第1のオリジナル画像と第1のオリジナル画像に対応する第1の復号画像との間の第1のPSNRは38.337であり、第1のオリジナル画像にペッパーノイズを加えた後のノイズ付加画像22とノイズ付加画像22に対応する第2の復号画像との間の第2のPSNRは26.632である。
Figure 2021108169
Figure 2021108169
さらなる具体的な例において、表3−1に示すように、第1のオリジナル画像は画像1であり、第1のオリジナル画像とそれに対応する第1の復号画像との間の第1のPSNRは40.582であり、第1のオリジナル画像にガウスノイズを加えた後のノイズ付加画像13と、ノイズ付加画像13に対応する第2の復号画像との間の第2のPSNRは20.628である。又は、表3−2に示すように、第1のオリジナル画像は画像2であり、第1のオリジナル画像と第1のオリジナル画像に対応する第1の復号画像との間の第1のPSNRは38.337であり、第1のオリジナル画像にガウスノイズを加えた後のノイズ付加画像23とノイズ付加画像23に対応する第2の復号画像との間の第2のPSNRは20.094である。
Figure 2021108169
Figure 2021108169
第2のプリセットの閾値が35である場合、上記のいくつかの例から分かるように、第1のオリジナル画像と、第1のオリジナル画像に対応する第1の復号画像との間の第1のPSNRはいずれも高く、かつ、第2のプリセットの閾値より大きく、これは、第1のオリジナル画像とそれに対応する第1の復号画像との差異が小さいことを示し、即ち、当該コーデックアルゴリズムによって、第1のオリジナル画像の圧縮及び解凍プロセスにおいて第1のオリジナル画像のオリジナル情報の損失がわずかにすると、コーデックアルゴリズムは問題がないため、第2のPSNRが低い原因ではなく、即ち、それは一部の画像とそれに対応する復号画像との間のPSNRが低い原因でもない。
第2のPSNRは、第1のPSNRより明らかに小さいため、コーデックアルゴリズムに問題がない場合、理論上では、ノイズ付加画像とそれに対応する第2の復号画像との差異も大きくないが、第2のPSNRが第1のPSNRより明らかに低いことから分かるように、ノイズ付加画像とそれに対応する第2の復号画像との差異が大きいため、車載端末がノイズ付加画像を圧縮符号化する前にノイズ低減処理を行ったことを決定でき、これは、ノイズ低減処理されたノイズ付加画像とノイズ付加画像との差異が大きいと、ノイズ低減処理されたノイズ付加画像をコーデックして取得した第2の復号画像とノイズ付加画像との差異も大きくなるためであり、その結果、ノイズ付加画像と当該第2の復号画像との間の第2のPSNRが低くなり、即ち、車載端末がノイズ付加画像を圧縮符号化する前にノイズ低減処理を行ったことが、第2のPSNRが低い原因であり、つまり、一部の画像とそれに対応する復号画像との間のPSNRが低い原因は、車載端末が当該画像を圧縮符号化する前にノイズ低減処理を行ったことである。当該原因は、第1のPSNRが第2のプリセットの閾値より高いこともサポートし、分析結果は以下のとおりである。第1のオリジナル画像のノイズが小さく、車載端末が第1のオリジナル画像を圧縮符号化する前にノイズ低減処理を行い、ノイズ低減処理された第1のオリジナル画像と、第1のオリジナル画像との差異が非常に小さいため、コーデックアルゴリズムに問題がない場合、ノイズ低減処理された第1のオリジナル画像をコーデックして取得した第1の復号画像と、第1のオリジナル画像との差異も小さくなり、その結果、第1のPSNRが高くなる。そのため、車載端末が画像を圧縮符号化する前にノイズ低減処理を行ったことは、一部の画像とそれに対応する復号画像との間のPSNRが低くなる信頼できる原因になる。
一部の画像とそれに対応する復号画像との間のPSNRが低いということの信頼できる原因の取得効率を向上させるために、本実施例は、前の実施例を基に改良した。図2は、本願の実施例にて提供される画像処理方法のフローチャート2であり、図2に示すように、本実施例は、前の実施例に加え、ステップS201〜S202をさらに含む。
ステップS201、車載端末は、第1のオリジナル画像と第1のオリジナル画像に対応する復号画像との間の第1のPSNR、及びノイズ付加画像と当該ノイズ付加画像に対応する第2の復号画像との間の第2のPSNRに基づいて、第2のPSNRが低い原因を取得する。
具体的な一実施形態において、車載端末は、プリセットの分析ルール、第1のPSNR、及び第2のPSNRに基づいて、第2のPSNRが低い原因を取得する。分析ルールは、例えば、以下の(1)と(2)を含んでもよい。(1)、第1のPSNRが第2のプリセットの閾値より大きく、かつ、第2のPSNRが第1のPSNRより低く、また第2のPSNRが低い原因がコーデックアルゴリズムではないと決定した場合、第2のPSNRが低い原因は、車載端末が画像を圧縮符号化する前にノイズ低減処理を行ったことである。(2)、第1のPSNRが第2のプリセットの閾値より小さい場合、第2のPSNRが低い原因のうちの1つは、コーデックアルゴリズムが適用できないことであると決定する。ただし、プリセットの分析ルールは正しい理論に基づいて得られたものである。
ステップS202、車載端末は、第2のPSNRが低い原因を指示するための指示情報を出力する。
1つの方式では、車載端末は、車載端末のディスプレイが指示情報を表示するように、当該指示情報を車載端末のディスプレイに出力することが可能である。
別の方式では、車載端末は、他の機器が当該指示情報を表示するように、当該指示情報をディスプレイを備えた他の機器に出力することが可能である。他の機器は、端末機器又はサーバであってもよい。
本実施例では、車載端末は一部の画像とそれに対応する復号画像との間のPSNRが低いということの信頼できる原因を取得し、人間による分析は必要でなく、一部の画像とそれに対応する復号画像との間のPSNRが低いということの信頼できる原因の取得効率を向上させる。
以下、具体的な実施例を用いて、図1又は図2に示す実施例について詳しく説明する。
まず、具体的な実施例を用いて、「車載端末が第1のオリジナル画像とノイズ付加画像を取得する」ことについて説明する。
「車載端末が第1のオリジナル画像とノイズ付加画像を取得する」ことは以下いくつかの方法を含むが、これらに限定されない。
第1の方式では、車載端末が第1のオリジナル画像とノイズ付加画像を取得することは、他の機器からの第1のオリジナル画像を受信することと、第1のオリジナル画像にノイズを加えて、ノイズ付加画像を生成することと、を含む。ただし、他の機器はサーバ又は端末機器であり得る。第1のオリジナル画像は任意の撮影機器で撮影した画像であり得る。
車載端末が第1のPSNR及び第2のPSNRを他の機器に出力する場合、このような方式に対応するシステムアーキテクチャは図3Aに示すとおりである。図3Aに示すように、他の機器は、自動運転システムを実行する車載端末に第1のオリジナル画像を送信し、車載端末は第1のオリジナル画像を受信して、第1のオリジナル画像にノイズを加え、ノイズ付加画像を取得し、車載端末は第1のオリジナル画像及びノイズ付加画像に基づいて、第1のPSNR及び第2のPSNRを取得し、第1のPSNR及び第2のPSNRを他の機器に出力する。選択可能に、車載端末は図2に示す実施例における指示情報も他の機器に出力することができる。
車載端末が第1のPSNR及び第2のPSNRを車載端末のディスプレイに出力する場合、このような方式に対応するシステムアーキテクチャは図3Bに示すとおりである。図3Bに示すように、他の機器は、自動運転システムを実行する車載端末に第1のオリジナル画像を送信し、車載端末は第1のオリジナル画像を受信して、第1のオリジナル画像にノイズを加えてノイズ付加画像を取得し、車載端末は第1のオリジナル画像及びノイズ付加画像に基づいて、第1のPSNR及び第2のPSNRを取得し、第1のPSNR及び第2のPSNRを車載端末のディスプレイに出力する。選択可能に、車載端末は図2に示す実施例における指示情報も車載端末のディスプレイに出力することができる。
このような方式により、他の機器と車載端末とのシグナリングオーバーヘッドを節約できる。
第2の方式では、車載端末が第1のオリジナル画像とノイズ付加画像を取得することは、車載端末が他の機器からの第1のオリジナル画像及びノイズ付加画像を受信することを含む。ただし、他の機器はサーバ又は端末機器であり得る。第1のオリジナル画像は任意の撮影機器で撮影した画像であり得る。
車載端末が第1のPSNR及び第2のPSNRを他の機器に出力する場合、このような方式に対応するシステムアーキテクチャは図4Aに示すとおりであり、図4Aに示すように、他の機器は第1のオリジナル画像にノイズを加えて、ノイズ付加画像を取得し、自動運転システムを実行する車載端末に第1のオリジナル画像及びノイズ付加画像を送信し、車載端末は第1のオリジナル画像及びノイズ付加画像に基づいて、第1のPSNR及び第2のPSNRを取得し、第1のPSNR及び第2のPSNRを他の機器に出力する。選択可能に、車載端末は図2に示す実施例における指示情報も他の機器に出力することができる。他の機器が第1のオリジナル画像にノイズを加えてノイズ付加画像を取得する方法は、車載端末が第1のオリジナル画像にノイズを加えてノイズ付加画像を取得する方法と同じであってもよいことは理解できる。
車載端末が第1のPSNR及び第2のPSNRを車載端末のディスプレイに出力する場合、このような方式に対応するシステムアーキテクチャは図4Bに示すとおりである。図4Bに示すように、他の機器は第1のオリジナル画像にノイズを加えて、ノイズ付加画像を取得し、自動運転システムを実行する車載端末に第1のオリジナル画像及びノイズ付加画像を送信し、車載端末は第1のオリジナル画像及びノイズ付加画像に基づいて、第1のPSNR及び第2のPSNRを取得し、第1のPSNR及び第2のPSNRを車載端末のディスプレイに出力する。選択可能に、車載端末は図2に示す実施例における指示情報も車載端末のディスプレイに出力することができる。
このような方式により、自動運転システムを実行する車載端末の消費電力を低減することができる。
第3の方式では、車載端末が第1のオリジナル画像及びノイズ付加画像を取得することは、車載端末が第1のカメラからの第1のオリジナル画像を受信し、第1のカメラは、車載端末が配置された車両に設けられたカメラであることと、車載端末が第1のオリジナル画像にノイズを加えて、ノイズ付加画像を取得することと、を含む。つまり、第1のオリジナル画像は、車載端末が配置された車両に設けられたカメラで撮影した画像であり、具体的には、当該車両の自動運転の時に、当該車両に設けられたカメラによって収集されるビデオの1フレームの画像であってよい。
車載端末が第1のPSNR及び第2のPSNRを他の機器に出力する場合、このような方式に対応するシステムアーキテクチャは図5Aに示すとおりであり、図5Aに示すように、自動運転システムを実行する車載端末が配置された車両に設けられた第1のカメラは、第1のオリジナル画像を撮影した後、当該車載端末に第1のオリジナル画像を送信し、車載端末は第1のオリジナル画像を取得し、車載端末は第1のオリジナル画像にノイズを加えて、ノイズ付加画像を取得し、車載端末は第1のオリジナル画像及びノイズ付加画像に基づいて、第1のPSNR及び第2のPSNRを取得し、第1のPSNR及び第2のPSNRを他の機器に出力する。選択可能に、車載端末は図2に示す実施例における指示情報も他の機器に出力することもできる。
車載端末が第1のPSNR及び第2のPSNRを車載端末のディスプレイに出力する場合、このような方式に対応するシステムアーキテクチャは図5Bに示すとおりである。図5Bに示すように、自動運転システムを実行する車載端末が配置された車両に設けられた第1のカメラは、第1のオリジナル画像を撮影した後、当該車載端末に第1のオリジナル画像を送信し、車載端末は第1のオリジナル画像を取得し、車載端末は第1のオリジナル画像にノイズを加えて、ノイズ付加画像を取得し、車載端末は第1のオリジナル画像及びノイズ付加画像に基づいて、第1のPSNR及び第2のPSNRを取得し、第1のPSNR及び第2のPSNRを車載端末のディスプレイに出力する。選択可能に、車載端末は図2に示す実施例における指示情報も車載端末のディスプレイに出力することができる。
このような方式により、他の機器と車載端末とのシグナリングオーバーヘッドを節約することができ、また第1のオリジナル画像及びノイズ付加画像の取得効率を向上させることもできる。
本実施例は、車載端末が第1のオリジナル画像及びノイズ付加画像を取得することに関するいくつかの具体的な実現方式を提供した。
次に、具体的な実施例を用いて、「車載端末が第1のオリジナル画像にノイズを加えて、ノイズ付加画像を生成する」ことの具体的な実現について説明する。
画像を信号として見なすと、ノイズは干渉信号である。即ち、画像を関数と見なすことができ、ノイズ付加画像の関数を、オリジナル画像の関数にノイズ関数を加えた合計と見なすことができる。加えられたノイズが異なると、対応するノイズ関数も異なる。
具体的には、「車載端末が第1のオリジナル画像にノイズを加えて、ノイズ付加画像を生成する」ことの具体的な実現は、以下のいくつかの方式を含むが、これらに限定されない。
第1の方式では、車載端末が第1のオリジナル画像にノイズを加えて、ノイズ付加画像を生成することは、第1のオリジナル画像にソルトノイズを加えて、ノイズ付加画像を取得することを含む。
ここで、第1のオリジナル画像にソルトノイズを加えることは、第1のオリジナル画像の少なくとも1つのピクセルをランダムに選択してソルトノイズを加え、即ち、ランダムに第1のオリジナル画像の少なくとも1つのピクセルを強度値が255である白点に変換することを含み得る。
例示的には、図6Aは、本願の実施例にて提供される第1のオリジナル画像の概略図であり、図6Bは、本願の実施例にて提供される第1のオリジナル画像にソルトノイズを加えた後のノイズ付加画像の概略図である。
第2の方式では、車載端末が第1のオリジナル画像にノイズを加えてノイズ付加画像を生成することは、前記第1のオリジナル画像にペッパーノイズを加えて、ノイズ付加画像を取得することを含む。
ここで、第1のオリジナル画像にペッパーノイズを加えることは、第1のオリジナル画像の少なくとも1つのピクセルをランダムに選択してペッパーノイズを加え、即ち、ランダムに第1のオリジナル画像の少なくとも1つのピクセルを強度値が0である黒点に変換することを含む。
例示的に、図7は、本願の実施例にて提供される第1のオリジナル画像にペッパーノイズを加えた後のノイズ付加画像の概略図である。
第3の方式では、車載端末が第1のオリジナル画像にノイズを加えて、ノイズ付加画像を生成することは、前記第1のオリジナル画像にソルトアンドペッパーノイズを加えて、ノイズ付加画像を取得することを含む。
ここで、第1のオリジナル画像にソルトアンドペッパーノイズを加えることは、第1のオリジナル画像の少なくとも1つのピクセルをランダムに選択して強度値が0である黒点に変換することと、第1のオリジナル画像の少なくとも1つのピクセルをランダムに選択して強度値が255である白点に変換することと、を含む。
第4の方式では、車載端末が第1のオリジナル画像にノイズを加えて、ノイズ付加画像を生成することは、第1のオリジナル画像にガウスノイズを加えて、ノイズ付加画像を取得することを含む。具体的には、車載端末がオリジナル画像の各々のピクセルにガウスノイズを加えて、ノイズ付加画像を取得することであってもよい。
例示的に、図8は、本願の実施例にて提供される第1のオリジナル画像にガウスノイズを加えた後のノイズ付加画像の概略図である。
上記のノイズ付加方式は例示に過ぎず、他のノイズ付加方法を用いてノイズ付加画像を取得することもでき、本実施例ではこれについて限定しない。
本実施例は「車載端末が第1のオリジナル画像にノイズを加えて、ノイズ付加画像を生成する」に関するいくつかの具体的な実現を提供した。
以上では、本願の画像処理方法について説明し、以下、本願に関連する画像処理装置について説明する。
図9は、本願の実施例にて提供される画像処理装置の構造概略図であり、前記装置は車両の、自動運転システムを実行する車載端末に適用される。図9に示すように、本実施例に係る装置は、取得モジュール901と、コーデックモジュール902と、出力モジュール903と、を含む。
取得モジュール901は、オリジナル画像とノイズ付加画像を取得するために用いられ、ただし、前記ノイズ付加画像は、前記オリジナル画像にノイズを加えた後の画像であり、前記オリジナル画像においてノイズのあるピクセルの数はプリセットの数より少ない。
コーデックモジュール902は、前記オリジナル画像及び前記ノイズ付加画像をそれぞれコーデックして、前記オリジナル画像に対応する第1の復号画像、及び前記ノイズ付加画像に対応する第2の復号画像を取得するために用いられる。
前記取得モジュール901は、さらに、前記オリジナル画像と前記第1の復号画像に基づいて、前記第1の復号画像と前記オリジナル画像との間の第1のピーク信号対雑音比PSNRを取得し、且つ、前記ノイズ付加画像と前記第2の復号画像に基づいて、前記第2の復号画像と前記ノイズ付加画像との間の第2のPSNRを取得するために用いられる。
出力モジュール903は、前記第1のPSNR及び前記第2のPSNRを出力するために用いられる。
選択可能に、前記取得モジュール901は、具体的には、前記オリジナル画像及び前記ノイズ付加画像を受信するために用いられる。
選択可能に、前記取得モジュール901は、具体的には、前記オリジナル画像を受信し、前記オリジナル画像にノイズを加えて、前記ノイズ付加画像を生成するために用いられる。
選択可能に、前記取得モジュール901は、具体的には、前記オリジナル画像の少なくとも1つのピクセルをランダムに選択してソルトノイズ又はペッパーノイズを加えて、前記ノイズ付加画像を取得するために用いられる。
選択可能に、前記取得モジュール901は、具体的には、前記オリジナル画像の少なくとも1つの第1のピクセルをランダムに選択してソルトノイズを加え、前記オリジナル画像の少なくとも1つの第2のピクセルをランダムに選択してペッパーノイズを加えて、前記ノイズ付加画像を取得するために用いられる。
選択可能に、前記取得モジュール901は、具体的には、前記オリジナル画像の各々のピクセルにガウスノイズを加えて、前記ノイズ付加画像を取得するために用いられる。
選択可能に、前記第1のPSNRがプリセットの閾値より大きく、かつ、前記第1のPSNRが前記第2のPSNRより大きく、前記取得モジュール901は、さらに、第1のPSNR及び前記第2のPSNRに基づいて、前記第2のPSNRが低い原因を取得するために用いられ、前記出力モジュール903は、さらに、前記第2のPSNRが低い原因を指示するための指示情報を出力するために用いられる。
選択可能に、前記オリジナル画像は、前記車両の自動運転の時に、前記車両に設けられたカメラによって収集されるビデオの1フレームの画像である。
選択可能に、前記オリジナル画像のフォーマットは、YUVフォーマットである。
本実施例の装置は、上記の方法の実施例の技術的解決手段を実行するために用いられ、その実現原理と技術的効が類似するため、ここでは詳細な説明を省略する。
本願の実施例によれば、本願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。
図10に示すように、本願の実施例による画像処理方法を実現するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及びその他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを意図している。電子機器は、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブルデバイス、他の類似するコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書に示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び/又は要求される本願の実現を制限する意図したものではない。
図10に示すように、当該電子機器は、1つ又は複数のプロセッサ1001と、メモリ1002と、高速インターフェース及び低速インターフェースを含む各コンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスを介して互いに接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けられることができる。プロセッサは、電子機器内で実行される命令を処理することができ、当該命令は、外部入力/出力装置(例えば、インターフェースに結合されたディスプレイデバイスなど)にGUIのグラフィック情報を表示するために、メモリ内又はメモリ上に格納されている命令を含む。他の実施形態では、複数のプロセッサ及び/又は複数のバスを、必要に応じて、複数のメモリと一緒に使用することができる。同様に、複数の電子機器を接続することができ、各機器は一部の必要な操作(例えば、サーバアレイ、ブレードサーバのグループ、又はマルチプロセッサシステムとする)を提供することができる。図10では、1つのプロセッサ1001を例とする。
メモリ1002は、本願にて提供される非一時的なコンピュータ読み取り可能な記憶媒体である。前記メモリには、少なくとも1つの前記プロセッサが本願にて提供されるスクリーン画像処理方法を実行するように、前記少なくとも1つのプロセッサによって実行可能な命令が格納されている。本願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本願にて提供される画像処理方法を実行させるためのコンピュータ命令が格納されている。
メモリ1002は、非一時的なコンピュータ読み取り可能な記憶媒体として、本願の実施例における画像処理方法に対応するプログラム命令/モジュール(例えば、図9に示す取得モジュール901、コーデックモジュール902及び出力モジュール903)のような非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを格納することができる。プロセッサ1001は、メモリ1002に格納されている非一時的なソフトウェアプログラム、命令、及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち、上記方法の実施例におけるスクリーン画像処理方法を実現する。
メモリ1002は、プログラム記憶領域及びデータ記憶領域を含むことができ、ただし、プログラム記憶領域は、オペレーティングシステム、及び少なくとも1つの機能に必要なアプリケーションプログラムを格納することができ、データ記憶領域は、画像処理の電子機器の使用にしたがって作成されたデータなどを格納することができる。また、メモリ1002は、高速ランダムアクセスメモリを含むことができ、さらに、例えば少なくとも1つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスなどの非一時的なメモリを含むことができる。一部の実施例では、メモリ1002は、プロセッサ1001に対して遠隔に設置されたメモリを選択的に含んでもよく、これらの遠隔メモリは、ネットワークを介して画像処理の電子機器に接続されることができる。上記のネットワークの例には、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。
画像処理方法の電子機器は、入力装置1003と出力装置1004とをさらに含んでもよい。プロセッサ1001、メモリ1002、入力装置1003及び出力装置1004は、バス又は他の方式を介して接続することができ、図10では、バスを介して接続することを例とする。
入力装置1003は、入力された数字又はキャラクター情報を受信すること、画像処理の電子機器のユーザ設定及び機能制御に関連するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ディスプレイデバイス、1つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置1004は、ディスプレイデバイス、補助照明装置(例えば、LED)、触覚フィードバックデバイス(例えば、振動モータ)などを含んでもよい。当該ディスプレイデバイスは、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、及びプラズマディスプレイを含んでもよいが、これらに限定されない。一部の実施形態では、ディスプレイデバイスはタッチスクリーンであり得る。
本明細書で説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムで実施され、当該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び/又は解釈されることができ、当該プログラマブルプロセッサは専用又は汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、少なくとも1つの入力装置、及び少なくとも1つの出力装置に伝送することができる。
これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる)には、プログラマブルプロセッサの機械命令が含まれ、高レベルのプロセス及び/又はオブジェクト指向のプログラミング言語、及び/又はアセンブリ/機械言語でこれらのコンピュータプログラムを実施することができる。本明細書に使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び/又は装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジック機器(PLD))を指し、機械読み取り可能な信号である機械命令を受信するための機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、プログラマブルプロセッサに機械命令及び/又はデータを提供するための任意の信号を指す。
本開示の実施例の別の態様において、本開示の実施例はさらに、コンピュータプログラムをさらに提供し、前記コンピュータプログラムは、コンピュータ可読記憶媒体に記憶され、電子機器の少なくとも1つのプロセッサは、コンピュータ可読記憶媒体からコンピュータプログラムを読み取ることができ、少なくとも1つのプロセッサは、コンピュータプログラムを実行することによって、電子機器に上記実施例に記載の方法を実行させる。
ユーザとのインタラクションを提供するために、コンピュータ上で本明細書に説明したシステム及び技術をコンピュータに実施することができ、当該コンピュータは、ユーザに情報を表示するための表示装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウスやトラックボール)とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって、コンピュータに入力することが可能になる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック(例えば、視覚的フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、そして、任意の形態(音響入力、音声入力、又は触覚入力を含む)でユーザからの入力を受信できる。
本明細書に説明したシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインターフェース又はWEBブラウザーを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインターフェース又は当該WEBブラウザーを介して本明細書に説明したシステム及び技術の実施形態とインタラクションすることができる)、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントを含む任意の組み合わせコンピューティングシステム中で実施できる。任意の形態又は媒体のデジタルデータ通信(例えば、通信ネットワーク)を介してシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、及びインターネットを含む。
コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、通常、互いに遠く離れており、通信ネットワークを介して互いにインタラクションするのが一般的である。クライアントとサーバの関係は、対応するコンピュータで実行され、且つ互いにクライアント−サーバの関係を持つコンピュータプログラムによって生成される。
本願の実施例の技術的解決手段によれば、本願の実施例では、第1のオリジナル画像と、第1のオリジナル画像に対応する第1の復号画像との間の第1のPSNR、及びノイズ付加画像と、当該ノイズ付加画像に対応する第2の復号画像との間の第2のPSNRを取得し、第1のPSNR及び第2のPSNRの2つの客観的実験データに基づいて、画像とそれに対応する復号画像との間のPSNRが低いということの信頼できる原因を取得することができ、即ち、本願の実施例の方法によって、画像とそれに対応する復号画像との間のPSNRが低いということの信頼できる原因を取得でき、それにより自動運転の正常な運行を保証する。
なお、上記の様々な形態のフローを使用して、ことを並べ替えたり、追加したり、削除したりすることができる。例えば、本願に記載の各工程は、本願に開示されている技術案が所望の結果を達成できる限り、並行に実施されてもよいし、順次実施されてもよいし、異なる順序で実施されてもよく、本明細書では、それについて限定しない。
上記の具体的な実施形態は、本願の特許保護範囲に対する制限を構成するものではない。当業者にとって明らかなように、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブ組み合わせ、及び置換を行うことができる。本願の精神と原則の範囲内で行われる修正、同等の置換、及び改良であれば、本願の特許保護範囲に含まれるべきである。

Claims (21)

  1. 車両の自動運転システムを実行する車載端末に適用される画像処理方法であって、
    オリジナル画像とノイズ付加画像を取得することであって、前記ノイズ付加画像は、前記オリジナル画像にノイズを加えた後の画像であり、前記オリジナル画像においてノイズのあるピクセルの数はプリセットの数より少ない、取得することと、
    前記オリジナル画像及び前記ノイズ付加画像をそれぞれコーデックして、前記オリジナル画像に対応する第1の復号画像、及び前記ノイズ付加画像に対応する第2の復号画像を取得することと、
    前記オリジナル画像と前記第1の復号画像に基づいて、前記第1の復号画像と前記オリジナル画像との間の第1のピーク信号対雑音比PSNRを取得することと、
    前記ノイズ付加画像と前記第2の復号画像に基づいて、前記第2の復号画像と前記ノイズ付加画像との間の第2のPSNRを取得することと、
    前記第1のPSNR及び前記第2のPSNRを出力することと、を含む、
    ことを特徴とする画像処理方法。
  2. 前記オリジナル画像とノイズ付加画像を取得することは、
    前記オリジナル画像及び前記ノイズ付加画像を受信することを含む、
    ことを特徴とする請求項1に記載の画像処理方法。
  3. 前記オリジナル画像とノイズ付加画像を取得することは、
    前記オリジナル画像を受信することと、
    前記オリジナル画像にノイズを加えて、前記ノイズ付加画像を生成することと、を含む、
    ことを特徴とする請求項1に記載の画像処理方法。
  4. 前記オリジナル画像にノイズを加えて、前記ノイズ付加画像を生成することは、
    前記オリジナル画像の少なくとも1つのピクセルをランダムに選択してソルトノイズ又はペッパーノイズを加えて、前記ノイズ付加画像を取得することを含む、
    ことを特徴とする請求項3に記載の画像処理方法。
  5. 前記オリジナル画像にノイズを加えて、前記ノイズ付加画像を生成することは、
    前記オリジナル画像の少なくとも1つの第1のピクセルをランダムに選択してソルトノイズを加え、前記オリジナル画像の少なくとも1つの第2のピクセルをランダムに選択してペッパーノイズを加えて、前記ノイズ付加画像を取得することを含む、
    ことを特徴とする請求項3に記載の画像処理方法。
  6. 前記オリジナル画像にノイズを加えて、前記ノイズ付加画像を生成することは、
    前記オリジナル画像の各々のピクセルにガウスノイズを加えて、前記ノイズ付加画像を取得することを含む、
    ことを特徴とする請求項3に記載の画像処理方法。
  7. 前記第1のPSNRがプリセットの閾値より大きく、かつ、前記第1のPSNRが前記第2のPSNRより大きく、前記画像処理方法は、
    第1のPSNR及び前記第2のPSNRに基づいて、前記第2のPSNRが低い原因を取得することと、
    前記第2のPSNRが低い原因を指示するための指示情報を出力することと、をさらに含む、
    ことを特徴とする請求項1〜請求項6のいずれか一項に記載の画像処理方法。
  8. 前記オリジナル画像は、前記車両の自動運転の時に、前記車両に設けられたカメラによって収集されるビデオの1フレームの画像である、
    ことを特徴とする請求項1〜請求項6のいずれか一項に記載の画像処理方法。
  9. 前記オリジナル画像のフォーマットは、YUVフォーマットである、
    ことを特徴とする請求項1〜請求項6のいずれか一項に記載の画像処理方法。
  10. 車両の、自動運転システムを実行する車載端末に適用される画像処理装置であって、
    取得モジュール、コーデックモジュール、及び出力モジュールを含み、
    前記取得モジュールは、オリジナル画像とノイズ付加画像を取得するために用いられ、前記ノイズ付加画像は、前記オリジナル画像にノイズを加えた後の画像であり、前記オリジナル画像においてノイズのあるピクセルの数はプリセットの数より少なく、
    前記コーデックモジュールは、前記オリジナル画像及び前記ノイズ付加画像をそれぞれコーデックして、前記オリジナル画像に対応する第1の復号画像、及び前記ノイズ付加画像に対応する第2の復号画像を取得するために用いられ、
    前記取得モジュールは、さらに、前記オリジナル画像と前記第1の復号画像に基づいて、前記第1の復号画像と前記オリジナル画像との間の第1のピーク信号対雑音比PSNRを取得し、且つ、前記ノイズ付加画像と前記第2の復号画像に基づいて、前記第2の復号画像と前記ノイズ付加画像との間の第2のPSNRを取得するために用いられ、
    前記出力モジュールは、前記第1のPSNR及び前記第2のPSNRを出力するために用いられる、
    ことを特徴とする画像処理装置。
  11. 前記取得モジュールは、
    前記オリジナル画像及び前記ノイズ付加画像を受信するために用いられる、
    ことを特徴とする請求項10に記載の画像処理装置。
  12. 前記取得モジュールは、
    前記オリジナル画像を受信し、
    前記オリジナル画像にノイズを加えて、前記ノイズ付加画像を生成するために用いられる、
    ことを特徴とする請求項10に記載の画像処理装置。
  13. 前記取得モジュールは、
    前記オリジナル画像の少なくとも1つのピクセルをランダムに選択してソルトノイズ又はペッパーノイズを加えて、前記ノイズ付加画像を取得するために用いられる、
    ことを特徴とする請求項12に記載の画像処理装置。
  14. 前記取得モジュールは、
    前記オリジナル画像の少なくとも1つの第1のピクセルをランダムに選択してソルトノイズを加え、前記オリジナル画像の少なくとも1つの第2のピクセルをランダムに選択してペッパーノイズを加えて、前記ノイズ付加画像を取得するために用いられる、
    ことを特徴とする請求項12に記載の画像処理装置。
  15. 前記取得モジュールは、
    前記オリジナル画像の各々のピクセルにガウスノイズを加えて、前記ノイズ付加画像を取得するために用いられる、
    ことを特徴とする請求項12に記載の画像処理装置。
  16. 前記第1のPSNRがプリセットの閾値より大きく、かつ、前記第1のPSNRが前記第2のPSNRより大きく、
    前記取得モジュールは、さらに、第1のPSNR及び前記第2のPSNRに基づいて、前記第2のPSNRが低い原因を取得するために用いられ、
    前記出力モジュールは、さらに、前記第2のPSNRが低い原因を指示するための指示情報を出力するために用いられる、
    ことを特徴とする請求項10〜請求項15のいずれか一項に記載の画像処理装置。
  17. 前記オリジナル画像は、前記車両の自動運転の時に、前記車両に設けられたカメラによって収集されるビデオの1フレームの画像である、
    ことを特徴とする請求項10〜請求項15のいずれか一項に記載の画像処理装置。
  18. 前記オリジナル画像のフォーマットは、YUVフォーマットである、
    ことを特徴とする請求項10〜請求項15のいずれか一項に記載の画像処理装置。
  19. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに通信接続されるメモリと、を含み、
    前記メモリには前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも1つのプロセッサが請求項1〜請求項9のいずれか一項に記載の画像処理方法を実行できるように、前記少なくとも1つのプロセッサによって実行される、
    ことを特徴とする電子機器。
  20. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令はコンピュータに請求項1〜請求項9のいずれか一項に記載の画像処理方法を実行させるために用いられる、
    ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
  21. コンピュータプログラムであって、前記コンピュータプログラムがプロセッサで実行されると、コンピュータに請求項1〜請求項9のいずれか一項に記載の画像処理方法を実行させる、
    ことを特徴とするコンピュータプログラム。
JP2021064162A 2020-06-30 2021-04-05 画像処理の方法、装置、機器及び記憶媒体 Active JP7166382B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010610256.XA CN111726554B (zh) 2020-06-30 2020-06-30 图像处理方法、装置、设备和存储介质
CN202010610256.X 2020-06-30

Publications (2)

Publication Number Publication Date
JP2021108169A true JP2021108169A (ja) 2021-07-29
JP7166382B2 JP7166382B2 (ja) 2022-11-07

Family

ID=72571964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021064162A Active JP7166382B2 (ja) 2020-06-30 2021-04-05 画像処理の方法、装置、機器及び記憶媒体

Country Status (5)

Country Link
US (1) US11523141B2 (ja)
EP (1) EP3933761A1 (ja)
JP (1) JP7166382B2 (ja)
KR (1) KR102463854B1 (ja)
CN (1) CN111726554B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6973298B2 (ja) * 2018-05-31 2021-11-24 トヨタ自動車株式会社 物体監視装置
US11341682B2 (en) * 2020-08-13 2022-05-24 Argo AI, LLC Testing and validation of a camera under electromagnetic interference
KR20240134643A (ko) 2023-03-02 2024-09-10 고려대학교 산학협력단 조건 이미지 디퓨전을 활용한 의미론적 이미지 생성 방법 및 이를 위한 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017163538A1 (ja) * 2016-03-25 2017-09-28 ソニー株式会社 情報処理装置
JP6275362B1 (ja) * 2016-04-01 2018-02-07 株式会社wise 3dグラフィック生成、人工知能の検証・学習システム、プログラム及び方法
JP2018063551A (ja) * 2016-10-12 2018-04-19 株式会社リコー 情報処理装置、情報処理システム、プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040175056A1 (en) * 2003-03-07 2004-09-09 Chulhee Lee Methods and systems for objective measurement of video quality
GB0314161D0 (en) * 2003-06-18 2003-07-23 British Telecomm Edge analysis in video quality assessment
KR100612691B1 (ko) * 2004-04-30 2006-08-16 에스케이 텔레콤주식회사 동영상 화질 평가시스템 및 방법
KR100986765B1 (ko) * 2004-05-21 2010-10-08 주식회사 케이티 압축 복원된 영상에 대한 정량적 품질 평가 방법 및 장치
WO2006099743A1 (en) * 2005-03-25 2006-09-28 Algolith Inc. Apparatus and method for objective assessment of dct-coded video quality with or without an original video sequence
KR20090063406A (ko) * 2007-12-14 2009-06-18 삼성전자주식회사 전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및방법
KR100954303B1 (ko) 2008-01-22 2010-04-21 갤럭시아커뮤니케이션즈 주식회사 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송제어 방법
TWI364220B (en) * 2008-08-15 2012-05-11 Acer Inc A video processing method and a video system
US8718145B1 (en) * 2009-08-24 2014-05-06 Google Inc. Relative quality score for video transcoding
US8442299B2 (en) * 2009-11-10 2013-05-14 International Business Machines Corporation Evaluation of image processing algorithms
CN102186098B (zh) * 2011-05-05 2012-11-28 西北工业大学 视频序列编码质量客观评价方法
US9225962B2 (en) * 2012-07-16 2015-12-29 Cisco Technology, Inc. Stereo matching for 3D encoding and quality assessment
US9269127B2 (en) * 2013-01-31 2016-02-23 Ohio State Innovation Foundation De-noising of real-time dynamic magnetic resonance images by the combined application of karhunen-loeve transform (KLT) and wavelet filtering
KR101416265B1 (ko) * 2013-02-28 2014-07-09 연세대학교 산학협력단 하이브리드 방식 기반 영상의 화질을 평가하기 위한 장치 및 그 방법
US9426478B2 (en) * 2014-07-21 2016-08-23 Cisco Technology, Inc. Resolution robust video quality metric
CN104123705B (zh) * 2014-07-22 2016-08-24 北华大学 一种超分辨率重建图像质量Contourlet域评价方法
KR101832418B1 (ko) * 2015-12-31 2018-02-26 네이버 주식회사 이미지 압축 품질을 최적화 하기 위한 방법 및 시스템
KR101716082B1 (ko) 2016-04-12 2017-03-14 연세대학교 산학협력단 영상의 화질을 평가하는 방법 및 장치
CN105933705B (zh) * 2016-07-07 2019-01-29 山东交通学院 一种hevc解码视频主观质量评价方法
CN107770517A (zh) * 2017-10-24 2018-03-06 天津大学 基于图像失真类型的全参考图像质量评价方法
KR102606200B1 (ko) * 2018-03-06 2023-11-24 삼성전자주식회사 전자 장치 및 그 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017163538A1 (ja) * 2016-03-25 2017-09-28 ソニー株式会社 情報処理装置
JP6275362B1 (ja) * 2016-04-01 2018-02-07 株式会社wise 3dグラフィック生成、人工知能の検証・学習システム、プログラム及び方法
JP2018063551A (ja) * 2016-10-12 2018-04-19 株式会社リコー 情報処理装置、情報処理システム、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
O.K. AL-SHAYKH ET AL.: "Lossy compression of noisy images", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. Volume: 7, Issue: 12, JPN6022022474, December 1998 (1998-12-01), US, pages 1641 - 1652, ISSN: 0004793773 *

Also Published As

Publication number Publication date
CN111726554B (zh) 2022-10-14
JP7166382B2 (ja) 2022-11-07
CN111726554A (zh) 2020-09-29
KR102463854B1 (ko) 2022-11-03
US20210211740A1 (en) 2021-07-08
US11523141B2 (en) 2022-12-06
EP3933761A1 (en) 2022-01-05
KR20210040881A (ko) 2021-04-14

Similar Documents

Publication Publication Date Title
JP2021108169A (ja) 画像処理の方法、装置、機器及び記憶媒体
KR102654563B1 (ko) 비디오 인코딩 및 디코딩을 위한 적응형 전달 함수
US11929097B2 (en) Method and apparatus of editing multimedia file, electronic device, and storage medium
CN111757107B (zh) 一种视频编码方法、装置、设备及介质
JP2016531502A (ja) 低電力画像圧縮及び表示のための技術
US20210258580A1 (en) Method and apparatus for coding video, electronic device and computer-readable storage medium
EP4053784A1 (en) Image processing method and apparatus, electronic device, and storage medium
CN111757111B (zh) 视频编码方法、装置、设备和存储介质
JP2021108186A (ja) 画像認識方法、装置、電子デバイス、記憶媒体、及びプログラム
US11582449B2 (en) Method for image encoding, electronic device and storage medium
CN114071190B (zh) 云应用视频流处理方法、相关装置及计算机程序产品
WO2023124461A1 (zh) 面向机器视觉任务的视频编解码方法、装置、设备及介质
US9997132B2 (en) Data transmission method, data transmission system and portable display device of transmitting compressed data
CN112291559B (zh) 视频编码方法、装置、设备和介质
US9083990B2 (en) Electronic device and method for managing video snapshot
CN112291560B (zh) 视频编码方法、装置、设备和介质
CN114760309A (zh) 基于云端服务的终端的业务交互方法、装置、设备和介质
US11647153B1 (en) Computer-implemented method, device, and computer program product
US20240290060A1 (en) Image processing method and apparatus
CN116527920A (zh) 块效应检测方法和装置
CN116847151A (zh) 滤波格式确定方法、装置及电子设备
CN110572676A (zh) 视频编码方法和装置、视频解码方法和装置及存储介质
CN110662060A (zh) 视频编码方法和装置、视频解码方法和装置及存储介质
CN117376607A (zh) 一种视频码流处理方法、装置、设备及介质
CN118042139A (zh) 数据传输方法、数据处理方法、装置及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221025

R150 Certificate of patent or registration of utility model

Ref document number: 7166382

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150