JP2016540440A - ピクチャー処理方法、装置 - Google Patents

ピクチャー処理方法、装置 Download PDF

Info

Publication number
JP2016540440A
JP2016540440A JP2016536211A JP2016536211A JP2016540440A JP 2016540440 A JP2016540440 A JP 2016540440A JP 2016536211 A JP2016536211 A JP 2016536211A JP 2016536211 A JP2016536211 A JP 2016536211A JP 2016540440 A JP2016540440 A JP 2016540440A
Authority
JP
Japan
Prior art keywords
value
picture
pixel
pixel point
compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016536211A
Other languages
English (en)
Inventor
ツァオ，ジーシェン
ワン，ミンユー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2016540440A publication Critical patent/JP2016540440A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本発明の実施形態は、ピクチャー処理方法、装置及びカメラを提供し、前記方法は、現在の被写体を撮像する際に、予め設定された初期露光値に基づいて前記被写体を撮像し、対応する初期ピクチャーを得ること、前記初期露光値よりも大きい予め設定された補償露光値に基づいて前記被写体を撮像し、補償露光値に対応する補償ピクチャーを得ること、前記初期ピクチャーにおける位置ごとの画素点の画素値、及び前記補償ピクチャーにおける対応位置での画素点の画素値を計算し、各位置での画素点の総合画素値を得ること、各位置での画素点の総合画素値に基づいて、今回の撮像ピクチャーを生成することを含む。本発明を用いることにより、撮像ピクチャーの信号対雑音比を向上させ、ピクチャーの暗部ディテールをより明瞭に表示可能とする。

Description

本発明は、画像処理技術分野に関し、特に、ピクチャー処理方法、装置およびカメラに関する。
高画質は、デジタル映像の撮像方法と機器の向上をけん引する核心的動力である。デジタル映像の画質は、通常、信号対雑音比（Signal-to-noise ratio, SNR)により評価される。完全に均一な領域に対し撮像することを仮定すると、理想的な写真は、全く等しい画素値を含有すべきである。しかしながら、カメラは、非理想的なものであり、撮像過程におけるノイズは、主に、センサの電気的特性由来であり、写真に反映されると、画素値が中心値を囲むガウス分布を呈するように形成される。よって、カメラの均一な領域に対するイメージングの非理想性を信号対雑音比で評価することができる。
信号対雑音比を向上させる従来の方法は、主に、撮像装置におけるセンサのプロセスを改良して画像の画質を向上させることであり、撮像装置の格上げに属する。このような方式は、一定の程度で画質を向上させるが、カメラのコストも大幅に向上する。
本発明の実施形態は、ピクチャー処理方法、装置及カメラを提供し、ピクチャーの画質の向上を低コストで実現することができる。
本発明の実施形態は、
現在の被写体を撮像する際に、予め設定された初期露光値に基づいて前記被写体を撮像し、対応する初期ピクチャーを得るステップと、
前記初期露光値よりも大きい予め設定された補償露光値に基づいて前記被写体を撮像し、補償露光値に対応する補償ピクチャーを得るステップと、
前記初期ピクチャーにおける位置ごとの画素点の画素値、及び前記補償ピクチャーにおける対応位置での画素点の画素値を計算し、各位置での画素点の総合画素値を得るステップと、
各位置での画素点の総合画素値に基づいて、今回の撮像ピクチャーを生成するステップとを含むピクチャー処理方法を提供する。
好ましくは、前記初期ピクチャーにおける位置ごとの画素点の画素値及び前記補償ピクチャーにおける対応位置での画素点の画素値を計算し、各位置での画素点の総合画素値を得るステップは、
前記初期ピクチャーの各画素点及び前記補償ピクチャーの各画素点に対して重み値を特定するステップと、
前記初期ピクチャーにおける位置ごとの画素点の重み値とその画素値、及び前記補償ピクチャーにおける対応位置での画素点の重み値とその画素値に対して重み付き平均化計算を行い、各位置での画素点の総合画素値を得るステップとを含む。
好ましくは、前記初期ピクチャーの各画素点及び前記補償ピクチャーの各画素点に対して重み値を特定するステップは、
前記補償ピクチャーにおける各画素点の画素値の大きさを検出するステップと、
前記補償ピクチャーにおける画素点の重み値を数値範囲が０〜１である値に特定するステップと、
前記補償ピクチャーにおける各画素点に対して特定した重み値に基づいて、前記初期ピクチャーの各画素点の重み値を特定するステップとを含む。
好ましくは、前記初期ピクチャーの各画素点及び前記補償ピクチャーの各画素点に対して重み値を特定するステップは、
前記補償ピクチャーにおける各画素点の画素値の大きさを検出するステップと、
前記補償ピクチャーにおける画素値が予め設定された閾値よりも小さい画素点の重み値を０に特定し、画素値が予め設定された閾値以上である画素点の重み値を１に特定するステップと、
特定した重み値に基づいて、前記補償ピクチャーに対して２値画像を生成し、生成した２値画像に対して平滑化フィルタリングを行うステップと、
平滑化フィルタリングした後の２値画像における各点の値に基づいて、対応する補償ピクチャーの各画素点の重み値及び前記初期ピクチャーの各画素点の重み値を特定するステップとを含む。
好ましくは、前記初期ピクチャーにおける位置ごとの画素点の画素値、及び前記補償ピクチャーにおける対応位置での画素点の画素値を計算し、各位置での画素点の総合画素値を得るステップは、
前記補償ピクチャーが、複数の画素成分値を含む多重チャネルピクチャーであれば、予め設定された変換係数と、補償ピクチャーにおける各画素点の画素成分値とに基づいて輝度値変換を行い、各画素点の輝度値を得るステップと、
特定した輝度値に基づいて、前記補償ピクチャーの各画素点に対して重み値を特定し、前記初期ピクチャーの各画素点に対して重み値を特定するステップと、
前記初期ピクチャーにおける位置ごとの画素点の重み値とその画素成分値、及び前記補償ピクチャーにおける対応位置での画素点の重み値とその画素成分値に対して重み付き平均化計算を行い、各位置での画素点の各画素成分の総合値を得るステップと、
得られた総合値に基づいて、各位置での画素点の総合画素値を特定するステップとを含む。
相応的に、本発明の実施形態は、
現在の被写体を撮像する際に、予め設定された初期露光値に基づいて前記被写体を撮像し、対応する初期ピクチャーを得るためのものであって、かつそれぞれ前記初期露光値よりも大きい予め設定された補償露光値に基づいて前記被写体を撮像し、補償露光値に対応する補償ピクチャーを得るための撮像モジュールと、
前記初期ピクチャーにおける位置ごとの画素点の画素値、及び前記補償ピクチャーにおける対応位置での画素点の画素値を計算し、各位置での画素点の総合画素値を得るための処理モジュールと、
各位置での画素値の総合画素値に基づいて、今回の撮像ピクチャーを生成するための生成モジュールと、を含むピクチャー処理装置をさらに提供する。
好ましくは、前記処理モジュールは、
前記初期ピクチャーの各画素点及び前記補償ピクチャーの各画素点に対して重み値を特定するための処理手段と、
前記初期ピクチャーにおける位置ごとの画素点の重み値とその画素値、及び対応位置での補償画素点の重み値とその画素値に対して重み付き平均化計算を行い、各位置での画素点の総合画素値を得るための算出手段と、を含む。
好ましくは、前記処理手段は、具体的に、
前記補償ピクチャーにおける各画素点の画素値の大きさを検出し、
前記補償ピクチャーにおける画素点の重み値を数値範囲が０〜１である値に特定し、
前記補償ピクチャーにおける各画素点に対して特定した重み値に基づいて、前記初期ピクチャーの各画素点の重み値を特定するためのものである。
好ましくは、前記処理手段は、具体的に、
前記補償ピクチャーにおける各画素点の画素値の大きさを検出し、
前記補償ピクチャーにおける画素値が予め設定された閾値以上である画素点の重み値を０に特定し、画素値が予め設定された閾値よりも大きい画素点の重み値を１に特定し、
特定した重み値に基づいて、前記補償ピクチャーに対して２値画像を生成し、生成した２値画像に対して平滑化フィルタリングを行い、
平滑化フィルタリングした後の２値画像における各点の値に基づいて、対応する補償ピクチャーの各画素点の重み値及び前記初期ピクチャーの各画素点の重み値を特定するためのものである。
好ましくは、前記処理モジュールは、
前記補償ピクチャーが複数の画素成分値を含む多重チャネルピクチャーであれば、予め設定された変換係数と、補償ピクチャーにおける各画素点の画素成分値とに基づいて輝度値変換を行い、各画素点の輝度値を得るための成分処理手段と、
特定した輝度値に基づいて、前記補償ピクチャーの各画素点に対して重み値を特定し、かつ前記初期ピクチャーの各画素点に対して重み値を特定し、前記初期ピクチャーにおける位置ごとの画素点の重み値とその画素成分値、及び前記補償ピクチャーにおける対応位置での画素点の重み値とその画素成分値に対して重み付き平均化計算を行い、各位置での画素点の各画素成分の総合値を得、得られた総合値に基づいて各位置での画素点の総合画素値を特定するための成分算出手段と、を含む。
相応的に、本発明の実施形態は、
ピクチャー収集装置とプロセッサとを含むカメラであって、
前記ピクチャー収集装置は、現在の被写体を撮像する際に、前記プロセッサの制御に基づいて前記被写体を撮像し、ピクチャーを得るためのものであり、
前記プロセッサは、予め設定された初期露光値に基づいて、前記ピクチャー収集装置が前記被写体を撮像するように制御し、対応する初期ピクチャーを得て、それぞれ前記初期露光値よりも大きい予め設定された補償露光値に基づいて、前記ピクチャー収集装置が前記被写体を撮像するように制御し、補償露光値に対応する補償ピクチャーを得て、前記初期ピクチャーにおける位置ごとの画素点の画素値、及び前記補償ピクチャーにおける対応位置での画素点の画素値を計算し、各位置での画素点の総合画素値を得て、各位置での画素点の総合画素値に基づいて、今回の撮像ピクチャーを生成するためのものである、カメラをさらに提供する。
本発明の実施形態は、初期露光で撮像したピクチャーと、大きい露光値に基づいて露光撮像して得られる１枚以上のピクチャーとを総合的に計算し、画素点を単位として補償し、ピクチャーの信号対雑音比を効率的に向上可能であり、ピクチャーの暗部ディテールを顕著に向上することができ、かつ機器の格上げが必要でなく、コストが安い。
図１は本発明の実施形態における信号対雑音比と露光値を示すチャートである。 図２は本発明の実施形態のピクチャー処理方法を示すフローチャートである。 図３は本発明の実施形態の他のピクチャー処理方法を示すフローチャートである。 図４は本発明の実施形態の重み値の特定方法を示すフローチャートである。 図５は本発明の実施形態の重み値の他の特定方法を示すフローチャートである。 図６は本発明の実施形態の多重チャネルピクチャーの画素総合値の特定方法を示すフローチャートである。 図７は本発明の実施形態のピクチャー対比の効果を示す図である。 図８は本発明の実施形態のピクチャー処理装置を示す構造図である。 図９は図８における処理モジュールのうちの１つの構造を示す図である。 図１０は図８における処理モジュールのうちの他の構造を示す図である。 図１１は本発明の実施形態のカメラの構造を示す図である。
以下に本発明の実施形態における図面を参照しながら、本発明の実施形態における技術案について明瞭、完全な説明を行っているが、明らかに、説明される実施形態は、本発明の実施形態の一部に過ぎず、全ての実施形態ではない。本発明における実施形態によれば、当業者であれば創造性のある労働を行っていない前提で得られる全ての他の実施形態は、何れも本発明が保護している範囲に属する。
本発明の実施形態は、初期露光で撮像したピクチャーと、大きい露光値に基づいて露光撮像して得られる１枚以上のピクチャーとを総合的に計算し、画素点を単位として補償し、具体的に、図１に示すものから分かるように、露光値が大きいほど、得られるピクチャーの信号対雑音比は高くなる。よって、露光値の大きいピクチャーと、正常露光ピクチャーとを融合することにより、ピクチャーの信号対雑音比が効率的に向上することができる。図１において、横座標は露光値Ｅｖ、縦座標は信号対雑音比ＳＮＲである。
本発明の実施形態のピクチャー処理方法を示すフローチャートである図２を参照して、本発明の実施形態の前記方法は、各種カメラに適用可能であり、具体的に、前記方法は、以下のことを含む。
Ｓ１０１：現在の被写体を撮像する際に、予め設定された初期露光値に基づいて前記被写体を撮像し、対応する初期ピクチャーを得る。
露光値は、露光情況を示すパラメータであり、シャッタスピード（露光時間）、絞り値及び感光度ＩＳＯ値等により総合的に特定することができる。露光値が大きいほど、対応付けて得られるピクチャーが明るくなる。前記初期露光値は、ユーザが現在の環境光線に基づいて手動調整した露光値であってもよく、カメラにデフォルトで設けられる露光値であってもよい。ユーザは、レンズで収集した現在の被写体に対し撮像を行う場合、まず、前記初期露光値に基づいて被写体を撮像し、初期ピクチャーを得る。
Ｓ１０２：前記初期露光値よりも大きい予め設定された補償露光値に基づいて前記被写体を撮像し、補償露光値に対応する補償ピクチャーを得る。
前記補償露光値は１つ以上あり、各補償露光値に対し撮像して１枚の補償ピクチャーが得られ、補償露光値を前記初期露光値よりも大きくすることにより、前記初期ピクチャーよりも明るいピクチャーが得られる。補償ピクチャーは、オーバー露光値に対応する補償露光値に基づいて撮像して得られる複数枚のオーバー露光ピクチャーであってもよい。
前記Ｓ１０１を実行した後の非常に短い期間内に前記Ｓ１０２における各補償ピクチャーの撮像及び下記Ｓ１０３〜Ｓ１０４における相関処理を完了し、最終的な撮像ピクチャーが得られる。
Ｓ１０３：前記初期ピクチャーにおける位置ごとの画素点の画素値、及び前記補償ピクチャーにおける対応位置での画素点の画素値を計算し、各位置での画素点の総合画素値を得る。
具体的に、総合画素値を得るように、初期ピクチャーと各補償ピクチャーにおける同じ画素座標位置での画素点の画素値に対して平均化計算を行ってもよい。
又は、画素点の画素値に基づいて補償ピクチャーにおける画素点に対して重み値を特定し、前記初期ピクチャーにおける画素点に対して重み値を特定し、さらに、特定した重み値に基づいて重み付き平均化計算を行い、各画素座標位置での画素点の総合画素値が得られてもよい。画質に対する実際の必要に応じて、補償ピクチャー（オーバー露光ピクチャー）における画素点に対して分類し、補償ピクチャーにおける正常露光画素点に高い重み値を付与し、オーバー露光画素点に低い重み値、ひいては０重み値を付与し、各補償ピクチャー及び初期ピクチャーにおける同じ画素座標位置での画素点に対して重み付き平均化を行い、最終的に、信号対雑音比がよりよいピクチャーを得ることができる。
Ｓ１０４：各位置での画素点の総合画素値に基づいて、今回の撮像ピクチャーを生成する。
前記計算により得られた各画素座標位置での画素点の総合画素値に基づいて、今回の撮像ピクチャーとして完全なピクチャーを生成することができる。
なお、前記計算したものは、輝度画像（濃淡画像）であり、初期ピクチャー及び各補償ピクチャーは多重チャネルピクチャー、例えばＲＧＢであれば、ＩＴＵ−７０９に規定する変換係数に従ってＲＧＢ成分を輝度値に対応させてから、上述の各ステップを実行することができる。
本発明の実施形態は、初期露光で撮像したピクチャーと、大きい露光値に基づいて露光撮像して得られる１枚以上のピクチャーを総合的に計算し、画素点を単位として補償し、ピクチャーの信号対雑音比を効率的に向上可能であり、ピクチャーの暗部ディテールを顕著に向上することができ、かつ機器の格上げが必要でなく、コストが安い。
さらに、本発明の実施形態の他のピクチャー処理方法を示すフローチャートである図３を参照して、本発明の実施形態の前記方法は、各種カメラに適用可能であり、具体的に、前記方法は、以下のことを含む。
Ｓ２０１：現在の被写体を撮像する際に、予め設定された初期露光値に基づいて前記被写体を撮像し、対応する初期ピクチャーを得る。
露光値は、露光情況を示すパラメータであり、シャッタスピード（露光時間）、絞り値及び感光度ＩＳＯ値等により総合的に特定することができる。露光値が大きいほど、対応付けて得られるピクチャーが明るくなる。前記初期露光値は、ユーザが現在の環境光線に基づいて手動調整した露光値であってもよく、カメラにデフォルトで設けられる露光値であってもよい。ユーザは、レンズで収集した現在の被写体に対し撮像を行う場合、まず、前記初期露光値に基づいて被写体を撮像し、初期ピクチャーを得る。
Ｓ２０２：前記初期露光値よりも大きい予め設定された補償露光値に基づいて前記被写体を撮像し、補償露光値に対応する補償ピクチャーを得る。
前記補償露光値は１つ以上あり、各補償露光値に対し撮像して１枚の補償ピクチャーが得られ、補償露光値を前記初期露光値よりも大きくすることにより、前記初期ピクチャーよりも明るいピクチャーが得られる。補償ピクチャーは、対応する補償露光値に基づいて撮像して得られる複数枚のオーバー露光ピクチャーであってもよい。
Ｓ２０３：前記初期ピクチャーの各画素点及び前記補償ピクチャーの各画素点に対して重み値を特定する。
Ｓ２０４：前記初期ピクチャーにおける位置ごとの画素点の重み値とその画素値、及び前記補償ピクチャーにおける対応位置での画素点の重み値とその画素値に対して重み付き平均化計算を行い、各位置での画素点の総合画素値を得る。
本発明の実施形態において、補償ピクチャーと初期ピクチャーにおける同じ画素座標位置での画素点の重み値の和は１であり、画素値に基づいて補償ピクチャーの重み値を特定した後、初期ピクチャーの重み値を対応付けて算出することができる。
具体的に、補償ピクチャーにおける相応の画素座標位置での画素点の重み値を特定する際に、まず、画素点の画素値に基づいて変数ωｋ（ωｋ∈(0,1)）を特定することができ、補償ピクチャーにおける画素点の画素値が大きいほど、該変数値は大きくなる。変数ωｋを特定した後、第k枚の補償ピクチャーにおけるある位置での画素点の重み値が1−ωｋ、初期ピクチャーにおける対応位置での画素点の重み値がωｋであることが得られる。
前記特定した重み値により、下式を用いて相応の画素の座標位置での総合画素値を算出することができる。
Figure 2016540440
ここで、補償ピクチャーが１枚のみあれば、k=1。式（１）において、Ｐ１は、初期ピクチャーにおけるある画素座標位置での画素値であり、Pk+1は、第k枚の補償ピクチャーにおける同じ画素の座標位置での画素値である。
Ｓ２０５：各位置での画素点の総合画素値に基づいて、今回の撮像ピクチャーを生成する。
前記算出した各画素座標位置での画素点の総合画素値に基づいて、今回の撮像ピクチャーとして完全なピクチャーを生成することができる。
前記Ｓ２０３における重み値の特定過程は、図４に示すフローを参照することができ、重み値の特定方法は、具体的に、以下のことを含むことができる。
Ｓ３０１：前記補償ピクチャーにおける各画素点の画素値の大きさを検出する。
本発明の実施形態において、画素点の画素値は、具体的に、０〜２５５の輝度値で示され、補償ピクチャーごとの各画素点の輝度値の大きさを検出することは、従来技術を参照して実現することができる。なお、前記補償ピクチャーは、オーバー露光値に対応する補償露光値に基づいて撮像して得られる複数枚のオーバー露光ピクチャーであってもよく、オーバー露光ピクチャーには、オーバー露光された画素点と、露光量が大きいが、オーバー露光されていない画素点とが存在する。
Ｓ３０２：前記補償ピクチャーにおける画素点の重み値を数値範囲が０〜１である値に特定する。
大量のピクチャーを含むトレーニングセットを学習することにより、各輝度値に対して重み値を特定し、かつ輝度値と重み値との間の一対一のマッピング関係を含むマッピング表を生成することができ、それにより、相応の数値の輝度値に対応する、ピクチャーの補償時に用いられる必要がある重み値をテーブルサーチにより特定する後続の作業が行い易くなる。具体的に、まず、重みに関する１つの変数を確定し、さらに補償ピクチャーの重み値を特定することができる。それによって重み値を特定する方式は、簡便、正確であり、処理費用が少ない。
Ｓ３０３：前記補償ピクチャーにおける各画素点に対して特定した重み値に基づいて、前記初期ピクチャーの各画素点の重み値を特定する。
同様に、本発明の実施形態は、補償ピクチャーにおける相応画素の座標位置での画素点の重み値を特定する際に、まず、画素点の画素値に基づいて変数ωｋ（ωｋ∈(0,1)）を特定することができ、補償ピクチャーにおける画素点の画素値が大きいほど、該変数値は大きくなる。変数ωｋを特定した後、第k枚の補償ピクチャーにおけるある位置での画素点の重み値が1−ωｋ、初期ピクチャーにおける対応位置での画素点の重み値がωｋであることが得られる。
又は、前記Ｓ２０３における重み値の特定過程は、具体的に、図５に示すことを参照することもでき、本発明の実施形態の重み値の特定方法は、具体的に、以下のことを含むことができる。
Ｓ４０１：前記補償ピクチャーにおける各画素点の画素値の大きさを検出する。
本発明の実施形態において、画素点の画素値は、具体的に、０〜２５５の輝度値で示され、補償ピクチャーごとの各画素点の輝度値の大きさを検出することは、従来技術を参照して実現することができる。
Ｓ４０２：前記補償ピクチャーにおける画素値が予め設定された閾値よりも大きい画素点の変数値を０に特定し、画素値が予め設定された閾値以下の画素点の変数値を１に特定する。該変数値は、後継の画素点の重み値の特定に用いられる。
Ｓ４０３：特定した変数値に基づいて、前記補償ピクチャーに対して２値画像を生成し、生成した２値画像に対して平滑化フィルタリングを行う。
Ｓ４０４：平滑化フィルタリングした後の２値画像における各点の変数値に基づいて、対応する補償ピクチャーの各画素点の重み値及び前記初期ピクチャーの各画素点の重み値を特定する。
本発明の実施形態において、補償ピクチャーにおける画素点の値に対し分類し、第ｋ枚の補償ピクチャーにおける画素点pk+1について、変数ωｋを求める。
Figure 2016540440
ここで、Tは、画素が飽和していることを判断する閾値であり、具体的な情況に基づいて、２３０〜２５５の数を取ることができる。式（２）により、対応する２値画像Wkを得ることができ、該２値画像における各画素点の値ωｋは、０又は１であり、補償ピクチャーにおける対応する画素点がオーバー露光されるか否かを示す。飽和画素周辺での画像の変化が激し過ぎるのを防止するために、２値画像Wkに対して平滑化フィルタリング、例えばガウスフィルタリング等を行うことができる。
フィルタリングした後に得られた２値画像Wkについて、各点の値は０〜１の数ωｋであり、該フィルタリングした後の２値画像に対応する補償ピクチャーにおいて、相応位置での画素点の重み値は１−ωｋであり、初期ピクチャーにおける相応位置での重み値はωｋである。
本発明の実施形態の多重チャネルピクチャーの画素総合値の特定方法を示すフローチャートである図６を参照して、本発明の実施形態は、ＲＧＢのような三重チャネルピクチャーに対して補償ピクチャー及び初期ピクチャーの画素点の総合値を特定することができる。具体的に、前記方法は、以下のことを含む。
Ｓ５０１：前記補償ピクチャーが、複数の画素成分値を含む多重チャネルピクチャーであれば、予め設定された変換係数と、補償ピクチャーにおける各画素点の画素成分値とに基づいて輝度値変換を行い、各画素点の輝度値を得る。
Ｓ５０２：特定した輝度値に基づいて、前記補償ピクチャーの各画素点に対して重み値を特定し、前記初期ピクチャーの各画素点に対して重み値を特定する。
多重チャネルピクチャーは、ＲＧＢピクチャーなどを含み、ピクチャーは３つの画素成分である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色チャネルの変化、及びこれらの相互の重ね合わせにより、様々な色を得られる。前記変換係数は、ＩＴＵ-７０９に規定する変換係数であってもよく、該変換係数に基づいて各ＲＧＢ成分を輝度値に対応させてから、図４又は図５の重み値特定方式を実行し、それにおいて、輝度値ＹとＲＧＢ成分の変換計算定式は、Ｙ=0.30*R +0.59*G+ 0.11*Bであってもよい。
Ｓ５０３：前記初期ピクチャーにおける位置ごとの画素点の重み値とその画素成分値、及び前記補償ピクチャーにおける対応位置での画素点の重み値とその画素成分値に対して重み付き平均化計算を行い、各位置での画素点の各画素成分の重み付き平均値を得る。
重み値を得た後、得られた該画素点の重み値に基づいて、それぞれ該画素点のＲＧＢ成分を計算し、Ｒの重み付き平均値、Ｇの重み付き平均値及びＢの重み付き平均値を得る。
Ｓ５０４：得られた重み付き平均値に基づいて、各位置での画素点の総合画素値を特定する。
実際には、各チャネル成分の重み付き平均値を組み合わせると、補償された後の各画素点の総合画素値を得る。例えばＲＧＢの重み付き平均値はそれぞれ１２４、２０５、１２４であり、総合画素値が#７ＣＣＤ７Ｃ (十六進法）であることが得られる。該総合画素値を特定した後、総合画素値に基づいて前記初期ピクチャーの信号対雑音比を向上させることができる。
具体的に、本発明の実施形態のピクチャー対比の効果を示す図である図７を参照して、光線が弱い等の場面に正常に撮像して、図７の上半部分のピクチャーが得られ、光線が不十分であるため、一般的に、何れも該上半部分のピクチャーにおける領域の一部（図における丸を描いている暗部領域）が暗く、ディテールが十分に明らかではないことが現れる。しかしながら、本発明の実施形態のピクチャー処理方法により、高露光値（オーバー露光）の場合に撮像した同じ位置でのピクチャーに基づいて、図７における上半部分のピクチャーを処理した後、図７における下半部分のピクチャーが得られ、ピクチャーの暗部領域のディテールを効率的に向上させ、本来の暗部がより明瞭になり、暗部の信号対雑音比を向上させ、ピクチャー全体の品質を効率的に向上させ、より高いダイナミックレンジが得られる。
本発明の実施形態は、初期露光で撮像したピクチャーと、大きい露光値に基づいて露光撮像して得られる１枚以上のピクチャーに対して重み付き平均化計算を行い、画素点を単位として補償することで、ピクチャーの信号対雑音比を効率的に向上可能であり、ピクチャーの暗部ディテールを顕著に向上することができ、かつ機器の格上げが必要でなく、コストが安い。
以下、本発明の実施形態のピクチャー処理装置及びカメラについて詳細な説明を行う。
本発明の実施形態のピクチャー処理装置の構造を示す図である図８を参照して、本発明の実施形態の前記装置は、各種カメラに設けられてもよい。具体的に、前記装置は、
現在の被写体を撮像する際に、予め設定された初期露光値に基づいて前記被写体を撮像し、対応する初期ピクチャーを得るためのものであって、かつそれぞれ前記初期露光値よりも大きい予め設定された補償露光値に基づいて前記被写体を撮像し、補償露光値に対応する補償ピクチャーを得るための撮像モジュール１と、
前記初期ピクチャーにおける位置ごとの画素点の画素値、及び前記補償ピクチャーにおける対応位置での画素点の画素値を計算し、各位置での画素点の総合画素値を得るための処理モジュール２と、
各位置での画素値の総合画素値に基づいて、今回の撮像ピクチャーを生成するための生成モジュール３とを含む。
前記初期露光値及び補充露光値は、メモリに予め記憶されてもよく、前記撮像モジュール１は、必要である場合、該メモリにおける相応に記憶した露光値に基づいて、初期ピクチャー及び補償ピクチャーを撮像することができる。露光値は、露光情況を示すパラメータであり、シャッタスピード（露光時間）、絞り値及び感光度ＩＳＯ値等により総合的に特定することができる。露光値が大きいほど、対応付けて得られるピクチャーが明るくなる。
前記初期露光値は、ユーザが現在の環境光線に基づいて手動調整した露光値であってもよく、カメラにデフオルト設定される露光値であってもよく、ユーザは、レンズで収集した現在の被写体に対し撮像を行う場合、まず、前記初期露光値に基づいて被写体を撮像し、初期ピクチャーを得る。
前記補償露光値は１つ以上あり、前記撮像モジュール１は、各補償露光値に対し撮像して１枚の補償ピクチャーが得られ、補償露光値を前記初期露光値よりも大きくすることにより、前記初期ピクチャーよりも明るいピクチャーが得られる。補償ピクチャーは、オーバー露光値に対応する補償露光値に基づいて撮像して得られる複数枚のオーバー露光ピクチャーであってもよく、なお、オーバー露光ピクチャーには、オーバー露光された画素点と、露光量が大きいが、オーバー露光されていない画素点とが存在する。
前記処理モジュール２は総合画素値を計算するときには、具体的に、初期ピクチャー及び各補償ピクチャーにおける同じ画素の座標位置での画素点の画素値に対して平均化計算を行い、総合画素値を得ることができる。
又は、前記処理モジュール２は総合画素値を計算するときには、画素点の画素値に基づいて補償ピクチャーにおける画素点に対して重み値を特定し、かつ前記初期ピクチャーにおける画素点に対して重み値を特定し、さらに、特定した重み値に基づいて重み付き平均化計算を行い、各画素の座標位置での画素点の総合画素値を得ることができる。画質に対する実際の必要に応じて、補償ピクチャー（オーバー露光ピクチャー）における画素点に対して分類し、補償ピクチャーにおける正常露光画素点に高い重み値を付与し、オーバー露光画素点に低い重み値、ひいては０重み値を付与し、各補償ピクチャー及び初期ピクチャーにおける同じ画素の座標位置での画素点を重み付き平均化し、最終的に、信号対雑音比がよりよいピクチャーを得ることができる。
前記生成モジュール３は前記処理モジュール２により算出した各画素の座標位置での画素点の総合画素値に基づいて、今回の撮像ピクチャーとして完整なピクチャーを生成することができる。
さらに好ましくは、図８における処理モジュール２の１つの構造を示す図である図９を参照して、本発明の実施形態の前記処理モジュール２は、
前記初期ピクチャーの各画素点及び前記補償ピクチャーの各画素点に対して重み値を特定するための処理手段２１と、
前記初期ピクチャーにおける位置ごとの画素点の重み値とその画素値、及び対応位置での補償画素点の重み値とその画素値に対して重み付き平均化計算を行い、各位置での画素点の総合画素値を得るための算出手段２２とを含むことができる。
ここで、具体的に、前記処理手段２１は、具体的に、前記補償ピクチャーにおける各画素点の画素値の大きさを検出し、前記補償ピクチャーにおける画素点の重み値を数値範囲が０〜１である値に特定し、前記補償ピクチャーにおける各画素点に対して特定した重み値に基づいて、前記初期ピクチャーの各画素点の重み値を特定するためのものである。
更に具体的に、前記処理手段２１は、具体的に、前記補償ピクチャーにおける各画素点の画素値の大きさを検出し、前記補償ピクチャーにおける画素値が予め設定された閾値以上である画素点の重み値を０に特定し、画素値が予め設定された閾値よりも大きい画素点の重み値を１に特定し、特定した重み値に基づいて、前記補償ピクチャーに対して２値画像を生成し、生成した２値画像に対して平滑化フィルタリングを行い、平滑化フィルタリングした後の２値画像における各点の値に基づいて、対応する補償ピクチャーの各画素点の重み値及び前記初期ピクチャーの各画素点の重み値を特定するためのものである。
更に具体的に、前記処理手段２１は、具体的に、現在の被写体を撮像して得られた前記補償ピクチャーが多重チャネルピクチャーであれば、補償ピクチャーにおける各画素点の各チャネルに対応する成分値の大きさと、予め設定された閾値とに基づいて、前記補償ピクチャーにおける各画素点の重み値を特定し、前記補償ピクチャーにおける各画素点の重み値に基づいて、前記初期ピクチャーの各画素点の重み値を対応付けて特定するためのものである。
前記処理手段２１は、必要に応じて上述のいずれか１項以上の重み値特定方式を完了することができ、その具体的な処理方式は、上述の方法項の実施形態の関係説明を参照することができる。
なお、前記処理手段２１及び算出手段２２は輝度画像（濃淡画像）を計算することができ、初期ピクチャー及び各補償ピクチャーは、多重チャネルピクチャー、例えばＲＧＢであれば、前記処理モジュール２はＩＴＵ−７０９に規定する変換係数に従ってＲＧＢ成分を輝度値に対応させてから、上述の各ステップを実行することができる。図８における処理モジュール２の他の構造を示す図である図１０をさらに参照して、本発明の実施形態の前記処理モジュール２は、
前記補償ピクチャーが複数の画素成分値を含む多重チャネルピクチャーであれば、予め設定された変換係数と、補償ピクチャーにおける各画素点の画素成分値とに基づいて輝度値変換を行い、各画素点の輝度値を得るための成分処理手段２３と、
特定した輝度値に基づいて、前記補償ピクチャーの各画素点に対して重み値を特定し、かつ前記初期ピクチャーの各画素点に対して重み値を特定し、前記初期ピクチャーにおける位置ごとの画素点の重み値とその画素成分値、及び前記補償ピクチャーにおける対応位置での画素点の重み値とその画素成分値に対して重み付き平均化計算を行い、各位置での画素点の各画素成分の総合値を得て、得られた総合値に基づいて各位置での画素点の総合画素値を特定するための成分算出手段２４とを含むことができる。
前記処理モジュール２は、異なる類型のピクチャーを便利に処理するように、前記処理手段２１、算出手段２２、成分処理手段２３及び成分算出手段２４を同時に含むことができる。具体的に、前記各手段の具体的な実現については、図２〜図６の方法項の説明を参照することができる。
本発明の実施形態は、初期露光で撮像したピクチャーと、大きい露光値に基づいて露光撮像して得られる１枚以上のピクチャーに対して重み付き平均化計算を行い、画素点を単位として補償することで、ピクチャーの信号対雑音比を効率的に向上可能であり、ピクチャーの暗部ディテールを顕著に向上することができ、かつ機器の格上げが必要でなく、コストが安い。
かつ、補償ピクチャーに重み値を割り当てる上述の方式に基づいて、例えば重み値と画素値のマッピング関係表の方式に基づいて重み値の割り当てを完了する方式は、簡便、正確であり、処理費用が小さい。２値画像により平滑化フィルタリングを行うことによって重み値を特定する方式は、高い信号対雑音比のピクチャーが得られると共に、飽和画素周辺での画像の変化が激しすぎるのを効率的に防止することができる。
さらに、本発明の実施形態のカメラの構造を示す図である図１１を参照して、本発明の実施形態の前記カメラは、ピクチャー収集装置１００とプロセッサ２００とを含むカメラであって、
前記ピクチャー収集装置１００は、現在の被写体を撮像する際に、前記プロセッサの制御に基づいて前記被写体を撮像し、ピクチャーを得るためのものであり、
前記プロセッサ２００は、予め設定された初期露光値に基づいて、前記ピクチャー収集装置が前記被写体を撮像するように制御し、対応する初期ピクチャーを得て、それぞれ前記初期露光値よりも大きい予め設定された補償露光値に基づいて、前記ピクチャー収集装置が前記被写体を撮像するように制御し、補償露光値に対応する補償ピクチャーを得て、前記初期ピクチャーにおける位置ごとの画素点の画素値、及び前記補償ピクチャーにおける対応位置での画素点の画素値を計算し、各位置での画素点の総合画素値を得て、各位置での画素点の総合画素値に基づいて、今回の撮像ピクチャーを生成するためのものである。
前記初期露光値及び補充露光値は、メモリに予め記憶されてもよく、前記プロセッサ２００は、必要である場合、該メモリにおける相応に記憶した露光値に基づいて、初期ピクチャー及び補償ピクチャーを撮像することができる。露光値は、露光情況を示すパラメータであり、シャッタスピード（露光時間）、絞り値及び感光度ＩＳＯ値等により総合的に特定することができる。露光値が大きいほど、対応付けて得られるピクチャーが明るくなる。
前記初期露光値は、ユーザが現在の環境光線に基づいて手動調整した露光値であってもよく、カメラにデフオルト設定される露光値であってもよく、ユーザは、レンズで収集した現在の被写体に対し撮像を行う場合、まず、前記初期露光値に基づいて被写体を撮像し、初期ピクチャーを得る。
前記補償露光値は１つ以上あり、前記プロセッサ２００は、各補償露光値に対して撮像して１枚の補償ピクチャーが得られ、補償露光値を前記初期露光値よりも大きくすることにより、前記初期ピクチャーよりも明るいピクチャーが得られる。補償ピクチャーは、オーバー露光値に対応する補償露光値に基づいて撮像して得られる複数枚のオーバー露光ピクチャーであってもよく、なお、オーバー露光ピクチャーには、オーバー露光された画素点と、露光量が大きいが、オーバー露光されていない画素点とが存在する。
前記プロセッサ２００は総合画素値を計算するときには、具体的に、初期ピクチャー及び各補償ピクチャーにおける、同じ画素の座標位置での画素点の画素値に対して平均化計算を行い、総合画素値を得ることができる。
又は、前記プロセッサ２００は総合画素値を計算するときには、画素点の画素値に基づいて補償ピクチャーにおける画素点に対して重み値を特定し、かつ前記初期ピクチャーにおける画素点に対して重み値を特定し、さらに、特定した重み値に基づいて重み付き平均化計算を行い、各画素の座標位置での画素点の総合画素値を得てもよい。画質に対する実際の必要に応じて、補償ピクチャー（オーバー露光ピクチャー）における画素点に対して分類し、補償ピクチャーにおける正常露光画素点に高い重み値を付与し、オーバー露光画素点に低い重み値、ひいては０重み値を付与し、各補償ピクチャー及び初期ピクチャーにおける同じ画素の座標位置での画素点を重み付き平均化し、最終的に、信号対雑音比がよりよいピクチャーを得ることができる。
前記プロセッサ２００は、前記処理モジュールにより算出した各画素の座標位置での画素点の総合画素値に基づいて、今回の撮像ピクチャーとして完整なピクチャーを生成することができる。
なお、前記算出したものは、輝度画像（濃淡画像）であり、初期ピクチャー及び各補償ピクチャーは是多重チャネルピクチャー、例えばＲＧＢであれば、前記プロセッサ２００は、ＩＴＵ−７０９に規定する変換係数に従ってＲＧＢ成分を輝度値に対応させてから、上述の各ステップを実行することができる。
さらに、前記プロセッサ２００は、前記初期ピクチャーにおける位置ごとの画素点の画素値、前記補償ピクチャーにおける対応位置での画素点の画素値を計算し、各位置での画素点の総合画素値を得るためのものであり、具体的に、前記初期ピクチャーの各画素点及び前記補償ピクチャーの各画素点に対して重み値を特定し、前記初期ピクチャーにおける位置ごとの画素点の重み値とその画素値、及び前記補償ピクチャーにおける対応位置での画素点の重み値とその画素値に対して重み付き平均化計算を行い、各位置での画素点の総合画素値を得るためのものである。
さらに、前記プロセッサ２００は、前記初期ピクチャーの各画素点及び前記補償ピクチャーの各画素点に対して重み値を特定するものであり、具体的に、前記補償ピクチャーにおける各画素点の画素値の大きさを検出し、前記補償ピクチャーにおける画素点の重み値を数値範囲が０〜１である値に特定し、前記補償ピクチャーにおける各画素点に対して特定した重み値に基づいて、前記初期ピクチャーの各画素点の重み値を特定するためのものである。
さらに、前記プロセッサ２００は、前記初期ピクチャーの各画素点及び前記補償ピクチャーの各画素点に対して重み値を特定するものであり、具体的に、前記補償ピクチャーにおける各画素点の画素値の大きさを検出し、前記補償ピクチャーにおける画素値が予め設定された閾値よりも小さい画素点の重み値を０に特定し、画素値が予め設定された閾値以上である画素点の重み値を１に特定し、特定した重み値に基づいて、前記補償ピクチャーに対して２値画像を生成し、生成した２値画像に対して平滑化フィルタリングを行い、平滑化フィルタリングした後の２値画像における各点の値に基づいて、対応する補償ピクチャーの各画素点の重み値及び前記初期ピクチャーの各画素点の重み値を特定するためのものである。
さらに、前記プロセッサ２００は、前記初期ピクチャーにおける位置ごとの画素点の画素値、及び前記補償ピクチャーにおける対応位置での画素点の画素値を計算し、各位置での画素点の総合画素値を得るために用いられるとき、具体的に、前記補償ピクチャーが、複数の画素成分値を含む多重チャネルピクチャーであれば、予め設定された変換係数と、補償ピクチャーにおける各画素点の画素成分値とに基づいて輝度値変換を行い、各画素点の輝度値を得て、特定した輝度値に基づいて、前記補償ピクチャーの各画素点に対して重み値を特定し、前記初期ピクチャーの各画素点に対して重み値を特定し、前記初期ピクチャーにおける位置ごとの画素点の重み値とその画素成分値、及び前記補償ピクチャーにおける対応位置での画素点の重み値とその画素成分値に対して重み付き平均化計算を行い、各位置での画素点の各画素成分の総合値を得、得られた総合値に基づいて、各位置での画素点の総合画素値を特定するために用いられる。
具体的に、前記プロセッサ２００の具体的な実現については、図２〜図１０に対応する実施形態の説明を参照することができる。
本発明の実施形態は、初期露光で撮像したピクチャーと、大きい露光値に基づいて露光撮像して得られる１枚以上のピクチャーに対して重み付き平均化計算を行い、画素点を単位として補償し、ピクチャーの信号対雑音比を効率的に向上可能であり、ピクチャーの暗部ディテールを顕著に向上することができ、かつ機器の格上げが必要でなく、コストが安い。
本発明が提供したいくつかの実施形態において、開示されている関係装置及び方法は他の方式により実現されてもよいと理解すべきである。例えば上述の装置実施形態は例示に過ぎず、例えば前記モジュール又は手段の区画は論理機能の区画に過ぎず、実際に実現される場合、他の区画方式を有することができ、例えば複数の手段又は部材は組み合わせられてもよく又は他のシステムに集積されてもよく、又は若干の特徴は省略されてもよく又は実行されない。一方、これまで示し又は討論した相互間の接続又は直接接続又は通信接続は、いくつかのインタフェース、装置又は手段の間接接続又は通信接続によりなされることが可能となり、電気的、機械的又は他の形式であることが可能となる。
分離部品として説明される前記手段は、物理的に分けられてもよく又は物理的に分けられなくてもよく、手段として表示される部品は、物理手段であってもよく又は物理手段ではなくてもよく、即ち、１つの場所に位置してもよく、又は複数のネットワークユニットに分布されてもよい。実際の必要に応じて、それにおける一部又はすべての手段を選択して本実施形態の目的を実現することができる。
また、本発明の各実施形態における各機能手段は、１つの処理手段に集積されてもよく、各手段は単独で物理的に存在してもよく、２つ以上の手段は１つの手段に集積されてもよい。前記集積した手段は、ハードウェアの形式で実現されてもよく、ソフトウェア機能手段の形式で実現されてもよい。
前記集積した手段は、ソフトウェア機能手段の形式で実現され、かつ独立の製品として販売又は用いられるとすると、コンピュータの読み取り可能な記憶媒体に記憶されえる。このように理解すれば、本発明の技術案は、実質的に、又は従来技術に貢献を与える部分、又は該技術案の全部又は部分は、ソフトウェア製品の形式で現れることが可能となり、該コンピュータのソフトウェア製品は、コンピュータプロセッサ（processor)に本発明の各実施形態に記載の方法の全部又は一部のステップを実行させる若干の指令を含む記憶媒体に記憶される。前記記憶媒体は、ＵＳＢディスク、移動ハードディスク、読み出し専用メモリ（ROM，Read-Only Memory)、ランダムアクセスメモリ（RAM，Random Access Memory)、ディスク又は光ディスク等のプログラムコードを記憶できる各種の媒体を含む。
以上、本発明の実施形態のみについて説明したが、本発明の特許的範囲を限定するものではない。本発明の明細書及び図面内容を用いてなされる等価構造又は等価フロー変換は、他の関係技術分野に直接又は間接的に運用される可能性があり、何れも同様に本発明の特許保護範囲内に含まれる。

Claims (11)

  1. 現在の被写体を撮像する際に、予め設定された初期露光値に基づいて前記被写体を撮像し、対応する初期ピクチャーを得るステップと、
    前記初期露光値よりも大きい予め設定された補償露光値に基づいて前記被写体を撮像し、補償露光値に対応する補償ピクチャーを得るステップと、
    前記初期ピクチャーにおける位置ごとの画素点の画素値、及び前記補償ピクチャーにおける対応位置での画素点の画素値を計算し、各位置での画素点の総合画素値を得るステップと、
    各位置での画素点の総合画素値に基づいて、今回の撮像ピクチャーを生成するステップと
    を含む、ことを特徴とするピクチャー処理方法。
  2. 前記初期ピクチャーにおける位置ごとの画素点の画素値及び前記補償ピクチャーにおける対応位置での画素点の画素値を計算し、各位置での画素点の総合画素値を得るステップは、
    前記初期ピクチャーの各画素点及び前記補償ピクチャーの各画素点に対して重み値を特定するステップと、
    前記初期ピクチャーにおける位置ごとの画素点の重み値とその画素値、及び前記補償ピクチャーにおける対応位置での画素点の重み値とその画素値に対して重み付き平均化計算を行い、各位置での画素点の総合画素値を得るステップとを含む、
    ことを特徴とする請求項１に記載の方法。
  3. 前記初期ピクチャーの各画素点及び前記補償ピクチャーの各画素点に対して重み値を特定するステップは、
    前記補償ピクチャーにおける各画素点の画素値の大きさを検出するステップと、
    前記補償ピクチャーにおける画素点の重み値を数値範囲が０〜１である値に特定するステップと、
    前記補償ピクチャーにおける各画素点に対して特定した重み値に基づいて、前記初期ピクチャーの各画素点の重み値を特定するステップとを含む、
    ことを特徴とする請求項２に記載の方法。
  4. 前記初期ピクチャーの各画素点及び前記補償ピクチャーの各画素点に対して重み値を特定するステップは、
    前記補償ピクチャーにおける各画素点の画素値の大きさを検出するステップと、
    前記補償ピクチャーにおける画素値が予め設定された閾値よりも小さい画素点の変数値を０に特定し、画素値が予め設定された閾値以上である画素点の変数値を１に特定するステップと、
    特定した変数値に基づいて、前記補償ピクチャーに対して２値画像を生成し、生成した２値画像に対して平滑化フィルタリングを行うステップと、
    平滑化フィルタリングした後の２値画像における各点の変数値に基づいて、対応する補償ピクチャーの各画素点の重み値及び前記初期ピクチャーの各画素点の重み値を特定するステップとを含む、
    ことを特徴とする請求項２に記載の方法。
  5. 前記初期ピクチャーにおける位置ごとの画素点の画素値、及び前記補償ピクチャーにおける対応位置での画素点の画素値を計算し、各位置での画素点の総合画素値を得るステップは、
    前記補償ピクチャーが、複数の画素成分値を含む多重チャネルピクチャーであれば、予め設定された変換係数と、補償ピクチャーにおける各画素点の画素成分値とに基づいて輝度値変換を行い、各画素点の輝度値を得るステップと、
    特定した輝度値に基づいて、前記補償ピクチャーの各画素点に対して重み値を特定し、前記初期ピクチャーの各画素点に対して重み値を特定するステップと、
    前記初期ピクチャーにおける位置ごとの画素点の重み値とその画素成分値、及び前記補償ピクチャーにおける対応位置での画素点の重み値とその画素成分値に対して重み付き平均化計算を行い、各位置での画素点の各画素成分の総合値を得るステップと、
    得られた総合値に基づいて、各位置での画素点の総合画素値を特定するステップとを含む、
    ことを特徴とする請求項１に記載の方法。
  6. 現在の被写体を撮像する際に、予め設定された初期露光値に基づいて前記被写体を撮像し、対応する初期ピクチャーを得るためのものであって、かつそれぞれ前記初期露光値よりも大きい予め設定された補償露光値に基づいて前記被写体を撮像し、補償露光値に対応する補償ピクチャーを得るための撮像モジュールと、
    前記初期ピクチャーにおける位置ごとの画素点の画素値、及び前記補償ピクチャーにおける対応位置での画素点の画素値を計算し、各位置での画素点の総合画素値を得るための処理モジュールと、
    各位置での画素点の総合画素値に基づいて、今回の撮像ピクチャーを生成するための生成モジュールと、を含む、
    ことを特徴とするピクチャー処理装置。
  7. 前記処理モジュールは、
    前記初期ピクチャーの各画素点及び前記補償ピクチャーの各画素点に対して重み値を特定するための処理手段と、
    前記初期ピクチャーにおける位置ごとの画素点の重み値とその画素値、及び対応位置での補償画素点の重み値とその画素値に対して重み付き平均化計算を行い、各位置での画素点の総合画素値を得るための算出手段とを含む、
    ことを特徴とする請求項６に記載の装置。
  8. 前記処理手段は、
    前記補償ピクチャーにおける各画素点の画素値の大きさを検出し、
    前記補償ピクチャーにおける画素点の重み値を数値範囲が０〜１である値に特定し、
    前記補償ピクチャーにおける各画素点に対して特定した重み値に基づいて、前記初期ピクチャーの各画素点の重み値を特定するためのものである、
    ことを特徴とする請求項７に記載の装置。
  9. 前記処理手段は、
    前記補償ピクチャーにおける各画素点の画素値の大きさを検出し、
    前記補償ピクチャーにおける画素値が予め設定された閾値以上である画素点の重み値を０に特定し、画素値が予め設定された閾値よりも大きい画素点の重み値を１に特定し、
    特定した重み値に基づいて、前記補償ピクチャーに対して２値画像を生成し、生成した２値画像に対して平滑化フィルタリングを行い、
    平滑化フィルタリングした後の２値画像における各点の値に基づいて、対応する補償ピクチャーの各画素点の重み値及び前記初期ピクチャーの各画素点の重み値を特定するためのものである、
    ことを特徴とする請求項７に記載の装置。
  10. 前記処理モジュールは、
    前記補償ピクチャーが複数の画素成分値を含む多重チャネルピクチャーであれば、予め設定された変換係数と、補償ピクチャーにおける各画素点の画素成分値とに基づいて輝度値変換を行い、各画素点の輝度値を得るための成分処理手段と、
    特定した輝度値に基づいて、前記補償ピクチャーの各画素点に対して重み値を特定し、かつ前記初期ピクチャーの各画素点に対して重み値を特定し、前記初期ピクチャーにおける位置ごとの画素点の重み値とその画素成分値、及び前記補償ピクチャーにおける対応位置での画素点の重み値とその画素成分値に対して重み付き平均化計算を行い、各位置での画素点の各画素成分の総合値を得て、得られた総合値に基づいて各位置での画素点の総合画素値を特定するための成分算出手段とを含む、
    ことを特徴とする請求項６に記載の装置。
  11. ピクチャー収集装置とプロセッサとを含むカメラであって、
    前記ピクチャー収集装置は、現在の被写体を撮像する際に、前記プロセッサの制御に基づいて前記被写体を撮像し、ピクチャーを得るためのものであり、
    前記プロセッサは、予め設定された初期露光値に基づいて、前記ピクチャー収集装置が前記被写体を撮像するように制御し、対応する初期ピクチャーを得て、それぞれ前記初期露光値よりも大きい予め設定された補償露光値に基づいて、前記ピクチャー収集装置が前記被写体を撮像するように制御し、補償露光値に対応する補償ピクチャーを得て、前記初期ピクチャーにおける位置ごとの画素点の画素値、及び前記補償ピクチャーにおける対応位置での画素点の画素値を計算し、各位置での画素点の総合画素値を得て、各位置での画素点の総合画素値に基づいて、今回の撮像ピクチャーを生成するためのものである、
    ことを特徴とするカメラ。
JP2016536211A 2014-06-12 2014-06-12 ピクチャー処理方法、装置 Pending JP2016540440A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/079778 WO2015188359A1 (zh) 2014-06-12 2014-06-12 一种图片处理方法、装置

Publications (1)

Publication Number Publication Date
JP2016540440A true JP2016540440A (ja) 2016-12-22

Family

ID=53732397

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016536211A Pending JP2016540440A (ja) 2014-06-12 2014-06-12 ピクチャー処理方法、装置

Country Status (4)

Country Link
US (1) US10453188B2 (ja)
JP (1) JP2016540440A (ja)
CN (1) CN104823437A (ja)
WO (1) WO2015188359A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2008153125A1 (ja) * 2007-06-15 2010-08-26 積水化学工業株式会社 光半導体素子用封止剤及び光半導体素子

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106060249B (zh) * 2016-05-19 2020-02-21 维沃移动通信有限公司 一种拍照防抖方法及移动终端
CN106875344B (zh) 2016-12-21 2019-09-17 浙江大华技术股份有限公司 一种视频图像的补光处理方法及装置
US10129458B2 (en) * 2016-12-29 2018-11-13 Automotive Research & Testing Center Method and system for dynamically adjusting parameters of camera settings for image enhancement
US10863105B1 (en) * 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management
CN107464260A (zh) * 2017-07-06 2017-12-12 山东农业大学 一种采用无人机的水稻冠层图像处理方法
CN109398731B (zh) * 2017-08-18 2020-09-08 深圳市道通智能航空技术有限公司 一种提升3d图像深度信息的方法、装置及无人机
CN108259774B (zh) * 2018-01-31 2021-04-16 珠海市杰理科技股份有限公司 图像合成方法、系统和设备
CN110958363B (zh) * 2019-12-04 2022-04-15 RealMe重庆移动通信有限公司 图像处理方法及装置、计算机可读介质和电子设备
CN111416948A (zh) * 2020-03-25 2020-07-14 维沃移动通信有限公司 一种图像处理方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131708A (ja) * 1993-10-29 1995-05-19 Canon Inc 画像合成装置
JP2004032583A (ja) * 2002-06-28 2004-01-29 Victor Co Of Japan Ltd 撮像装置
JP2011004088A (ja) * 2009-06-17 2011-01-06 Canon Inc 撮像装置およびその制御方法
JP2011029695A (ja) * 2009-07-21 2011-02-10 Nikon Corp 画像処理装置、画像処理プログラム
JP2013243780A (ja) * 2013-08-27 2013-12-05 Morpho Inc 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204881B1 (en) * 1993-10-10 2001-03-20 Canon Kabushiki Kaisha Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range
EP1313066B1 (en) * 2001-11-19 2008-08-27 STMicroelectronics S.r.l. A method for merging digital images to obtain a high dynamic range digital image
AU2003244304A1 (en) * 2002-07-18 2004-02-09 Sony Corporation Imaging data processing method, imaging data processing device, and computer program
JP4590324B2 (ja) * 2005-07-29 2010-12-01 キヤノン株式会社 画像形成装置および方法
JP4540661B2 (ja) * 2006-02-28 2010-09-08 三洋電機株式会社 物体検出装置
US7623683B2 (en) * 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range
US7828007B2 (en) * 2006-06-30 2010-11-09 Pneumadyne, Inc. Automatic pump control device
JP4799329B2 (ja) * 2006-09-07 2011-10-26 株式会社東芝 ムラ検査方法、表示パネルの製造方法及びムラ検査装置
JP2009049547A (ja) * 2007-08-15 2009-03-05 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム
CN101394485B (zh) * 2007-09-20 2011-05-04 华为技术有限公司 图像生成方法、装置及图像合成设备
US20090238435A1 (en) * 2008-03-21 2009-09-24 Applied Imaging Corp. Multi-Exposure Imaging for Automated Fluorescent Microscope Slide Scanning
JP2010166558A (ja) * 2008-12-19 2010-07-29 Sanyo Electric Co Ltd 撮像装置
CN101841631B (zh) * 2009-03-20 2011-09-21 微星科技股份有限公司 暗部曝光补偿方法及应用该方法的图像处理装置
TW201036453A (en) * 2009-03-25 2010-10-01 Micro Star Int Co Ltd Method and electronic device to produce high dynamic range image
US8525900B2 (en) * 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP5589585B2 (ja) * 2009-07-07 2014-09-17 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
CA2710710A1 (en) * 2009-07-21 2011-01-21 Mobile Newmedia Ltd. Systems and methods for wireless communications
JP5178662B2 (ja) * 2009-07-31 2013-04-10 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP5767485B2 (ja) * 2011-02-07 2015-08-19 キヤノン株式会社 画像処理装置及び制御方法
US8675984B2 (en) * 2011-03-03 2014-03-18 Dolby Laboratories Licensing Corporation Merging multiple exposed images in transform domain
KR101699919B1 (ko) * 2011-07-28 2017-01-26 삼성전자주식회사 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법
CN103312942B (zh) * 2012-03-12 2016-07-20 华晶科技股份有限公司 动态范围图像的噪声处理方法及其图像捕捉装置
JP2013239108A (ja) * 2012-05-17 2013-11-28 Sony Corp 画像処理装置および方法、学習装置および方法、並びに、プログラム
US10304217B2 (en) * 2012-07-30 2019-05-28 Toshiba Medical Systems Corporation Method and system for generating image using filtered backprojection with noise weighting and or prior in
KR101890305B1 (ko) * 2012-08-27 2018-08-21 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
US9349166B2 (en) * 2012-12-31 2016-05-24 Nokia Technologies Oy Method, apparatus and computer program product for generating images of scenes having high dynamic range
US9460492B2 (en) * 2013-05-10 2016-10-04 Hanwha Techwin Co., Ltd. Apparatus and method for image processing
US8885976B1 (en) * 2013-06-20 2014-11-11 Cyberlink Corp. Systems and methods for performing image fusion
US8957984B2 (en) * 2013-06-30 2015-02-17 Konica Minolta Laboratory U.S.A., Inc. Ghost artifact detection and removal in HDR image processsing using multi-scale normalized cross-correlation
US9432589B2 (en) * 2013-08-15 2016-08-30 Omnivision Technologies, Inc. Systems and methods for generating high dynamic range images
US9615012B2 (en) * 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US9639806B2 (en) * 2014-04-15 2017-05-02 Xerox Corporation System and method for predicting iconicity of an image
US9344636B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Scene motion correction in fused image systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131708A (ja) * 1993-10-29 1995-05-19 Canon Inc 画像合成装置
JP2004032583A (ja) * 2002-06-28 2004-01-29 Victor Co Of Japan Ltd 撮像装置
JP2011004088A (ja) * 2009-06-17 2011-01-06 Canon Inc 撮像装置およびその制御方法
JP2011029695A (ja) * 2009-07-21 2011-02-10 Nikon Corp 画像処理装置、画像処理プログラム
JP2013243780A (ja) * 2013-08-27 2013-12-05 Morpho Inc 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2008153125A1 (ja) * 2007-06-15 2010-08-26 積水化学工業株式会社 光半導体素子用封止剤及び光半導体素子

Also Published As

Publication number Publication date
CN104823437A (zh) 2015-08-05
US20170091909A1 (en) 2017-03-30
WO2015188359A1 (zh) 2015-12-17
US10453188B2 (en) 2019-10-22

Similar Documents

Publication Publication Date Title
JP2016540440A (ja) ピクチャー処理方法、装置
KR102103252B1 (ko) 이미지 융합 방법 및 장치, 및 단말 디바이스
WO2019105154A1 (en) Image processing method, apparatus and device
JP6736568B2 (ja) 高ダイナミックレンジ（ｈｄｒ）画素ストリームを生成するためのシステムおよび方法
US20170256036A1 (en) Automatic microlens array artifact correction for light-field images
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
US8965121B2 (en) Image color matching and equalization devices and related methods
US9681026B2 (en) System and method for lens shading compensation
JP5859080B2 (ja) イメージのカラーアーチファクトを補正する方法と関連装置
CN110225330A (zh) 用于多视点降噪和高动态范围的系统和方法
US8737755B2 (en) Method for creating high dynamic range image
JP7152065B2 (ja) 画像処理装置
JP2018503325A (ja) 画素データに対して演算を実行するためのシステムおよび方法
TW201918995A (zh) 多工高動態範圍影像
TWI823956B (zh) 在相機感測器模組和視覺處理系統之間交換經hdr 組合的串流和相關聯的曝光
CN102629976A (zh) 图像处理设备和图像处理设备的控制方法
JP6083974B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111724317A (zh) Raw域视频去噪监督数据集构造方法
JP2014138290A (ja) 撮像装置及び撮像方法
CN114584700A (zh) 对焦标记方法、标记装置以及电子设备
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
CN108810509A (zh) 一种图像色彩校正方法及装置
KR101477505B1 (ko) 하이 다이나믹 레인지 영상 형성 방법
CN116055891A (zh) 图像处理方法及其装置
JP6827782B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160602

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160602

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170307

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170607