JP2011521521A - 最適映像選択 - Google Patents

最適映像選択 Download PDF

Info

Publication number
JP2011521521A
JP2011521521A JP2011506190A JP2011506190A JP2011521521A JP 2011521521 A JP2011521521 A JP 2011521521A JP 2011506190 A JP2011506190 A JP 2011506190A JP 2011506190 A JP2011506190 A JP 2011506190A JP 2011521521 A JP2011521521 A JP 2011521521A
Authority
JP
Japan
Prior art keywords
videos
sharpness
images
value
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011506190A
Other languages
English (en)
Other versions
JP5389903B2 (ja
Inventor
ジン グォン、ソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Core Logic Inc
Original Assignee
Core Logic Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Core Logic Inc filed Critical Core Logic Inc
Publication of JP2011521521A publication Critical patent/JP2011521521A/ja
Application granted granted Critical
Publication of JP5389903B2 publication Critical patent/JP5389903B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • H04N1/2141Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer
    • H04N1/2145Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer of a sequence of images for selection of a single frame before final recording, e.g. from a continuous sequence captured before and after shutter-release
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】
連続的に撮影された複数の映像のうち最適な映像を選択する技術、装置及びシステムについて開示する。
【解決手段】
一実施例として、最適な映像選択方法は、連続的に撮影された複数の映像の輝度値及び鮮明度値を測定し、前記測定された輝度値及び鮮明度値を結合し、前記結合された値に基づいて複数の映像のうち最適な映像を選択する。
【選択図】図1

Description

本発明は、映像選択に関するものを開示する。
デジタルカメラは、撮影した映像を内部記憶装置に格納できるカメラである。一般のカメラが映像をアナログ値で格納する一方、デジタルカメラは、映像をビットマップに分割し、それぞれの輝度をデジタル値で記録する。最近広く使用されるデジタルカメラは、シャッターを押すことによって一つの映像を撮影する一般の撮影モードと、シャッターを押している間に連続して数個の映像を撮影する連続撮影モードとをサポートする。一般的に、連続撮影モードでは、同一の被写体に対して連続性を有する多数の静止映像を得ることができる。
本発明が解決しようとする課題は、連続的に撮影された複数の映像のうち最適な映像をより正確に選択できる映像の選択方法及び装置、並びに前記方法を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
前記課題を解決するための本発明に係る映像選択方法は、連続的に撮影された複数の映像の輝度値を測定し、前記複数の映像の鮮明度値を測定し、前記複数の映像に対して前記測定された輝度値及び前記測定された鮮明度値を結合し、前記結合された値に基づいて前記複数の映像のうち最適な映像を選択することを含む。
また、前記課題は、連続的に撮影された複数の映像の輝度値を測定し、前記複数の映像の鮮明度値を測定し、前記複数の映像に対して前記測定された輝度値及び前記測定された鮮明度値を結合し、前記結合された値に基づいて前記複数の映像のうち最適な映像を選択することを含む、映像選択方法を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体によって達成される。
また、前記課題を解決するための本発明に係る映像選択装置は、連続的に撮影された複数の映像の輝度値を測定する輝度測定部と、前記複数の映像の鮮明度値を測定する鮮明度測定部と、前記複数の映像に対して前記測定された輝度値及び前記測定された鮮明度値を結合する結合部と、前記結合された値に基づいて前記複数の映像のうち最適な映像を選択する選択部とを含む。
本明細書で記述する技術、装置及びシステムは、下記のような一つ以上の長所を選択的に提供することができる。例えば、雑音、被写体の動き及びカメラの内外部の明るさの変化によるエラーを最小化し、最適な映像が選択される。
本発明の一実施例に係る映像選択装置を示すブロック図である。 図1の鮮明度測定部によって検出されたエッジを含む映像の一例を示す図である。 図1の鮮明度測定部によって検出されたエッジを含む映像の他の例を示す図である。 可変的な明るさで連続的に撮影された複数の映像にそれぞれ対応するヒストグラムを示す図である。 可変的な明るさで連続的に撮影された複数の映像にそれぞれ対応するヒストグラムを示す図である。 可変的な明るさで連続的に撮影された複数の映像にそれぞれ対応するヒストグラムを示す図である。 図1の輝度測定部で設定したマスクの例を示す図である。 ヒストグラムに図5Aのマスクを適用したものを示す図である。 本発明の一実施例に係る映像選択方法を示すフローチャートである。 本発明の一実施例に係る映像処理方法を示すフローチャートである。
本明細書に開示されている本発明の各実施例に対する特定の構造的及び機能的説明は、本発明の実施例を説明するために例示されたものに過ぎず、本発明の各実施例は、多様な形態で実施可能であって、本明細書で説明された各実施例に限定されるものと解釈されてはならない。
以下、添付の各図面を参照して、本発明の好適な実施例をより詳細に説明する。図面上の同一の構成要素については同一の参照符号を使用し、それに対する重複した説明は省略する。
図1は、本発明の一実施例に係る映像選択装置を示すブロック図である。
図1を参照すれば、映像選択装置100は、明暗情報抽出部11、画質測定部12及び選択部13を含む。
明暗情報抽出部11は、連続的に撮影された複数の映像の明暗情報を抽出する。ここで、複数の映像は、カメラの連続撮影モードで既に設定されたN(Nは2以上の自然数)個の連続的に撮影された映像を示す。連続撮影モードで連続的に撮影された映像であるとしても、被写体の動きによるぼやけ、カメラの内外部の明るさの変化、又はユーザの手ぶれなどによるぼやけなどによって画質の差が生じるおそれがあるので、N個の連続的に撮影された映像のうち最適な映像を選択する必要がある。
ここで、複数の映像はカラー映像であってもよい。一般的に、カラー映像は、明暗情報を示すY成分と色彩情報を示すCb、Cr成分に区分される。このとき、色彩情報であるCb、Crは、明暗情報であるYより照明条件に敏感である。本発明の一実施例では、多様な環境で獲得された映像にアルゴリズムを適用しなければならないので、明暗情報抽出部11は、相対的に照明条件に敏感でない明暗情報のみを抽出し、グレーレベルの映像(すなわち、濃淡画像)を獲得することができる。また、Y、Cb、CrのうちY成分のみを用いることによって、全体的な処理速度を向上させることができる。
一方、本発明の他の実施例で複数の映像が黒白映像である場合、映像選択装置は、明暗情報抽出部11を含まなくてもよい。また、本発明の更に他の実施例で複数の映像がカラー映像であるとしても、映像選択装置は、明暗情報抽出部11を含まず、カラー映像に対して画質を測定することもできる。
画質測定部12は、鮮明度測定部121、輝度測定部122及び結合部123を含み、明暗情報抽出部11から出力された明暗情報のみを有する複数のグレーレベル映像の画質を測定する。
鮮明度測定部121は、明暗情報抽出部11から抽出された明暗情報のみを有する映像の鮮明度を測定する。ここで、鮮明度は、映像の明暗境界部分の明確度を示すもので、ディテール(detail)、コントラスト、エッジなどを包括する概念である。
より詳細に、鮮明度測定部121は、複数のグレーレベル映像に対してフィルタを適用し、それぞれの映像に含まれたエッジを検出することによって、鮮明度を測定する。例えば、鮮明度測定部121は、複数のグレーレベル映像に対してソーベルフィルタを適用し、それぞれの映像に含まれたエッジを検出することができる。本発明の他の実施例で、鮮明度測定部121は、ガウシアンフィルタ、ラプラシアンフィルタなどのような他のフィルタを用いることもできる。以下では、説明の便宜上、ソーベルフィルタを適用した場合について説明する。
図2は、図1の鮮明度測定部121によって検出されたエッジを含む映像の一例を示す。以下では、図1及び図2を参照して鮮明度測定部121の動作を説明する。
図1及び図2を参照すれば、鮮明度測定部121は、映像に対してソーベルフィルタを適用し、図2に示すように、映像に含まれたエッジ成分のみを検出する。
ソーベルフィルタは、微分演算子Gx及びGyを含み、微分演算子Gx及びGyは、次の数学式1及び2のように示される。
まず、鮮明度測定部121は、グレーレベル映像に対してGxを適用し、映像に含まれている縦方向のエッジ成分を検出する。
その次に、鮮明度測定部121は、グレーレベル映像200に対してGyを適用し、映像に含まれている横方向のエッジ成分を検出する。しかし、鮮明度測定部121は、まず、映像に対してGxを適用し、映像に含まれている縦方向のエッジ成分を先に検出した後、映像に対してGyを適用し、映像に含まれている横方向のエッジ成分を検出することができる。
その次に、鮮明度測定部121は、映像の横方向のエッジ成分と縦方向のエッジ成分を合わせてエッジの総和(TSedge)を算出し、算出されたエッジの総和を鮮明度として出力する。イメージのサイズがIS(image size)で、ビット数がnである場合、エッジの総和の範囲は0≦TSedge≦IS×2nである。例えば、イメージのサイズが640×480で、ビット数が8ビットであり得る。この場合、エッジの総和の範囲は0≦TSedge≦640×480×28である。
図3は、図1の鮮明度測定部121によって検出されたエッジを含む映像の他の例を示す。以下では、図1及び図3を参照して、鮮明度測定部121の動作を説明する。
図1及び図3を参照すれば、鮮明度測定部121は、グレーレベル映像300に対して鮮明度を測定するための所定の測定領域を設定し、設定された所定の測定領域に対してのみソーベルフィルタを適用する。より詳細に、鮮明度測定部121の縁部の一定領域を除いた所定の測定領域を設定する。例えば、図3に示すように、鮮明度測定部121は、グレーレベル映像の上下の縁部からXlimitだけ離れ、左右の縁部からYlimitだけ離れた領域31を測定領域として設定することができる。
一般的に、カメラの連続撮影モードでユーザによってカメラが揺れることがあり、この場合、映像の最外郭領域での変化が大きい。例えば、1番目に撮影された映像では中心部に人のみが撮られたが、2番目に撮影された映像では中心部に人が撮られ、外郭に木が少しだけ撮られることがある。この場合、意図しない木が撮られることによって、映像のエッジ成分が大きく増加するようになりうる。したがって、ユーザが関心のある特定被写体を中心に映像の鮮明度を測定することが望ましいので、鮮明度測定部121は、グレーレベル映像に対して所定の測定領域を設定することができる。この場合、鮮明度測定部121は、グレーレベル映像に対して所定の測定領域のみにソーベルフィルタを適用し、横方向のエッジ成分と縦方向のエッジ成分を検出した後、検出された各エッジ成分の総和を鮮明度として出力する。
このように、映像の鮮明度に基づいて複数の映像のうち最も鮮明度の大きい映像を最適な映像として選択する場合、固定された適正な明るさで最適な映像を適宜選択することができる。
さらに、本発明は、最適な映像を判断するのに発生しうる雑音、被写体の動き、カメラの内外部の明るさの変化などによるエラーを最小化し、最適な映像を選択することができる。
また、図1を参照すれば、輝度測定部122は、明暗情報抽出部11から抽出された明暗情報のみを有するグレーレベル映像の輝度を測定する。ここで、輝度は、物体やその物体によって作られる映像信号の明るさを意味し、明るさ及び明度などを包括する。代表的に、輝度測定部122は、複数のグレーレベル映像の輝度分布を示すヒストグラムを分析することによって輝度情報を抽出することができる。
図4A〜図4Cは、可変的な明るさで連続的に撮影された複数の映像のヒストグラム400、410、420を示す。ヒストグラムにおいて、横軸は0〜255の階調レベルを有する強さを示し、縦軸はピクセルの数を示す。
図4Aを参照すれば、露出不足状態で撮影された映像のヒストグラム400を見れば、階調レベルが0である黒色にピクセルが多く分布し、階調レベルが大きくなるほど、ピクセルがほぼ分布しないことが分かる。すなわち、図4Aのヒストグラムによれば、ピクセルが階調レベルの低い方に集中し、大略的に曲線41に沿って分布することが分かる。
図4Bを参照すれば、適正な露出状態で撮影された映像のヒストグラム410を見れば、階調レベルが中間程度である地点を中心に、ピクセルが大略的に曲線42に沿って均一に分布することが分かる。適正な露出状態で撮影された映像は、視覚的に適切な映像に見えるだけでなく、図4Bに示すように、ヒストグラムの形態においても、ピクセルが全階調レベルに対して均一に分布することが分かる。
図4Cを参照すれば、過度の露出状態で撮影された映像のヒストグラム420を見れば、階調レベルが255である白色にピクセルが多く分布し、階調レベルが大きくなるほど、ピクセルが多く分布することが分かる。すなわち、図4Cのヒストグラムによれば、ピクセルが階調レベルの高い方に集中し、大略的に曲線43に沿って分布することが分かる。
図5Aは、図1の輝度測定部122で設定したマスクの例を示し、図5Bは、ヒストグラムに図5Aのマスクを適用したものを示す。以下では、図1、図5A及び図5Bを参照して輝度測定部122の動作を説明する。
図5Aを参照すれば、輝度測定部122は、映像のヒストグラムに基づいてマスク51を予め設定する。マスク51は、横軸に対する所定幅及び縦軸に対する所定高さを有する三角形状であってもよい。図5Aで、マスク51の幅はMLで、マスク51の面積はMAである。この場合、幅及び高さは変更可能である。例えば、マスクの幅は最小値(Minv)と最大値(Maxv)との間に設定されてもよく、高さは127に設定されてもよい。また、マスクの形態は三角形に限定されず、変形可能である。
図5Bを参照すれば、輝度測定部122は、映像のヒストグラム52に図5Aのマスク51を適用し、該当の映像に対して輝度を測定する。このとき、マスク51内に含まれたヒストグラム52の面積はHAで、マスク51内に含まれたヒストグラム52の幅はHLである。より詳細に、輝度測定部122は、次の数学式3のように輝度を測定することができる。
ここで、Lは輝度を示し、HAはヒストグラムの面積を示し、MAはマスクの面積を示し、HLはヒストグラムの幅を示し、MLはマスクの幅を示す。輝度測定部122は、ヒストグラムの面積HAとマスクの面積MAとの比と、ヒストグラムの幅HLとマスクの幅MLとの比を掛け算することによって、輝度Lを測定する。したがって、輝度Lは0〜1の値を有する(すなわち、0≦L≦1)。すなわち、マスク51とヒストグラム52が一致する場合、輝度は1である。図4A及び図4Cに示したヒストグラムは、マスク51に含まれる領域が小さいので輝度が小さく、図4Bに示したヒストグラムは、マスク51に含まれる領域が多いので輝度が大きい。
再び図1を参照すれば、結合部123は、鮮明度測定部121及び輝度測定部122でそれぞれ測定された鮮明度及び輝度を定量的に結合し、結合値(CV、Combination Value)を出力する。より詳細に、結合部123は、鮮明度測定部121で測定されたエッジの総和(TSedge)と輝度測定部122で測定された輝度(L)とを掛け算して結合値(CV)を出力する。上述したように、イメージのサイズがIS(image size)で、ビット数がnである場合、エッジの総和の範囲は0≦TSedge≦IS×2nで、輝度の範囲は0≦L≦1である。ここで、輝度(L)は、エッジの総和(TSedge)に対して加重値の役割をする。また、輝度(L)とエッジの総和(TSedge)がそれぞれ加重値を有した状態で結合値(CV)が計算されることもある。
選択部13は、結合部123から出力された結合結果に基づいて連続的に撮影された複数の映像のうち最適な映像を選択する。より詳細に、選択部13は、連続的に撮影された複数の映像のうち鮮明度と輝度の積の値が最も大きい映像を最適な映像として選択する。
本発明の一実施例で、選択部13は、連続的に撮影された複数の映像に対して以前の映像と現在の映像を順次比較し、鮮明度と輝度の積の値が大きい映像を最適な映像として選択する。この場合、以前の映像と現在の映像のうち選択された映像を次の映像と比較するために、該当の数値を格納し、既に設定された映像の数だけ比較過程を繰り返す。一方、本発明の他の実施例で、選択部13は、連続的に撮影された複数の映像をフレームバッファに格納した後、格納された各映像のうち鮮明度と輝度の積の値が最も大きい映像を最適な映像として選択することもできる。
鮮明度のみに基づいて最適な映像を選択する場合、ユーザの手ぶれなどによって各映像の外郭領域が変われば、測定領域の設定有無によって選択される最適な映像が変わり得る。しかし、鮮明度及び輝度に基づいて最適な映像を選択する場合、ユーザの手ぶれなどによって各映像の外郭領域が変わるとしても、測定領域の設定有無と関係なしに最適な映像を選択することができる。一方、輝度のみに基づいて最適な映像を選択する場合も、ユーザの手ぶれなどによって各映像の外郭領域が変わるとしても、測定領域の設定有無と関係なしに最適な映像を選択することができる。
図6は、本発明の一実施例に係る映像選択方法を示すフローチャートである。
図6を参照すれば、本実施例に係る映像選択方法は、図1に示した映像選択装置で時系列的に処理される各段階で構成される。したがって、以下で省略された内容であっても、図1に示した映像選択装置に関して記述された以上の内容は、本実施例の映像選択方法にも適用される。
600段階で、明暗情報抽出部11は、連続的に撮影された複数の映像の明暗情報を抽出し、グレーレベル映像を出力する。
610段階で、鮮明度測定部121は、グレーレベル映像の鮮明度を測定する。
620段階で、輝度測定部122は、グレーレベル映像の輝度を測定する。本発明の実施例によって、610段階は、620段階より先に行われてもよく、620段階の後で行われてもよく、これら段階が同時に行われてもよい。
630段階で、結合部123は、鮮明度測定部121で測定された鮮明度と輝度測定部122で測定された輝度とを結合する。
640段階で、選択部13は、結合部123で結合された結果に基づいて複数の映像のうち最適な映像を選択する。
図7は、本発明の一実施例に係る映像処理方法を示すフローチャートである。
図7を参照すれば、700段階で、連続的に撮影された複数の映像を受信する。
710段階で、受信された複数の映像に対して最適映像選択動作を行う。ここで、最適映像選択動作は、図6に示した映像選択方法に対応する。したがって、最適映像選択動作は、明暗情報抽出、映像の鮮明度/輝度測定、鮮明度/輝度結合、及び最適映像選択段階を含むアルゴリズムを含むことができる。
720段階で、入力された映像の数が既に設定された個数Nと一致するかどうかを判断する。判断結果、入力された映像の数が既に設定された個数Nと一致しない場合は、再び710段階に進行し、入力された映像の数が既に設定された個数Nと一致する場合は終了する。
本発明の実施例に係る映像選択装置及び方法は、デジタルカメラ、カメラが装着された携帯電話、PDA(Personal Digital Assistant)などに用いられる。
また、本発明に係るシステムは、コンピュータ読み取り可能な記録媒体にコンピュータ読み取り可能なコードとして具現することが可能である。コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み込まれるデータが格納されるあらゆる種類の記録装置を含む。記録媒体の例としては、ROM、RAM、CD―ROM、磁気テープ、フロッピーディスク、光データ格納装置などがあり、キャリアウェーブ(例えば、インターネットを介した伝送)の形態で具現されるものも含む。また、コンピュータ読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、分散方式でコンピュータ読み取り可能なコードが格納・実行され得る。
本発明によれば、連続的に撮影された複数の映像の輝度を測定し、測定された輝度に基づいて複数の映像のうち最適な映像を選択することによって、雑音、被写体の動き、カメラの内外部の明るさの変化などによって発生しうるエラー、ユーザの手ぶれによるぼやけ(blurring)などのエラーを最小化し、より正確に最適な映像を選択することができる。
また、本発明によれば、カラー映像の明暗情報を示すY成分と色彩情報を示すCb、Cr成分のうち、照明条件にそれほど敏感でない明暗情報のみを抽出して用いることによって、全体的な処理速度を向上させることができる。
また、本発明によれば、鮮明度を測定するための所定の測定領域を設定し、設定された測定領域に対してのみソーベルフィルタを適用することによって、映像の最外郭領域に存在し得る意図しないエッジ変化の影響を最小化させることができる。
また、本発明は、ハードウェアサイズを減少させることによって、デジタルカメラ、カメラが装着された携帯電話、PDA(Personal Digital Assistant)などのようなモバイル機器に適宜用いられる。
本発明は、映像選択に関するものである。本明細書で記述する技術、装置及びシステムは、下記のような一つ以上の長所を選択的に提供することができる。例えば、雑音、被写体の動き及びカメラの内外部の明るさの変化によるエラーを最小化し、最適な映像が選択される。
11:明暗情報抽出部、12:画質測定部、13:選択部、121:鮮明度測定部、122:輝度測定部、123:結合部

Claims (17)

  1. 連続的に撮影された複数の映像の輝度値を測定し、
    前記複数の映像の鮮明度値を測定し、
    前記複数の映像に対して前記測定された輝度値及び前記測定された鮮明度値を結合し、
    前記結合された値に基づいて前記複数の映像のうち最適な映像を選択することを含むことを特徴とする映像選択方法。
  2. 前記複数の映像の輝度値を測定するのは、
    前記複数の映像の輝度分布を示すヒストグラムに対して所定の幅及び高さを有するマスクを設定し、
    前記設定されたマスクと前記ヒストグラムの比率を用いて前記複数の映像の前記輝度値を測定することを特徴とする、請求項1に記載の映像選択方法。
  3. 前記設定されたマスクと前記ヒストグラムの比率を用いて前記複数の映像の輝度値を測定するのは、
    前記設定されたマスクの面積と前記マスク内に含まれたヒストグラムの面積との比を計算し、
    前記設定されたマスクの幅と前記マスク内に含まれたヒストグラムの幅との比を計算し、
    前記面積の比と前記幅の比を演算して前記輝度値を測定することを含むことを特徴とする、請求項2に記載の映像選択方法。
  4. 前記複数の映像に対して測定領域を設定することをさらに含み、
    前記複数の映像の鮮明度値を測定するのは、前記複数の映像に対して前記設定された測定領域内で鮮明度値を測定することを特徴とする、請求項1に記載の映像選択方法。
  5. 前記複数の映像の鮮明度を測定するのは、
    前記複数の映像の縦方向のエッジ成分及び横方向のエッジ成分を検出し、
    前記縦方向のエッジ成分及び前記横方向のエッジ成分の和を算出することによって、前記複数の映像の鮮明度値を測定することを含むことを特徴とする、請求項1に記載の映像選択方法。
  6. 前記最適な映像を選択するのは、
    前記縦方向のエッジ成分及び前記横方向のエッジ成分の和と前記測定された輝度値を掛け算して生成された値に基づいて、前記複数の映像のうち前記最適な映像を選択することを特徴とする、請求項5に記載の映像選択方法。
  7. 前記複数の映像の明暗情報を抽出することをさらに含み、
    前記複数の映像の輝度値を測定するのは、前記抽出された明暗情報に基づいて前記複数の映像の輝度値を測定し、
    前記複数の映像の鮮明度値を測定するのは、前記抽出された明暗情報に基づいて前記複数の映像の鮮明度値を測定することを特徴とする、請求項1に記載の映像選択方法。
  8. 前記最適な映像を選択するのは、前記連続的に撮影された順に実時間で行われることを特徴とする、請求項1に記載の映像選択方法。
  9. 連続的に撮影された複数の映像の輝度値を測定し、
    前記複数の映像の鮮明度値を測定し、
    前記複数の映像に対して前記測定された輝度値及び前記測定された鮮明度値を結合し、
    前記結合された値に基づいて前記複数の映像のうち最適な映像を選択することを含む、映像選択方法を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  10. 連続的に撮影された複数の映像の輝度値を測定する輝度測定部と、
    前記複数の映像の鮮明度値を測定する鮮明度測定部と、
    前記複数の映像に対して前記測定された輝度値及び前記測定された鮮明度値を結合する結合部と、
    前記結合された値に基づいて前記複数の映像のうち最適な映像を選択する選択部と、を含むことを特徴とする映像選択装置。
  11. 前記輝度測定部は、
    前記複数の映像のそれぞれの輝度分布を示すヒストグラムに対して所定の幅及び高さを有するマスクを設定し、前記設定されたマスクと前記ヒストグラムの比率を用いて前記複数の映像の前記輝度値を測定することを特徴とする、請求項10に記載の映像選択装置。
  12. 前記輝度測定部は、
    前記設定されたマスクの面積と前記マスク内に含まれたヒストグラムの面積との比、及び前記設定されたマスクの幅と前記マスク内に含まれたヒストグラムの幅との比をそれぞれ計算し、前記面積の比と前記幅の比を演算して前記輝度値を測定することを特徴とする、請求項11に記載の映像選択装置。
  13. 前記複数の映像に対して測定領域を設定する領域設定部をさらに含み、
    前記鮮明度測定部は、前記複数の映像に対して前記設定された測定領域内で鮮明度値を測定することを特徴とする、請求項10に記載の映像選択装置。
  14. 前記鮮明度測定部は、
    前記複数の映像のそれぞれの縦方向のエッジ成分及び横方向のエッジ成分を検出し、前記縦方向のエッジ成分及び前記横方向のエッジ成分の和を算出することによって前記複数の映像の鮮明度値を測定することを特徴とする、請求項10に記載の映像選択装置。
  15. 前記選択部は、
    前記縦方向のエッジ成分及び前記横方向のエッジ成分の和と前記測定された輝度値を掛け算して生成された値に基づいて、前記複数の映像のうち前記最適な映像を選択することを特徴とする、請求項14に記載の映像選択装置。
  16. 前記複数の映像の明暗情報を抽出する明暗情報抽出部をさらに含み、
    前記輝度測定部は、前記抽出された明暗情報に基づいて前記複数の映像の輝度値を測定し、
    前記鮮明度測定部は、前記抽出された明暗情報に基づいて前記複数の映像の鮮明度値を測定することを特徴とする、請求項10に記載の映像選択装置。
  17. 前記選択部は、
    前記複数の映像に対して前記連続的に撮影された順に実時間で処理することを特徴とする、請求項10に記載の映像選択方法。
JP2011506190A 2008-04-21 2009-04-21 最適映像選択 Expired - Fee Related JP5389903B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020080036747A KR101060488B1 (ko) 2008-04-21 2008-04-21 최적 영상 선택 방법 및 장치
KR10-2008-0036747 2008-04-21
PCT/KR2009/002064 WO2009131350A2 (en) 2008-04-21 2009-04-21 Selecting best image

Publications (2)

Publication Number Publication Date
JP2011521521A true JP2011521521A (ja) 2011-07-21
JP5389903B2 JP5389903B2 (ja) 2014-01-15

Family

ID=41201153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011506190A Expired - Fee Related JP5389903B2 (ja) 2008-04-21 2009-04-21 最適映像選択

Country Status (6)

Country Link
US (1) US8724917B2 (ja)
EP (1) EP2269369B1 (ja)
JP (1) JP5389903B2 (ja)
KR (1) KR101060488B1 (ja)
CN (1) CN101971611B (ja)
WO (1) WO2009131350A2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013049374A2 (en) * 2011-09-27 2013-04-04 Picsured, Inc. Photograph digitization through the use of video photography and computer vision technology
WO2014064690A1 (en) 2012-10-23 2014-05-01 Sivan Ishay Real time assessment of picture quality
CN102982536B (zh) * 2012-11-05 2015-07-22 华为技术有限公司 处理图像的方法和设备
US9241102B2 (en) * 2012-12-05 2016-01-19 Xerox Corporation Video capture of multi-faceted documents
US9350916B2 (en) 2013-05-28 2016-05-24 Apple Inc. Interleaving image processing and image capture operations
US9384552B2 (en) 2013-06-06 2016-07-05 Apple Inc. Image registration methods for still image stabilization
US9262684B2 (en) 2013-06-06 2016-02-16 Apple Inc. Methods of image fusion for image stabilization
US9491360B2 (en) * 2013-06-06 2016-11-08 Apple Inc. Reference frame selection for still image stabilization
US9247136B2 (en) 2013-08-21 2016-01-26 Xerox Corporation Automatic mobile photo capture using video analysis
CN104427240A (zh) * 2013-09-09 2015-03-18 深圳富泰宏精密工业有限公司 电子装置及其影像调整方法
US20150071547A1 (en) 2013-09-09 2015-03-12 Apple Inc. Automated Selection Of Keeper Images From A Burst Photo Captured Set
US9218667B2 (en) * 2013-11-25 2015-12-22 International Business Machines Corporation Spherical lighting device with backlighting coronal ring
CN103607533A (zh) * 2013-12-03 2014-02-26 厦门美图移动科技有限公司 一种适用于零延迟快门的拍照方法及装置
CN103618855A (zh) * 2013-12-03 2014-03-05 厦门美图移动科技有限公司 一种自动选择最优图片的拍照方法及装置
CN103780842A (zh) * 2014-02-14 2014-05-07 宇龙计算机通信科技(深圳)有限公司 一种拍照方法及装置
CN105338240A (zh) * 2014-08-12 2016-02-17 希姆通信息技术(上海)有限公司 拍照设备、对焦方法、装置及系统
US9456123B2 (en) 2014-12-18 2016-09-27 Xerox Corporation Method and system to configure mobile electronic device settings using remote data store analytics
US11962908B2 (en) 2015-03-17 2024-04-16 Microsoft Technology Licensing, Llc. Automatic image frame processing possibility detection
US10477095B2 (en) 2015-05-14 2019-11-12 Sri International Selecting optimal image from mobile device captures
JP6719206B2 (ja) * 2015-12-25 2020-07-08 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10225511B1 (en) 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
US10732809B2 (en) 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
WO2017126711A1 (ko) * 2016-01-19 2017-07-27 전자부품연구원 스테레오스코픽 카메라의 최적 깊이 인식을 위한 조명 제어 방법 및 시스템
US9532004B1 (en) * 2016-05-12 2016-12-27 Google Inc. Animated user identifiers
CA3024995A1 (en) * 2016-05-24 2017-11-30 Morphotrust Usa, Llc Document image quality assessment
US9973647B2 (en) 2016-06-17 2018-05-15 Microsoft Technology Licensing, Llc. Suggesting image files for deletion based on image file parameters
US10671895B2 (en) 2016-06-30 2020-06-02 Microsoft Technology Licensing, Llc Automated selection of subjectively best image frames from burst captured image sequences
KR102596157B1 (ko) * 2021-05-18 2023-10-31 한성대학교 산학협력단 사진 관리 장치 및 그 방법
EP4134883B1 (en) * 2021-08-11 2024-04-24 Siemens Aktiengesellschaft Systems and methods for automated x-ray inspection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209484A (ja) * 1999-01-18 2000-07-28 Nikon Corp 画像選別機能を有する電子カメラ、およびプログラムを記録した記録媒体
JP2003069825A (ja) * 2001-06-14 2003-03-07 Matsushita Electric Ind Co Ltd 自動階調補正装置,自動階調補正方法および自動階調補正プログラム記録媒体
JP2006254107A (ja) * 2005-03-10 2006-09-21 Olympus Imaging Corp 画像評価装置、画像評価プログラム、画像評価プログラムを記録する記録媒体、画像評価方法
JP2008067009A (ja) * 2006-09-06 2008-03-21 Nikon Corp 画像再生装置及び撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5363209A (en) * 1993-11-05 1994-11-08 Xerox Corporation Image-dependent sharpness enhancement
JPH07177502A (ja) * 1993-12-17 1995-07-14 Sutajio Gen:Kk 画像情報圧縮方法、圧縮画像情報記録媒体、圧縮画像情報再生装置
US5877504A (en) * 1996-05-20 1999-03-02 Konica Corporation Radiographic intensifying screen and radiation image converting panel
JP2885239B1 (ja) * 1998-02-27 1999-04-19 日本電気株式会社 画像処理装置
US7327891B2 (en) * 2001-07-17 2008-02-05 Yesvideo, Inc. Automatic selection of a visual image or images from a collection of visual images, based on an evaluation of the quality of the visual images
US7362354B2 (en) * 2002-02-12 2008-04-22 Hewlett-Packard Development Company, L.P. Method and system for assessing the photo quality of a captured image in a digital still camera
JP4228641B2 (ja) * 2002-09-20 2009-02-25 セイコーエプソン株式会社 出力対象画像データ選択
US20050219362A1 (en) * 2004-03-30 2005-10-06 Cernium, Inc. Quality analysis in imaging
US7783115B2 (en) * 2004-12-14 2010-08-24 Fujifilm Corporation Apparatus and method for setting degrees of importance, apparatus and method for representative image selection, apparatus and method for printing-recommended image selection, and programs therefor
KR100731358B1 (ko) * 2005-11-09 2007-06-21 삼성전자주식회사 화질 평가 방법 및 시스템
KR100669251B1 (ko) * 2005-11-25 2007-01-16 한국전자통신연구원 디지털 영상 품질 자동 분석 장치 및 방법
US7688379B2 (en) * 2005-12-09 2010-03-30 Hewlett-Packard Development Company, L.P. Selecting quality images from multiple captured images
US7800657B2 (en) * 2006-12-29 2010-09-21 Micron Technology, Inc. Method, apparatus and system using hierarchical histogram for automatic exposure adjustment of an image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209484A (ja) * 1999-01-18 2000-07-28 Nikon Corp 画像選別機能を有する電子カメラ、およびプログラムを記録した記録媒体
JP2003069825A (ja) * 2001-06-14 2003-03-07 Matsushita Electric Ind Co Ltd 自動階調補正装置,自動階調補正方法および自動階調補正プログラム記録媒体
JP2006254107A (ja) * 2005-03-10 2006-09-21 Olympus Imaging Corp 画像評価装置、画像評価プログラム、画像評価プログラムを記録する記録媒体、画像評価方法
JP2008067009A (ja) * 2006-09-06 2008-03-21 Nikon Corp 画像再生装置及び撮像装置

Also Published As

Publication number Publication date
KR20090111136A (ko) 2009-10-26
WO2009131350A3 (en) 2010-01-14
US8724917B2 (en) 2014-05-13
EP2269369B1 (en) 2012-11-07
EP2269369A2 (en) 2011-01-05
KR101060488B1 (ko) 2011-08-30
EP2269369A4 (en) 2011-08-03
CN101971611B (zh) 2013-06-05
JP5389903B2 (ja) 2014-01-15
WO2009131350A2 (en) 2009-10-29
CN101971611A (zh) 2011-02-09
US20090263028A1 (en) 2009-10-22

Similar Documents

Publication Publication Date Title
JP5389903B2 (ja) 最適映像選択
EP2987134B1 (en) Generation of ghost-free high dynamic range images
US7599568B2 (en) Image processing method, apparatus, and program
US7356254B2 (en) Image processing method, apparatus, and program
CN105812675B (zh) 基于亮度分布和运动之间的折中生成场景的hdr图像的方法
CN113992861B (zh) 一种图像处理方法及图像处理装置
US9852499B2 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
JP5544764B2 (ja) 画像処理装置および方法、並びにプログラム
US8503826B2 (en) System and method for computer-aided image processing for generation of a 360 degree view model
US20110285871A1 (en) Image processing apparatus, image processing method, and computer-readable medium
KR20210154171A (ko) 상이한 노출 설정들을 이용하여 캡처된 이미지 프레임들을 블렌딩된 이미지들로 결합하는 방법 및 장치
TWI632894B (zh) 動態影像之心率活動偵測系統與其方法
WO2012170462A2 (en) Automatic exposure correction of images
US8085316B2 (en) Image-processing unit, imaging apparatus, and computer program product
KR20110138114A (ko) 다중 노출에 의한 프레임 처리 방법 및 장치
CN111062870B (zh) 一种处理方法及装置
JP2004310475A (ja) 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム
US8571343B2 (en) Methods and systems for document-image correction
CN112714246A (zh) 连拍照片获取方法、智能终端及存储介质
JP2009258770A (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP4831344B2 (ja) 目の位置の検出方法
CN112529786A (zh) 图像处理设备及方法和非暂时性计算机可读存储介质
Veeravasarapu et al. Fast and fully automated video colorization
JP4795314B2 (ja) フリッカ補正装置及びフリッカ補正方法
CN116647760B (zh) 用于目标检测的宽动态实现方法、装置、相机及存储介质

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120727

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121024

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130422

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131009

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees