JP6155785B2 - 画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体 - Google Patents

画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体 Download PDF

Info

Publication number
JP6155785B2
JP6155785B2 JP2013085227A JP2013085227A JP6155785B2 JP 6155785 B2 JP6155785 B2 JP 6155785B2 JP 2013085227 A JP2013085227 A JP 2013085227A JP 2013085227 A JP2013085227 A JP 2013085227A JP 6155785 B2 JP6155785 B2 JP 6155785B2
Authority
JP
Japan
Prior art keywords
image
resolution
low
target area
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013085227A
Other languages
English (en)
Other versions
JP2014206926A (ja
Inventor
雄希 半澤
雄希 半澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2013085227A priority Critical patent/JP6155785B2/ja
Priority to US14/220,802 priority patent/US9230307B2/en
Priority to CN201410108100.6A priority patent/CN104103054B/zh
Priority to EP14161957.7A priority patent/EP2793186A3/en
Publication of JP2014206926A publication Critical patent/JP2014206926A/ja
Application granted granted Critical
Publication of JP6155785B2 publication Critical patent/JP6155785B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、複数の低解像度画像から該低解像度画像よりも高い解像度を有する高解像度画像を生成する画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体に関する。
従来、低い解像度の画像を高解像度化する画像処理技術として超解像技術が知られている。超解像技術の一つとして、マルチフレーム超解像技術が知られている。マルチフレーム超解像技術では、同じ対象物に関する複数枚の低解像度画像を用いて、１枚の高解像度画像を生成する。
より具体的には、被写体等の位置を少しずつずらして撮像を行って取得した複数の低解像度画像を用いて高解像度化処理を行うことで１枚の高解像度画像を生成する。
この高解像度化は、複数の低解像度画像の中から選択された基準画像を基準として行われる。具体的には、まず、基準画像を基準として複数の低解像度画像間の位置ずれ量が算出され、算出された位置ずれ量と、各低解像度画像の画像データとに基づいて高解像度化処理が行われる。
多くの場合、順に読み込まれた複数の低解像度画像のうち、先頭の低解像度画像が基準画像として選択される。しかしながら、高解像度化によって得られる高解像度画像の内容（画質や構図を含む）は、基準画像に大きく依存する。よって、複数の低解像度画像のうち、最も画質が良い低解像度画像のフレームを基準画像として選択した場合と、最も画質が悪い低解像度画像のフレームを基準画像として選択した場合とで、得られる高解像度画像の結果が大きく異なる。
図２１を用いて具体的に説明すると次のとおりである。図２１は、３枚の低解像度画像を用いて、１枚の高解像度画像を生成する場合について例示している。図２１の（ａ）は、３枚の低解像度画像ＬＰ１０１、ＬＰ１０２、およびＬＰ１０３のうち、最も画質が良い低解像度画像ＬＰ１０１を基準画像として選択した場合を示す。図２１の（ａ）に示す場合、良好な高解像度画像ＨＰ１０１が得られる。
一方、図２１の（ｂ）は、３枚の低解像度画像ＬＰ１０１、ＬＰ１０２、およびＬＰ１０３のうち、最も画質が悪い低解像度画像ＬＰ１０３を基準画像として選択した場合を示す。図２１の（ｂ）に示す場合、得られる高解像度画像ＨＰ１０２は不鮮明となる。
そこで、従来、画面全体のボケの少なさに基づいて基準画像を選択すること等の提案がなされてきた（特許文献１）。
なお、超解像技術の分野では、他にも、画質を向上させるため、画像上の各領域のボケ量を算出し、領域ごとにボケ量に応じたパラメータで超解像処理を行うことが提案されている（特許文献２）。
特開２００９−１９４８９６号公報（２００９年８月２７日公開） 特開２０１０−７３０７４号公報（２０１０年４月２日公開）
しかしながら、上述のような従来技術で提案されているように基準画像を画像全体のボケの少なさを基準に選択したとしても、意図した高解像度画像を得られない場合がある。図２２を用いて、具体的に説明すると、次のとおりである。
図２２は、画像全体のボケ量がほぼ同じ２枚の画像について示している。図２２の（ａ）は、人物Ｍ１００が鮮明で、背景Ｂ１００がぼやけた画像ＬＰ１１１を示している。また、図２２の（ｂ）は、人物Ｍ１００がぼやけており、背景Ｂ１００が鮮明な画像ＬＰ１１２を示している。
画像ＬＰ１１１およびＬＰ１１２は、画像全体としてボケ量がほぼ同じ画像であるが、基準画像としたとき、超解像処理後に自然な高解像度画像が得られるのは画像ＬＰ１１１のほうである。つまり、人物Ｍ１００が鮮明な画像ＬＰ１１１を基準画像にしたときのほうが、画像ＬＰ１１２を基準画像にしたときよりも、人物Ｍ１００が鮮明となった高解像度画像を得ることができる。
従って、従来技術では、対象領域に応じた基準画像を用いて解像度処理を行うことができず、必ずしも意図した高解像度画像を得られない場合があるという課題があった。
本発明は上記の課題に鑑みてなされたものであり、その目的は、マルチフレーム超解像処理において、対象領域に応じた適切な基準画像を選択することで高解像度画像の画質向上を図ることができる画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体を実現することにある。
上記の課題を解決するために、本発明に係る画像処理装置は、複数の低解像度画像から該低解像度画像よりも高い解像度を有する高解像度画像を生成する画像処理装置において、複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定手段と、複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定手段と、推定された画像指標に応じて上記複数の低解像度画像から、上記高解像度画像を生成するための基準となる低解像度画像を選択する選択手段とを備えることを特徴とする。
上記の課題を解決するために、本発明に係る画像処理装置の制御方法は、複数の低解像度画像から該低解像度画像よりも高い解像度を有する高解像度画像を生成する画像処理装置の制御方法において、複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定ステップと、複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定ステップと、推定された画像指標に応じて上記複数の低解像度画像から、上記高解像度画像を生成するための基準となる低解像度画像を選択する選択ステップとを含むことを特徴とする。
上記の課題を解決するために、本発明に係る画像処理プログラムは、複数の低解像度画像から該低解像度画像よりも高い解像度を有する高解像度画像を生成する画像処理プログラムにおいて、複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定ステップと、複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定ステップと、推定された画像指標に応じて上記複数の低解像度画像から、上記高解像度画像を生成するための基準となる低解像度画像を選択する選択ステップとを処理をコンピュータに実行させることを特徴とする。
上記画像処理装置は、いわゆる画像の超解像化処理によって、低解像度画像から高解像度画像を生成する。上記画像処理装置では、複数の位置ずれのある複数の低解像度画像を参照し、複数の低解像度画像間の位置ずれ量と複数の低解像度画像の画像データに基づいて低解像度画像の超解像度化処理を行うことにより１枚の高解像度画像を生成する。
上記構成によれば、まず、複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する。ここで、対象領域とは、画像において、画像解析によって検出される物体や、視覚上注目を引くようなパターンなどを含む領域のことをいう。より具体的には、物体検出処理によって物体が検出された領域を対象領域として設定したり、顕著領域の推定によって対象領域を設定したりすることができる。
なお対象領域は複数設定されても構わない。例えば、画像解析によって複数の物体が検出されている場合、対象領域は複数設定してもよい。
ところで、超解像度化処理では、複数の低解像度画像の中から選択された基準画像を基準として行われる。例えば、超解像度化処理において、位置ずれ量算出などは、基準画像を基準として行われる。
上記構成によれば、対象領域において推定された画像指標に応じて複数の低解像度画像から、上記高解像度画像を生成するための基準となる低解像度画像を選択する。画像の性質を表わす画像指標としては、例えば、「ボケ量」、「ぶれ」、「ノイズ」、「白飛び」、「黒つぶれ」が挙げられる。なお、本発明に係る画像処理装置では、上記画像指標は、ボケ量であることが好ましい。ボケ量とは、画像に含まれるボケの大きさを示す指標である。
このため、対象領域において推定された画像指標に応じて、複数の低解像度画像から、超解像度化処理を行う際の基準画像を選択することができる。例えば、対象領域において推定された画像指標が良好な（例えば、ボケ量が少ない）低解像度画像を基準画像として選択すればよい。
これにより、対象領域がより鮮明となった高解像度画像を生成することができるという効果を奏する。
なお、本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明に係る画像処理装置では、さらに、上記対象領域設定手段によって低解像度画像において複数の対象領域が設定された場合、設定された複数の対象領域に対して重みを設定する重み設定手段を備え、上記画像指標推定手段は、設定された重みに基づいて上記低解像度画像の画像指標を推定することが好ましい。
上記構成によれば、低解像度画像において複数の対象領域が設定された場合、それぞれの領域に対して重みを設定する。
上記重みの設定では、例えば、対象領域が物体検出によって検出される場合、検出された物体に応じて重みを設定してもよい。また、上記重みの設定では、例えば、対象領域が顕著領域の推定に基づいて設定される場合、顕著度に応じた重みを設定してもよい。
上記構成によれば、対象領域ごとの重みづけに応じた画像指標をそれぞれの低解像画像において推定する。
これにより、各低解像度画像において対象領域ごとの重みづけに応じて推定された画像指標に基づいて、複数の低解像度画像から基準画像を選択することができる。
本発明に係る画像処理装置では、上記対象領域設定手段は、それぞれの低解像画像において物体検出を行い、該物体検出結果に基づいて対象領域を設定することが好ましい。
上記構成によれば、物体検出結果に基づいて対象領域を設定する。物体検出には、人物の顔の検出、人物の検出、ランドマークをはじめとする構造物やパターンの検出等が含まれる。物体が検出された領域は注目すべき領域である可能性が高いため、このような領域を対象領域として設定することができる。
本発明に係る画像処理装置では、上記対象領域設定手段は、それぞれの低解像画像において顕著領域を推定し、推定した顕著領域に基づいて対象領域を設定することが好ましい。
上記構成によれば、顕著領域の推定に基づいて対象領域を設定する。例えば、顕著度の高い領域は注目すべき領域である可能性が高いため、このような領域を対象領域として設定することができる。
本発明に係る画像処理装置では、上記対象領域設定手段は、それぞれの低解像画像において、物体検出および顕著領域の推定を行い、該物体検出および顕著領域の推定の結果に応じて、対象領域を設定し、上記重み設定手段は、物体検出により設定された対象領域および顕著領域の推定により設定された対象領域に応じた重みを設定することが好ましい。
本発明に係る画像処理装置では、上記対象領域設定手段は、上記複数の低解像度画像のそれぞれにおいて設定した対象領域に基づいて、設定した対象領域を修正することが好ましい。
上記構成によれば、設定した対象領域を修正するので、複数の低解像度画像の間で、対象領域が同じように設定されていない場合でも、複数の低解像度画像の間で対象領域をそろえることができる。
本発明に係る画像処理装置では、上記対象領域設定手段は、上記複数の低解像度画像の間で、上記複数の低解像度画像のそれぞれにおいて設定した対象領域について論理和をとることで、設定した対象領域を修正することが好ましい。
上記構成によれば、上記複数の低解像度画像の間で、対象領域を補完することができる。具体的には、一部の（少数の）低解像度画像では設定されていない対象領域を、他の（多数の）低解像度画像において設定されている対象領域に基づいて補完することができる。これにより対象領域の設定漏れを防ぐことができるという効果を奏する。
本発明に係る画像処理装置では、上記対象領域設定手段は、上記複数の低解像度画像の間で、上記複数の低解像度画像のそれぞれにおいて設定した対象領域について論理積をとることで、設定した対象領域を修正することが好ましい。
上記構成によれば、上記複数の低解像度画像の間で、対象領域の誤検出を除去することができる。具体的には、一部の（少数の）低解像度画像では設定されているが、他の（多数の）低解像度画像では設定されていないような対象領域がある場合、一部の（少数の）低解像度画像でしか設定されていない対象領域を除去することができる。
本発明に係る画像処理装置は、複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定手段と、複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定手段と、推定された画像指標に応じて上記複数の低解像度画像から、高解像度画像を生成するための基準となる低解像度画像を選択する選択手段とを備えることを特徴とする。
本発明に係る画像処理装置の制御方法は、複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定ステップと、複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定ステップと、推定された画像指標に応じて上記複数の低解像度画像から、高解像度画像を生成するための基準となる低解像度画像を選択する選択ステップとを含むことを特徴とする。
本発明に係る画像処理プログラムは、複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定ステップと、複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定ステップと、推定された画像指標に応じて上記複数の低解像度画像から、高解像度画像を生成するための基準となる低解像度画像を選択する選択ステップとを処理をコンピュータに実行させることを特徴とする。
よって、対象領域がより鮮明となった高解像度画像を生成することができるという効果を奏する。
本発明の一実施形態に係る超解像画像処理装置の概略的な構成の一例を示す機能ブロック図である。 マルチフレーム超解像処理の概略について例示する図である。 上記超解像画像処理装置における基準画像選択処理の概要について示す図である。（ａ）は、対象領域内のぼけが少ない低解像度画像データを示しており、（ｂ）は、対象領域内のぼけが大きい低解像度画像データを示している。 上記超解像画像処理装置の超解像処理の流れについて例示するフローチャートである。 本発明の他の実施形態に係る超解像画像処理装置の概略的な構成の一例を示す機能ブロック図である。 上記超解像画像処理装置における基準画像選択処理の概要について示す図である。 上記超解像画像処理装置の超解像処理の流れについて例示するフローチャートである。 本発明の別の実施形態に係る超解像画像処理装置の概略的な構成の一例を示す機能ブロック図である。 上記超解像画像処理装置における基準画像選択処理の概要について示す図である。 上記超解像画像処理装置の超解像処理の流れについて例示するフローチャートである。 本発明の別の実施形態に係る超解像画像処理装置の概略的な構成の一例を示す機能ブロック図である。 上記超解像画像処理装置における基準画像選択処理の概要について示す図である。 上記超解像画像処理装置の超解像処理の流れについて例示するフローチャートである。 フレーム間の物体検出結果の整合をとる方法について示す図である。 フレーム間の物体検出結果の整合をとる方法について示す図である。 フレーム間の物体検出結果の整合をとる方法について示す図である。 フレーム間の物体検出結果の整合をとる方法について示す図である。 フレーム間の物体検出結果の整合をとる方法について示す図である。 フレーム間の物体検出結果の整合をとる方法について示す図である。 フレーム間の物体検出結果の整合をとる方法について示す図である。 従来の超解像画像処理について示す図である。 従来の超解像画像処理について示す図である。
〔実施形態１〕
本発明の一実施形態について図１〜図４を参照して説明する。まず、図１を用いて、本発明の一実施形態に係る超解像画像処理装置１について説明する。図１は、超解像画像処理装置１の概略的な構成の一例を示す機能ブロック図である。
図１に示すように、超解像画像処理装置１は、複数の低解像度画像データＬＰ１１、…、ＬＰｎを入力として、超解像処理を行って、高解像度画像データＨＰ１を生成するものである。
図２を用いて、超解像画像処理装置１が実行する超解像処理の概略について説明する。図２は、マルチフレーム超解像処理の概略について例示する図である。図２に例示するように、マルチフレーム超解像処理では、位置ずれのある複数の低解像度画像データＬＰ１１、…、ＬＰｎを参照し、画像間のずれ量に基づいて超解像処理を行って１枚の高解像度画像データＨＰ１を生成する。なお、複数の低解像度画像データＬＰ１１、…、ＬＰｎは、時空間上で連続した画像であってもよい。
超解像画像処理装置１は、制御部１０および記憶部２０を備えている。記憶部２０は、各種データおよびプログラムを記憶するものである。
制御部１０は、超解像画像処理装置１における各種機能を統括的に制御するものである。制御部１０の機能は、記憶部２０などに記憶されたプログラムをＣＰＵ（Central Processing Unit）などの処理装置が実行することによって実現される。例えば、制御部１０は、超解像処理機能を備えている。
制御部１０は、より具体的には、画像読込部１１、物体検出部１２、対象領域決定部１３、ボケ量推定部１４、基準画像選択部１５、および超解像処理部１６を備える。
画像読込部１１は、入力となる複数の低解像度画像データＬＰ１１、…、ＬＰｎを読み込むものである。複数の低解像度画像データＬＰ１１、…、ＬＰｎは、記憶部２０に記憶されていてもよいし、取り外し可能な外部記憶媒体から供給されてもよいし、有線または無線の通信ネットワークを通じて供給されてもよい。また、超解像画像処理装置１が、被写体を撮像する撮像部を備えている場合、画像読込部１１は、当該撮像部から、複数の低解像度画像データＬＰ１１、…、ＬＰｎを取得してもかまわない。
また、画像読込部１１は、タッチパネル、キーボード、マウスなどの入力インターフェース（不図示）を通じてユーザから入力される操作に応じて、画像の読み込みを開始してもよい。また、画像読込部１１は、定期的にまたは非定期的に、あるいはタイマー等何らかの事象の発生を契機に自動的に画像の読み込みを開始してもよい。
画像読込部１１は、読み込んだ複数の低解像度画像データＬＰ１１、…、ＬＰｎを物体検出部１２に供給する。
物体検出部１２は、複数の低解像度画像データＬＰ１１、…、ＬＰｎそれぞれを画像解析し、画像に含まれている物体を検出する。物体検出部１２が検出する物体は、特定の物体でも、一般の物体でもよく、例えば、人物の顔、人体、ランドマーク等である。物体検出部１２は、顔認証により特定の人物のみを検出してもよい。また、物体検出部１２は、パターン認識により物体を検出してもよい。
また、物体検出部１２は、１枚の低解像度画像データＬＰ１１が示す画像から、複数の物体を検出してもよい。
また、物体検出部１２は、物体を検出した場合、物体が存在することを示す物体検出領域（検出枠と称することもある）を設定してもよい。物体検出領域は物体を含む矩形であってもよい。あるいは、物体位置判定部２４は、物体の輪郭を検出して、検出した輪郭を当該物体の物体検出領域と設定してもよい。
また、物体検出部１２は、物体検出処理の結果を対象領域決定部１３に供給する。
対象領域決定部１３は、複数の低解像度画像データＬＰ１１、…、ＬＰｎそれぞれについて、物体検出処理の結果に基づいて、ボケ量推定処理を行う領域を決定する。具体的には、対象領域決定部１３は、物体が検出された領域をボケ量推定処理を行う領域（以下、対象領域と称する）として決定する。物体検出部１２が物体検出処理によって複数の物体を検出しているとき、対象領域決定部１３は、検出された複数の物体について対象領域を設定してもよい。対象領域決定部１３は、決定した対象領域をボケ量推定部１４に通知する。
ボケ量推定部１４は、複数の低解像度画像データＬＰ１１、…、ＬＰｎそれぞれについて決定された対象領域におけるボケ量を推定する。ボケ量推定部１４におけるボケ量の推定には、例えば特許文献１に記載の技術を用いることができる。ボケ量推定部１４は、推定したボケ量を基準画像選択部１５に供給する。
基準画像選択部１５は、対象領域のボケ量に基づき、複数の低解像度画像データＬＰ１１、…、ＬＰｎのなかから、超解像処理の基準となる基準画像を選択する。なお、基準画像は、基準フレーム、ターゲットフレーム又は対象画像などとも呼ばれる。基準画像選択部１５は、よりボケ量が少ない低解像度画像データを基準画像として選択する。基準画像選択部１５は、選択した基準画像を超解像処理部１６に通知する。
超解像処理部１６は、選択された基準画像に基づいて、複数の低解像度画像データＬＰ１１、…、ＬＰｎを用いた超解像処理を行う。超解像処理部１６は、超解像処理により生成した高解像度画像データＨＰ１を出力する。超解像画像処理装置１が、表示部を備えている場合、超解像処理部１６は、表示部に高解像度画像データＨＰ１を表示させてもよい。また、超解像処理部１６は、生成した高解像度画像データＨＰ１を記憶部２０に記憶してもよいし、有線または無線の通信ネットワークを通じて外部に送信してもよい。
（超解像画像処理装置における基準画像選択処理の概要）
次に、図３を用いて、超解像画像処理装置１における基準画像選択処理の概要について説明する。
図３の（ａ）および（ｂ）に、それぞれ、低解像度画像データＬＰ１１およびＬＰ１２が示す画像を例示している。
低解像度画像データＬＰ１１およびＬＰ１２には、それぞれ人物Ｍ１が含まれており、物体検出部１２によって顔の部分が検出されいる。また、それぞれにおいて、検出された部分に設定された物体検出領域Ｒ１には、対象領域決定部１３によって対象領域が設定される。
ボケ量推定部１４は、低解像度画像データＬＰ１１およびＬＰ１２が示す画像のそれぞれの対象領域におけるボケ量を推定する。
ここで、低解像度画像データＬＰ１１では、対象領域（物体検出領域Ｒ１）におけるボケ量が少ないのに対して、低解像度画像データＬＰ１２では、対象領域（物体検出領域Ｒ１）におけるボケ量が多い。
このため、基準画像選択部１５は、対象領域におけるボケ量がより少ない低解像度画像データＬＰ１１を基準画像として選択する。
（超解像画像処理装置における処理の流れ）
次に、図４を用いて、超解像画像処理装置１における超解像処理の流れについて説明する。図４は、実施形態１に係る超解像画像処理装置１の超解像処理の流れについて例示するフローチャートである。
図４に示すように、まず、物体検出部１２が、複数の低解像度画像データＬＰ１１、…、ＬＰｎについて、物体検出処理を実行する（Ｓ１００）。
次に、物体検出部１２は、複数の低解像度画像データＬＰ１１、…、ＬＰｎについて、物体検出処理の結果、物体を検出したか否かを判定する（Ｓ１０１）。
物体が検出されている場合（Ｓ１０１においてＹＥＳ）、対象領域決定部１３は、検出された物体に設定された物体検出領域を、ボケ量を推定するための対象領域として設定する（Ｓ１０２）。続いて、ボケ量推定部１４は、複数の低解像度画像データＬＰ１１、…、ＬＰｎについて、対象領域におけるボケ量を推定する（Ｓ１０３）。さらに、基準画像選択部１５は、推定されたボケ量に基づいて、複数の低解像度画像データＬＰ１１、…、ＬＰｎから、基準画像を選択する（Ｓ１０４）。そして、超解像処理部１６が、選択された基準画像に基づいて、超解像処理を実行する（Ｓ１０５）。
一方、物体が検出されていない場合（Ｓ１０１においてＮＯ）、対象領域決定部１３は、低解像度画像データの画像全体を対象領域として設定し（Ｓ１０６）、その後、上述のＳ１０３〜Ｓ１０５が実行される。
なお、複数の低解像度画像データＬＰ１１、…、ＬＰｎのうち、一部の低解像度画像データについて物体が検出されていない場合、当該一部の低解像度画像を基準画像の選択候補からはずしてもよい。
〔実施形態２〕
本発明の他の実施形態について、図５〜図７に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態では、物体検出処理の結果、低解像度画像において複数の物体が検出された場合に、ボケ量の推定結果に重み付けを行うことついて説明する。
まず、図５を用いて、本発明の他の実施形態に係る超解像画像処理装置２について説明する。図５は、超解像画像処理装置２の概略的な構成の一例を示す機能ブロック図である。
図５に示す超解像画像処理装置２は、図１に示した超解像画像処理装置１と同様、複数の低解像度画像データＬＰ２１、…、ＬＰｎを入力として、超解像処理を行って、高解像度画像データＨＰ２を生成するものである。図５に示す超解像画像処理装置２は、図１に示した超解像画像処理装置１において、重み決定部１７を追加するとともに、ボケ量推定部１４を、ボケ量推定部１４Ａに変更した構成である。
なお、以下では、特に断りがない限り、物体検出部１２が、低解像度画像データＬＰ２１等が示す画像から、複数の物体を検出するものとし、対象領域決定部１３が、検出された複数の物体について対象領域を設定しているものとする。また、物体検出部１２が検出する物体検出領域は、前後フレームとの論理和・論理積やトラッキング（動き予測）により、統合してもよい。
以下、図６も参照しながら、重み決定部１７、ボケ量推定部１４Ａについて説明する。
重み決定部１７は、検出された複数の物体について設定されている対象領域それぞれに対して、推定結果に適用する重みを決定する。重み決定部１７は、検出された物体の種別に応じて重み付けを行ってもよい。物体の種別とは、例えば、（特定の）人物の顔、人体、ランドマーク等検出された物体の種類のことである。
重み決定部１７は、例えば、低解像度画像において特定の人物と、一般的な物体とが検出されている場合、特定の人物について設定された対象領域に対する重みを、一般的な物体において設定された対象領域に対する重みよりも大きくしてもよい。
図６を参照しながら、より具体的に例示すると次のとおりである。図６に示す低解像度画像データＬＰ２１および低解像度画像データＬＰ２２が示す画像では、それぞれ、人物Ｍ１と、ランドマークＭ２とが検出されている。そして、物体検出部１２によって、人物Ｍ１について物体検出領域Ｒ１が設定され、ランドマークＭ２について物体検出領域Ｒ２が設定される。このような場合、重み決定部１７は、人物Ｍ１に対して、重み１．０を決定し、物体（ランドマークＭ２）に対して、重み０．５を決定してもよい。
また、重み決定部１７は、検出物体のサイズ、位置に応じて重み付けを行ってもよい。重み付けは、検出された物体の重要度・注目度に応じて決定することができる。重要度・注目度は、予め設定しておいてもよいし、検出した物体に基づいて計算されてもよい。
また、重み決定部１７は、決定した重みをボケ量推定部１４Ａに通知する。
ボケ量推定部１４Ａは、低解像度画像において複数の物体が検出された場合、重み付けを行ったボケ量を推定する。ボケ量推定部１４Ａは、具体的には、まず、低解像度画像において検出された複数の物体それぞれに設定された対象領域についてボケ量を推定する。次に、ボケ量推定部１４Ａは、推定したボケ量に対して、重み決定部１７が決定した重みを適用し、重みを適用したボケ量を加算することで合計ボケ量を算出する。
図６を参照しながら、より具体的に例示すると次のとおりである。図６に示す低解像度画像データＬＰ２１について、ボケ量推定部１４Ａは、人物Ｍ１に関しボケ量１０を推定し、物体（ランドマークＭ２）に関しボケ量５０を推定する。このとき、ボケ量推定部１４Ａは、重み決定部１７が決定した人物に対する重み１．０と、物体に対する重み０．５とをそれぞれ推定したボケ量に適用し、合計する。低解像度画像データＬＰ２１について、ボケ量推定部１４Ａが算出する合計ボケ量は、１０×１．０＋５０×０．５＝３５である。
一方、低解像度画像データＬＰ２２について、ボケ量推定部１４Ａは、人物Ｍ１に関しボケ量５０を推定し、物体（ランドマークＭ２）に関しボケ量１０を推定する。ボケ量推定部１４Ａは、上述したように、推定したボケ量の加重和を算出する。低解像度画像データＬＰ２２について、ボケ量推定部１４Ａが算出する合計ボケ量は、５０×１．０＋１０×０．５＝５５である。
よって、図６に示す例では、基準画像選択部１５は、より合計ボケ量が少ない低解像度画像データＬＰ２１を基準画像として選択する。
（超解像画像処理装置における処理の流れ）
次に、図７を用いて、超解像画像処理装置２における超解像処理の流れについて説明する。図７は、実施形態２に係る超解像画像処理装置２の超解像処理の流れについて例示するフローチャートである。
図７に示すように、まず、物体検出部１２が、複数の低解像度画像データＬＰ２１、…、ＬＰｎについて、物体検出処理を実行する（Ｓ２０１）。
次に、物体検出部１２は、複数の低解像度画像データＬＰ２１、…、ＬＰｎについて、物体検出処理の結果、物体を検出したか否かを判定する（Ｓ２０２）。
物体が検出されている場合（Ｓ２０２においてＹＥＳ）、物体検出部１２は、さらに検出した物体が複数存在するか否かを判定する（Ｓ２０３）。
複数の物体が検出されている場合（Ｓ２０３においてＹＥＳ）、対象領域決定部１３が、検出された複数の物体についてそれぞれ対象領域を設定し、重み決定部１７が、設定された対象領域ごとの重みを決定する（Ｓ２０４）。また、ボケ量推定部１４Ａが、対象領域ごとのボケ量を推定するとともに（Ｓ２０５）、推定されたボケ量に重みを適用し合計ボケ量を算出する（Ｓ２０６）。
そして、基準画像選択部１５が合計ボケ量に基づいて超解像処理の基準画像を選択し（Ｓ２１０）、超解像処理部１６が、選択された基準画像に基づいて超解像処理を実行する（Ｓ２１１）。
一方、検出された物体が単一の物体である場合（Ｓ２０３においてＮＯ）、対象領域決定部１３が、当該物体に係る物体検出領域をボケ量を推定するための対象領域として決定する（Ｓ２０７）。次に、ボケ量推定部１４Ａが、対象領域におけるボケ量を推定する（Ｓ２０９）。そして、基準画像選択部１５が推定されたボケ量に基づいて超解像処理の基準画像を決定し（Ｓ２１０）、超解像処理部１６が、選択された基準画像に基づいて超解像処理を実行する（Ｓ２１１）。
なお、Ｓ２０２において、物体が検出されていない場合（Ｓ２０２においてＮＯ）、対象領域決定部１３は、低解像度画像データの画像全体を対象領域として設定し（Ｓ２０８）、その後、上述のＳ２０９〜Ｓ２１１が実行される。
〔実施形態３〕
本発明の別の実施形態について、図８〜図１０に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態では、画像における顕著領域を推定して、ボケ量を推定するための対象領域を決定することについて説明する。
まず、図８を用いて、本発明の別の実施形態に係る超解像画像処理装置３について説明する。図８は、超解像画像処理装置３の概略的な構成の一例を示す機能ブロック図である。
図８に示す超解像画像処理装置３は、図５に示した超解像画像処理装置２と同様、複数の低解像度画像データＬＰ３１、…、ＬＰｎを入力として、超解像処理を行って、高解像度画像データＨＰ３を生成するものである。
図８に示す超解像画像処理装置３は、図５に示した超解像画像処理装置３において、物体検出部１２、対象領域決定部１３、重み決定部１７を、それぞれ、顕著領域推定部１８、対象領域決定部１３Ｂ、重み決定部１７Ｂに変更した構成である。
以下、図９も参照しながら、顕著領域推定部１８、対象領域決定部１３Ｂ、重み決定部１７Ｂについて説明する。
顕著領域推定部１８は、低解像度画像データＬＰ３１、…、ＬＰｎが示す画像のについて、人間が視覚的に注目するであろう程度（顕著性（Saliency））が高い顕著領域を推定する。具体的には、顕著領域推定部１８は、低解像度画像に関し、人間が視覚的に注目すべき度合いである顕著度を算出し、顕著度をマッピングした顕著マップ画像を生成する。
顕著領域推定部１８は、画像のコントラストに基づいて顕著度を算出してもよい。次に、顕著領域推定部１８は、算出した顕著度に基づいて顕著マップ画像における顕著領域を推定する。顕著領域は、画像において顕著度が所定値以上である部分を顕著領域として推定してもよいし、顕著度が所定値以上である部分を含む矩形を顕著領域として推定してもよい。また、顕著領域推定部１８は、複数の顕著領域を推定してもよい。また、顕著領域推定部１８が推定する顕著領域は、前後フレームとの論理和・論理積やトラッキング（動き予測）により、統合してもよい。
図９を用いて顕著領域推定部１８について説明すると次のとおりである。図９に示す低解像度画像データＬＰ３１が示す画像には、犬Ｍ３が含まれる。顕著領域推定部１８は、低解像度画像ＬＰ３１の各部分における顕著度を算出し、顕著マップ画像ＬＰ３１´を生成してもよい。顕著マップ画像ＬＰ３１´において、明るい部分は顕著度が高く、暗い部分は顕著度が低いことを示している。
顕著マップ画像ＬＰ３１´では、低解像度画像データＬＰ３１が示す画像に含まれる犬Ｍ３に対応する部分が明るく（顕著度が高く）なっている。顕著領域推定部１８は、顕著度に応じて顕著領域Ｒ３´を設定する。
また、顕著領域推定部１８は、顕著領域推定処理の結果を対象領域決定部１３Ｂに通知する。
対象領域決定部１３Ｂは、複数の低解像度画像データＬＰ３１、…、ＬＰｎそれぞれについて、顕著領域推定処理の結果に基づいて、ボケ量推定処理を行う領域を決定する。
対象領域決定部１３Ｂは、例示的には、低解像度画像データＬＰ３１が示す画像において、顕著マップ画像ＬＰ３１´において推定された顕著領域に対応する部分をボケ量推定処理を行う領域（以下、対象領域と称する）として決定する。
また、対象領域決定部１３は、顕著領域推定結果に応じて複数の対象領域を設定してもよい。
図９を用いて対象領域決定部１３Ｂについて説明すると次のとおりである。図９に示すように、対象領域決定部１３Ｂは、低解像度画像データＬＰ３１が示す画像において、顕著マップ画像ＬＰ３１´において推定された顕著領域Ｒ３´に対応する部分を対象領域Ｒ３として設定する。
対象領域決定部１３は、決定した対象領域を重み決定部１７Ｂに通知する。
重み決定部１７Ｂは、推定された複数の顕著領域（さらにいえば、顕著領域に対応する対象領域）それぞれに対して、ボケ量の推定結果に適用する重みを決定する。重み決定部１７Ｂは、各顕著領域の顕著度に応じて重み付けを行ってもよい。なお、重み決定部１７Ｂは、各対象領域に適用する重みを均一にしてもかまわない（つまり、重み付けを省略してもよい）。また、重み決定部１７Ｂを省略した構成とすることも可能である。
（超解像画像処理装置における処理の流れ）
次に、図１０を用いて、超解像画像処理装置３における超解像処理の流れについて説明する。図１０は、実施形態３に係る超解像画像処理装置３の超解像処理の流れについて例示するフローチャートである。
図１０に示すように、まず、顕著領域推定部１８が、複数の低解像度画像データＬＰ３１、…、ＬＰｎについて、顕著領域推定処理を実行する（Ｓ３０１）。
次に、顕著領域推定部１８は、複数の低解像度画像データＬＰ３１、…、ＬＰｎについて実行した顕著領域推定処理の結果、顕著領域が存在するか否かを判定する（Ｓ３０２）。
顕著領域が存在する場合（Ｓ３０２においてＹＥＳ）、顕著領域推定部１８は、さらに顕著領域が複数存在するか否かを判定する（Ｓ３０３）。
複数の顕著領域が存在する場合（Ｓ３０３においてＹＥＳ）、対象領域決定部１３Ｂが、複数の顕著領域についてそれぞれ対象領域を設定し、重み決定部１７Ｂが、設定された対象領域ごとの重みを決定する（Ｓ３０４）。また、ボケ量推定部１４Ａが、対象領域ごとのボケ量を推定するとともに（Ｓ３０５）、推定されたボケ量に重みを適用し合計ボケ量を算出する（Ｓ３０６）。
そして、基準画像選択部１５が合計ボケ量に基づいて超解像処理の基準画像を選択し（Ｓ３１０）、超解像処理部１６が、選択された基準画像に基づいて超解像処理を実行する（Ｓ３１１）。
一方、推定された顕著領域が単一である場合（Ｓ３０３においてＮＯ）、対象領域決定部１３Ｂが、当該顕著領域に基づいて、ボケ量を推定するための対象領域を決定する（Ｓ３０７）。次に、ボケ量推定部１４Ｂが、対象領域におけるボケ量を推定する（Ｓ３０９）。そして、基準画像選択部１５が推定されたボケ量に基づいて超解像処理の基準画像を選択し（Ｓ３１０）、超解像処理部１６が、選択された基準画像に基づいて超解像処理を実行する（Ｓ３１１）。
なお、Ｓ３０２において、顕著領域が存在しない場合（Ｓ３０２においてＮＯ）、対象領域決定部１３Ｂは、低解像度画像データの画像全体を対象領域として設定し（Ｓ３０８）、その後、上述のＳ３０９〜Ｓ３１１が実行される。
〔実施形態４〕
本発明のさらに別の実施形態について、図１１〜図１３に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態では、物体検出と顕著領域推定との両方を行って、それぞれの結果の重複範囲に基づいて重み付けを行うことについて説明する。
まず、図１１を用いて、本発明のさらに別の実施形態に係る超解像画像処理装置４について説明する。図１１は、超解像画像処理装置４の概略的な構成の一例を示す機能ブロック図である。
図１１に示す超解像画像処理装置４は、図１に示した超解像画像処理装置１および図８に示す超解像画像処理装置３と同様、複数の低解像度画像データＬＰ４１、…、ＬＰｎを入力として、超解像処理を行って、高解像度画像データＨＰ４を生成するものである。
図１１に示す超解像画像処理装置４は、概略的に言えば、超解像画像処理装置１が備える物体検出部１２および超解像画像処理装置３が備える顕著領域推定部１８を両方備える構成である。
超解像画像処理装置３の制御部１０は、より具体的には、画像読込部１１、物体検出部１２、顕著領域推定部１８、対象領域決定部１３Ｃ、重なり判定部１９、重み決定部１７Ｃ、ボケ量推定部１４Ｃ、基準画像選択部１５、および超解像処理部１６を備える。
画像読込部１１、物体検出部１２、顕著領域推定部１８、基準画像選択部１５、および超解像処理部１６については既に説明した通りであるので、ここではその説明を省略する。なお、物体検出部１２は、物体検出処理の結果を対象領域決定部１３Ｃに通知するものとする。また、顕著領域推定部１８は、顕著領域推定処理の結果を対象領域決定部１３Ｃに通知するものとする。
以下、対象領域決定部１３Ｃ、重なり判定部１９、重み決定部１７Ｃ、ボケ量推定部１４Ｃについて説明する。
対象領域決定部１３Ｃは、複数の低解像度画像データＬＰ４１、…、ＬＰｎそれぞれについて、物体検出処理の結果に基づく第１対象領域を設定するとともに、顕著領域推定処理の結果に基づく第２対象領域を設定する。なお、以下の説明では、第１対象領域および第２対象領域の少なくともいずれかは、複数設定されているものとする。また、第２対象領域は、低解像度画像において、顕著マップ画像で設定された顕著領域に対応する部分である。対象領域決定部１３Ｃは、決定した第１対象領域および第２対象領域を重なり判定部１９に通知する。
重なり判定部１９は、第１対象領域および第２対象領域が重なっているか否かを判定する。なお、重なり判定部１９は、第１対象領域および第２対象領域の重複の度合い、範囲を判定してもよい。
重み決定部１７Ｃは、第１対象領域および第２対象領域が重なっているか否かに応じて、第１対象領域および第２対象領域に適用する重みを決定する。なお、重み決定部１７Ｃは、第１対象領域および第２対象領域の重なり度合いに応じて上記重みを決定してもよい。
図１２を参照して説明すると次のとおりである。図１２は、低解像度画像データと、当該低解像度画像データから生成される顕著マップ画像を模式的に示したものである。図１２の（ａ）に示す低解像度画像データＬＰ４１が示す画像にはサーキットを走行する車Ｍ４が含まれている。当該画像では、物体検出部１２による物体検出の結果、車Ｍ４について物体検出領域Ｒ４が設定される。
また、図１２の（ｂ）に示すように、顕著領域推定部１８は、低解像度画像データＬＰ４１に基づいて顕著マップ画像ＬＰ４１´を生成する。また、顕著マップ画像ＬＰ４１´では、顕著領域推定処理の結果、車Ｍ４およびサーキットのコースの境界にある白線付近における顕著度が高く検出されている。顕著領域推定部１８は、車Ｍ４について顕著領域Ｒ４´を設定し、白線において顕著領域Ｒ４１を設定する。
ここで、重なり判定部１９は、第１対象領域（物体検出領域）と、第２対象領域（低解像画像において顕著領域に対応する領域）とが重なっているか否かを判定する。図１２の（ａ）および（ｂ）に示す例では、物体検出領域Ｒ４と顕著領域Ｒ４´に対応する領域とが重なっている。一方で、顕著領域Ｒ４１については、対応する物体検出領域は存在しない。よって、重み決定部１７Ｃは、車Ｍ４について、白線よりも高い重みが適用されるようにする。
ボケ量推定部１４Ｃは、重み決定部１７Ｃが決定した重みを用いて、第１対象領域または第２対象領域についてボケ量を推定する。なお、これに限られず、ボケ量推定部１４Ｃは、第１対象領域または第２対象領域に基づいて、ボケ量を推定する領域を決定してもよい。具体的には、ボケ量推定部１４Ｃは、ボケ量を推定する領域を決定するため、第１対象領域および第２対象領域について和および積などの領域演算を行っても構わない。例えば、ボケ量推定部１４Ｃは、第１対象領域および第２対象領域の重複領域をボケ量を推定する領域として設定してもよい。
（超解像画像処理装置における処理の流れ）
次に、図１３を用いて、超解像画像処理装置２における超解像処理の流れについて説明する。図１３は、実施形態４に係る超解像画像処理装置４の超解像処理の流れについて例示するフローチャートである。
図１３に示すように、まず、顕著領域推定部１８が、複数の低解像度画像データＬＰ３１、…、ＬＰｎについて、顕著領域推定処理を実行する（Ｓ４０１）。
次に、物体検出部１２が、複数の低解像度画像データＬＰ４１、…、ＬＰｎについて、物体検出処理を実行する（Ｓ４０２）。
次に、対象領域決定部１３Ｃは、複数の低解像度画像データＬＰ４１、…、ＬＰｎそれぞれについて、物体検出処理の結果に基づく第１対象領域を設定するとともに、顕著領域推定処理の結果に基づく第２対象領域を設定する。そして、対象領域決定部１３Ｃは、対象領域の有無を判定する（Ｓ４０３）。対象領域決定部１３Ｃは、具体的には、第１対象領域が存在し、かつ、第２対象領域が存在するか否かを判定する。
第１対象領域および第２対象領域の両方が存在する場合（Ｓ４０３においてＹＥＳ）、重なり判定部１９は、第１対象領域および第２対象領域の重なりを判定する（Ｓ４０４）。次に、重み決定部１７Ｃは、重なりを判定に応じて各対象領域に適用する重みを決定する（Ｓ４０６）。また、ボケ量推定部１４Ｃは、重み決定部１７Ｃが決定した重みを用いて対象領域ごとのボケ量を推定するとともに（Ｓ４０６）、推定されたボケ量に重みを適用し合計ボケ量を算出する（４０７）。
そして、基準画像選択部１５が合計ボケ量に基づいて超解像処理の基準画像を選択し（Ｓ４１０）、超解像処理部１６が、選択された基準画像に基づいて超解像処理を実行する（Ｓ４１１）。
一方、第１対象領域および第２対象領域の少なくとも一方が存在しない場合（Ｓ４０３においてＮＯ）、対象領域決定部１３Ｃが、当該画像全体をボケ量を推定するための対象領域として決定する（Ｓ４０８）。なお、Ｓ４０８において第１対象領域および第２対象領域の一方が存在する場合、対象領域決定部１３Ｃは、第１対象領域および第２対象領域のうち、存在している方を対象領域として決定してもよい。
次に、ボケ量推定部１４Ｃが、対象領域におけるボケ量を推定する（Ｓ４０９）。そして、基準画像選択部１５が推定されたボケ量に基づいて超解像処理の基準画像を選択し（Ｓ４１０）、超解像処理部１６が、選択された基準画像に基づいて超解像処理を実行する（Ｓ４１１）。
〔変形例〕
（１）画像の性質を表わす画像指標について
以上では、一例として、ボケ量推定部１４、１４Ａ、１４Ｃがボケ量を推定する構成について説明したが、この構成に限られない。超解像画像処理装置１，２，３，４では、画像の性質を表わす画像指標を推定してもよい。画像の性質を表わす画像指標としては、例えば、画像の主観的特性を表わす指標を採用することができる。より具体的には、画像の性質を表わす画像指標としては、例えば、「ボケ量」の他にも、「ぶれ」、「ノイズ」、「白飛び」、「黒つぶれ」が挙げられる。また、基準画像選択部１５は、推定した画像指標に基づいて基準画像を選択してもよい。
（２）物体検出領域を統合する手法について
以下において、以上で説明した超解像画像処理装置１、２、３、４において、複数の低解像度画像の間で物体検出領域を統合する手法について説明する。
以下、説明の便宜上、超解像画像処理装置１および２について順に説明する。フレーム間の画質のゆらぎ等により、物体検出結果が、フレーム間で異なる場合がある。このような場合、以下に示すようにフレーム間の物体検出結果の整合を取ってもよい。
図１４〜図１６を用いて、超解像画像処理装置１において、複数の低解像度画像の間で物体検出領域の整合をとる手法について説明する。
まず、図１４に示すように各フレーム間で物体検出結果の整合がとれていない場合について説明する。図１４は、超解像画像処理装置１において物体検出処理が行われた低解像度画像のフレームＦＲ１１、ＦＲ１２、およびＦＲ１３の一例を示している。
物体検出部１２は、フレームＦＲ１１およびフレームＦＲ１３において、人物Ｍ１を検出し、それぞれのフレームにおいて物体検出領域Ｒ１を設定している。ところが、フレームＦＲ１２では、画質のゆらぎ等に起因して物体が検出されていない。
図１４に示すような場合、物体検出部１２は、フレームＦＲ１１、ＦＲ１２、およびＦＲ１３の間で物体検出領域Ｒ１に関し論理和をとって、物体検出結果を補完してもよい。すなわち、物体検出部１２は、論理和を取ることによって、図１５に示すようにフレームＦＲ１２において物体検出領域Ｒ１を補完することができる。これにより、いずれかのフレームにおいて画質のゆらぎ等に起因して物体の検出漏れが起こったとしても、他のフレームから補完することで、各フレーム間で物体検出領域の整合をとることができる。
なお、物体検出部１２は、補完の対象となるフレームＦＲ１２において物体検出領域を補完するとき、他のいずれかのフレームにおける物体検出領域の位置を用いてもよいし、他のフレームにおいて設定された物体検出領域の平均的な位置を用いてもよい。以下の説明において同様である。
また、図１４に示すような場合、物体検出部１２は、フレームＦＲ１１、ＦＲ１２、およびＦＲ１３の間で物体検出領域Ｒ１に関し論理積をとってもよい。すなわち、図１６に示すように、物体検出部１２は、論理積を取ることによってフレームＦＲ１１およびＦＲ１３から物体検出領域Ｒ１を除去してもよい。これにより、図１６に示すように、フレームＦＲ１１、ＦＲ１２、およびＦＲ１３の間で、物体検出領域の整合をとることができる。
以上の構成によれば、例えば、いずれかのフレームにおいて誤検出が生じているような場合、これを除去することができる。
また、物体検出領域の整合の度合いに応じて論理和をとるか、論理積をとるかを決定してもよい。なお、複数の物体が検出されている場合、物体ごとに当該決定を行ってもかまない。
具体的には、多くのフレームで、ある物体が検出されているのに対して、一部のフレームで当該物体が検出されていない場合、物体検出部１２は、論理和をとることを決定してもよい。これは、当該一部のフレームで物体の検出漏れが起こっている可能性があるためである。これにより検出漏れを補完し、各フレーム間で物体検出領域の整合をとることができる。
これに対して、多くのフレームで、ある物体が検出されていないのに対して、一部のフレームで当該物体が検出されてる場合、物体検出部１２は、論理積をとることを決定してもよい。これは、当該一部のフレームで当該物体を誤検出している可能性があるためである。これにより誤検出を除去し、各フレーム間で物体検出領域の整合をとることができる。以下の説明において同様である。
次に、図１７〜図２０を用いて、超解像画像処理装置２において、複数の低解像度画像の間で物体検出領域の整合をとる手法について説明する。
まず、図１７および図１８を用いて、論理和により整合をとる手法について説明する。図１７は、超解像画像処理装置２において物体検出処理が行われた低解像度画像のフレームＦＲ２１〜ＦＲ２５の一例を示している。各低解像度画像には、人物Ｍ１とランドマークＭ２とが含まれる。
物体検出部１２は、フレームＦＲ２４以外のフレームにおいて、人物Ｍ１を検出し物体検出領域Ｒ１を設定している。また、物体検出部１２は、フレームＦＲ２３以外のフレームにおいて、ランドマークＭ２を検出し物体検出領域Ｒ２を設定している。
図１７に示すような場合、物体検出部１２は、フレームＦＲ２１〜ＦＲ２５の間で物体検出領域Ｒ１およびＲ２に関し論理和をとって、物体検出結果を補完してもよい。すなわち、物体検出部１２は、論理和を取ることによって、図１８に示すように、フレームＦＲ２４において物体検出領域Ｒ１を補完し、フレームＦＲ２３において物体検出領域Ｒ２を補完することができる。これによりフレームＦＲ２１〜ＦＲ２５の間で物体検出領域の整合をとることができる。
続いて、図１９および図２０を用いて、論理積により整合をとる手法について説明する。図１９は、超解像画像処理装置２において物体検出処理が行われた低解像度画像のフレームＦＲ３１〜ＦＲ３５の一例を示している。各低解像度画像には、人物Ｍ１とランドマークＭ２とが含まれる。
物体検出部１２は、フレームＦＲ３１〜ＦＲ３５の全てにおいて、人物Ｍ１およびランドマークＭ２を検出しており、人物Ｍ１およびランドマークＭ２について物体検出領域Ｒ１およびＲ２を設定している。
また、物体検出部１２は、画質のゆらぎ等に起因して、フレームＦＲ３３において不明な物体に対して不明物体検出領域Ｒ１１を設定している。
図１９に示すような場合、物体検出部１２は、フレームＦＲ３１〜ＦＲ３５の間で物体検出領域Ｒ１、Ｒ２、およびＲ１１に関し論理積をとって、不要と思われる物体検出結果を除去してもよい。すなわち、物体検出部１２は、論理積を取ることによって、図２０に示すように、フレームＦＲ３３から不明物体検出領域Ｒ１１を除去することができる。これによりフレームＦＲ３１〜ＦＲ３５の間で物体検出領域の整合をとることができる。
（作用・効果）
以上に示したとおり、本発明の一態様に係る画像処理装置１は、複数の低解像度画像データＬＰ１１…ＬＰｎが示す画像を用いて高解像度画像データＨＰ１を生成する画像処理装置１において、複数の低解像度画像データＬＰ１１…ＬＰｎが示す画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域決定部（対象領域設定手段）１３と、複数の低解像度画像データＬＰ１１…ＬＰｎが示す画像のそれぞれにおいて設定された対象領域におけるボケ量を推定するボケ量推定部（画像指標推定手段）１４と、推定されたボケ量に応じて上記複数の低解像度画像データＬＰ１１…ＬＰｎが示す画像を用いて、上記高解像度画像データＨＰ１を生成するための基準となる低解像度画像を選択する基準画像選択部（選択手段）１５とを備える構成である。
よって、対象領域がより鮮明となった高解像度画像を生成することができるという効果を奏する。
〔ソフトウェアによる実現例〕
超解像画像処理装置１、２、３、４の制御ブロック（制御部１０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
後者の場合、超解像画像処理装置１、２、３、４は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
本発明は、複数の低解像度画像から該低解像度画像よりも高い解像度を有する高解像度画像を生成する画像処理装置に用いることができるので、プリンタ、スキャナ、デジタルカメラ、デジタルテレビジョン受像機、スマートフォン、パーソナルコンピュータ等のデジタル画像機器や、画像の超解像技術を用いたセキュリティシステム等に好適に利用することができる。
１、２、３、４ 超解像画像処理装置
１０ 制御部
１１ 画像読込部
１２ 物体検出部
１３、１３Ｂ、１３Ｃ 対象領域決定部（対象領域設定手段）
１４、１４Ａ、１４Ｃ ボケ量推定部（画像指標推定手段）
１５ 基準画像選択部（選択手段）
１６ 超解像処理部
１７、１７Ｂ、１７Ｃ 重み決定部（重み設定手段）
１８ 顕著領域推定部
１９ 重なり判定部
２０ 記憶部

Claims (10)

  1. 複数の低解像度画像から該低解像度画像よりも高い解像度を有する高解像度画像を生成する画像処理装置において、
    複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定手段と、
    複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定手段と、
    推定された画像指標に応じて上記複数の低解像度画像から、上記高解像度画像を生成するための基準となる低解像度画像を選択する選択手段とを備え、
    さらに、上記対象領域設定手段によって低解像度画像において複数の対象領域が設定された場合、設定された複数の対象領域に対して重みを設定する重み設定手段を備え、
    上記画像指標推定手段は、設定された重みに基づいて上記低解像度画像の画像指標を推定し、
    上記対象領域設定手段は、それぞれの低解像画像において、物体検出および顕著領域の推定を行い、該物体検出および顕著領域の推定の結果に応じて、対象領域を設定し、
    上記重み設定手段は、物体検出により設定された対象領域および顕著領域の推定により設定された対象領域に応じた重みを設定することを特徴とする画像処理装置。
  2. 上記対象領域設定手段は、それぞれの低解像画像において物体検出を行い、該物体検出結果に基づいて対象領域を設定することを特徴とする請求項１に記載の画像処理装置。
  3. 上記対象領域設定手段は、それぞれの低解像画像において顕著領域を推定し、推定した顕著領域に基づいて対象領域を設定することを特徴とする請求項１に記載の画像処理装置。
  4. 上記対象領域設定手段は、上記複数の低解像度画像のそれぞれにおいて設定した対象領域に基づいて、設定した対象領域を修正することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
  5. 上記対象領域設定手段は、上記複数の低解像度画像の間で、上記複数の低解像度画像のそれぞれにおいて設定した対象領域について論理和をとることで、設定した対象領域を修正することを特徴とする請求項４に記載の画像処理装置。
  6. 上記対象領域設定手段は、上記複数の低解像度画像の間で、上記複数の低解像度画像のそれぞれにおいて設定した対象領域について論理積をとることで、設定した対象領域を修正することを特徴とする請求項４に記載の画像処理装置。
  7. 上記画像指標は、ボケ量であることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
  8. 複数の低解像度画像から該低解像度画像よりも高い解像度を有する高解像度画像を生成する画像処理装置の制御方法において、
    複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定ステップと、
    複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定ステップと、
    推定された画像指標に応じて上記複数の低解像度画像から、上記高解像度画像を生成するための基準となる低解像度画像を選択する選択ステップとを含み、
    さらに、上記対象領域設定ステップにて低解像度画像において複数の対象領域が設定された場合、設定された複数の対象領域に対して重みを設定する重み設定ステップを含み、
    上記画像指標推定ステップでは、設定された重みに基づいて上記低解像度画像の画像指標を推定し、
    上記対象領域設定ステップでは、それぞれの低解像画像において、物体検出および顕著領域の推定を行い、該物体検出および顕著領域の推定の結果に応じて、対象領域を設定し、
    上記重み設定ステップでは、物体検出により設定された対象領域および顕著領域の推定により設定された対象領域に応じた重みを設定することを特徴とする画像処理装置の制御方法。
  9. 複数の低解像度画像から該低解像度画像よりも高い解像度を有する高解像度画像を生成する画像処理プログラムにおいて、
    複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定ステップと、
    複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定ステップと、
    推定された画像指標に応じて上記複数の低解像度画像から、上記高解像度画像を生成するための基準となる低解像度画像を選択する選択ステップと、
    上記対象領域設定ステップにて低解像度画像において複数の対象領域が設定された場合、設定された複数の対象領域に対して重みを設定する重み設定ステップとを含み、
    上記画像指標推定ステップでは、設定された重みに基づいて上記低解像度画像の画像指標を推定し、
    上記対象領域設定ステップでは、それぞれの低解像画像において、物体検出および顕著領域の推定を行い、該物体検出および顕著領域の推定の結果に応じて、対象領域を設定し、
    上記重み設定ステップでは、物体検出により設定された対象領域および顕著領域の推定により設定された対象領域に応じた重みを設定する、
    処理をコンピュータに実行させるための画像処理プログラム。
  10. 請求項９に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2013085227A 2013-04-15 2013-04-15 画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体 Active JP6155785B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013085227A JP6155785B2 (ja) 2013-04-15 2013-04-15 画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体
US14/220,802 US9230307B2 (en) 2013-04-15 2014-03-20 Image processing apparatus and method for generating a high resolution image
CN201410108100.6A CN104103054B (zh) 2013-04-15 2014-03-21 图像处理装置及其控制方法
EP14161957.7A EP2793186A3 (en) 2013-04-15 2014-03-27 Image processing apparatus, method of controlling image processing apparatus, and non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013085227A JP6155785B2 (ja) 2013-04-15 2013-04-15 画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体

Publications (2)

Publication Number Publication Date
JP2014206926A JP2014206926A (ja) 2014-10-30
JP6155785B2 true JP6155785B2 (ja) 2017-07-05

Family

ID=50389874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013085227A Active JP6155785B2 (ja) 2013-04-15 2013-04-15 画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体

Country Status (4)

Country Link
US (1) US9230307B2 (ja)
EP (1) EP2793186A3 (ja)
JP (1) JP6155785B2 (ja)
CN (1) CN104103054B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201313682D0 (en) * 2013-07-31 2013-12-18 Mbda Uk Ltd Method and apparatus for tracking an object
KR102216656B1 (ko) * 2014-09-02 2021-02-17 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
CN105590304B (zh) * 2014-10-24 2019-01-08 北京大学 超分辨率图像重建方法和装置
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US10489691B2 (en) * 2016-01-15 2019-11-26 Ford Global Technologies, Llc Fixation generation for machine learning
JP6608311B2 (ja) * 2016-03-08 2019-11-20 株式会社Ｎｔｔドコモ 画像評価装置及び画像評価プログラム
JP7139333B2 (ja) * 2017-08-11 2022-09-20 株式会社半導体エネルギー研究所 表示装置
CN111222505A (zh) * 2018-11-25 2020-06-02 杭州凝眸智能科技有限公司 微小目标精确检测方法及系统
JP7278766B2 (ja) * 2018-12-21 2023-05-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN109963082B (zh) * 2019-03-26 2021-01-08 Oppo广东移动通信有限公司 图像拍摄方法、装置、电子设备、计算机可读存储介质
US11373407B2 (en) * 2019-10-25 2022-06-28 International Business Machines Corporation Attention generation
CN110827200B (zh) * 2019-11-04 2023-04-07 Oppo广东移动通信有限公司 一种图像超分重建方法、图像超分重建装置及移动终端

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4431949B2 (ja) * 2003-10-27 2010-03-17 ノーリツ鋼機株式会社 赤目補正方法及びこの方法を実施する装置
US20080019669A1 (en) * 2006-07-18 2008-01-24 Sahra Reza Girshick Automatically editing video data
US8315474B2 (en) 2008-01-18 2012-11-20 Sanyo Electric Co., Ltd. Image processing device and method, and image sensing apparatus
JP2009194896A (ja) * 2008-01-18 2009-08-27 Sanyo Electric Co Ltd 画像処理装置及び方法並びに撮像装置
JP5130171B2 (ja) 2008-09-22 2013-01-30 株式会社日立製作所 画像信号処理装置および画像信号処理方法
US8750645B2 (en) * 2009-12-10 2014-06-10 Microsoft Corporation Generating a composite image from video frames
CN102063258B (zh) * 2010-12-31 2012-07-04 山东大学 一种针对不同尺寸显示终端的图像自适应显示方法
JP5715833B2 (ja) * 2011-01-24 2015-05-13 パナソニック株式会社 姿勢状態推定装置および姿勢状態推定方法

Also Published As

Publication number Publication date
EP2793186A2 (en) 2014-10-22
EP2793186A3 (en) 2014-11-26
CN104103054B (zh) 2018-04-17
US20140307971A1 (en) 2014-10-16
US9230307B2 (en) 2016-01-05
CN104103054A (zh) 2014-10-15
JP2014206926A (ja) 2014-10-30

Similar Documents

Publication Publication Date Title
JP6155785B2 (ja) 画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体
US9230148B2 (en) Method and system for binarization of two dimensional code image
US9591258B2 (en) Image processing apparatus, image processing method, program and storage medium
US9436981B2 (en) Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program
US9773193B2 (en) Image processing apparatus, image processing method, and program
JP6254938B2 (ja) 画像ノイズ除去装置、および画像ノイズ除去方法
US20180068473A1 (en) Image fusion techniques
US11145032B2 (en) Image processing apparatus, method and storage medium for reducing color noise and false color
JP4783830B2 (ja) 画像補正プログラム、画像補正方法、画像補正装置
CN107451978B (zh) 一种图像处理方法、装置及设备
JP2018195084A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2012022652A (ja) 画像処理装置、画像処理方法、およびプログラム
JP6091172B2 (ja) 特徴点検出装置およびプログラム
EP3068123A1 (en) Image generator and image generation method
US10210619B2 (en) Image processing apparatus for selecting an object image to be processed based on a determination result of correlation, image pickup apparatus, and storage medium for storing image processing program
JP2019067169A (ja) 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法
JP2016201037A (ja) 画像処理装置、画像処理方法及びプログラム
WO2011086594A1 (ja) 画像処理装置、及びその方法
JP2008052446A (ja) 画像処理装置及びその制御方法
JP6242196B2 (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム
JP2010039968A (ja) オブジェクト検出装置及び検出方法
JP5453215B2 (ja) 画像処理装置、画像形成装置、および画像処理方法
JP5988879B2 (ja) 特徴点検出装置およびプログラム
US20110293192A1 (en) Image processing apparatus and method, and program
JP2014153918A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151023

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20151028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160304

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170522

R150 Certificate of patent or registration of utility model

Ref document number: 6155785

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250