JP2011054071A - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2011054071A
JP2011054071A JP2009204213A JP2009204213A JP2011054071A JP 2011054071 A JP2011054071 A JP 2011054071A JP 2009204213 A JP2009204213 A JP 2009204213A JP 2009204213 A JP2009204213 A JP 2009204213A JP 2011054071 A JP2011054071 A JP 2011054071A
Authority
JP
Japan
Prior art keywords
imaging
unit
image
weighting
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009204213A
Other languages
English (en)
Other versions
JP4862930B2 (ja
Inventor
Koichi Nakagome
浩一 中込
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2009204213A priority Critical patent/JP4862930B2/ja
Priority to US12/874,705 priority patent/US8345986B2/en
Priority to CN2010105402366A priority patent/CN102014251B/zh
Priority to KR1020100086314A priority patent/KR101155406B1/ko
Priority to TW099129795A priority patent/TWI416945B/zh
Publication of JP2011054071A publication Critical patent/JP2011054071A/ja
Application granted granted Critical
Publication of JP4862930B2 publication Critical patent/JP4862930B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】撮像環境を考慮して注目度の高い特定領域を適正に検出する。
【解決手段】撮像装置100であって、処理対象画像の複数の特徴の各々について特徴マップを生成する特徴マップ生成部5cと、処理対象画像の撮像環境を特定する撮像環境特定部5bと、特定された処理対象画像の撮像環境に応じて、複数の特徴マップの重み付けを行う重み付け部5dと、この重み付け部により重み付けされた複数の特徴マップの特徴分布に基づいて、処理対象画像から特定領域を検出する特定領域検出部5fとを備えている。
【選択図】図1

Description

本発明は、例えば撮像により得られた画像を処理する画像処理装置、この画像処理装置を用いた画像処理方法及びプログラムに関する。
従来より、画像処理の分野においては、画像から得られる複数の物理的特徴を示す特徴マップを生成し、これらを統合することにより、処理対象の画像から特定の領域を注目領域として検出する技術が知られている。
より具体的な手法として、例えば、Treismanの特徴統合理論は、複数の特徴マップを統合した顕著性マップを画像の注目領域として得る。また、IttiやKochらの理論は、複数の特徴マップを各々の平均値との二乗誤差を用いて正規化し、全ての特徴マップを線形結合により統合した後、この統合した特徴マップをDifference of Gaussianフィルタにより再帰的にフィルタリングし、最終的に得られたフィルタリング結果における局所的なピークを注目領域として得る(例えば、非特許文献1参照)。
尚、上記の理論で用いられる複数の特徴マップは、高い明度や特定の色、強いコントラストなど、人間の視覚プロセスの初期段階において知覚的に顕著な物体を優先的に注目する性質を利用して得るのが一般的であるとされている。
Laurent Itti, Christof Koch, and Ernst Niebur、「A Model of Saliency-Based Visual Attention for Rapid Scene Analysis」、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、(米国)、IEEE Computer Society、1998年11月、第20巻、第11号、p.1254-1259
しかしながら、上記非特許文献1の理論の場合、物理的特徴の種類に対する重みは固定化されており、例えば撮像等により得た多様な物理的特徴を有する画像に適用させる場合には、その画像から適正に注目領域の抽出することは困難であった。
そこで、本発明の課題は、撮像環境を考慮して注目度の高い特定領域を適正に検出することができる画像処理装置、画像処理方法及びプログラムを提供することである。
上記課題を解決するため、請求項1に記載の発明の画像処理装置は、
画像を取得する取得手段と、この取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段と、前記取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段と、この撮像環境特定手段により特定された撮像環境に応じて、前記生成手段により生成された複数の特徴マップの重み付けを行う重み付け手段と、この重み付け手段により重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出手段と、を備えることを特徴としている。
請求項2に記載の発明は、請求項1に記載の画像処理装置において、
前記取得手段は、撮像手段を含み、前記撮像環境特定手段は、前記撮像環境を前記撮像手段による撮像条件が設定されることにより特定し、前記重み付け手段は、前記設定された撮像条件に応じて前記生成手段により生成された複数の特徴マップの重み付けを行うことを特徴としている。
請求項3に記載の発明は、請求項2に記載の画像処理装置において、
撮像モードと撮像条件とを対応付けて複数記憶する記憶手段と、前記複数の撮像モードの中で何れか一の撮像モードを指定するモード指定手段と、を更に備え、前記設定される撮像条件とは、前記モード指定手段により指定された前記撮像モードと対応付けられている撮像条件であることを特徴としている。
請求項4に記載の発明は、請求項2又は3に記載の画像処理装置において、
前記複数の特徴マップの各々の重み付け係数と撮像条件とを対応付けて記憶する重み付け係数記憶手段を更に備え、前記重み付け手段は、前記設定された撮像条件と対応付けられている重み付け係数を前記重み付け係数記憶手段から読み出し、この読み出された重み付け係数を用いて前記生成手段により生成された複数の特徴マップの重み付けを行うことを特徴としている。
請求項5に記載の発明は、請求項1〜4の何れか一項に記載の画像処理装置において、
前記重み付け手段により重み付けされた前記複数の特徴マップの特徴分布を統合する統合手段を更に備え、前記検出手段は、前記統合手段により統合された前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出することを特徴としている。
請求項6に記載の発明の画像処理方法は、
画像処理装置を用いた画像処理方法であって、画像を取得する取得ステップと、この取得ステップにて取得された画像の複数の特徴の各々について特徴マップを生成する生成ステップと、前記取得ステップにて取得された画像の撮像環境を特定する撮像環境特定ステップと、この撮像環境特定ステップにて特定された撮像環境に応じて、前記生成ステップにて生成された複数の特徴マップの重み付けを行う重み付けステップと、この重み付けステップにて重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出ステップと、を実行することを特徴としている。
請求項7に記載の発明のプログラムは、
画像処理装置のコンピュータを、画像を取得する取得手段、この取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段、前記取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段、この撮像環境特定手段により特定された撮像環境に応じて、前記生成手段により生成された複数の特徴マップの重み付けを行う重み付け手段、この重み付け手段により重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出手段、として機能させることを特徴としている。
本発明によれば、撮像環境を考慮して注目度の高い特定領域の検出を適正に行うことができる。
本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図1の撮像装置に記憶されている重み付けテーブルの一例を示す図である。 図1の撮像装置よる特定領域検出処理に係る動作の一例を示すフローチャートである。 特定領域検出処理を説明するための図である。 重み付けテーブルの作成に係る外部機器の概略構成を示すブロック図である。 図5の外部機器による重み付けテーブル作成処理に係る動作の一例を示すフローチャートである。 重み付けテーブル作成処理に係る画像セットを説明するための図である。 画像セットの一例を模式的に示す図である。 重み付けテーブル作成処理に係る重み付け係数の一例を示す図である。 重み付けテーブル作成処理に係る正解マップ及び仮統合マップの一例を示す図である。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
本実施形態の撮像装置100は、処理対象画像の撮像環境に応じて、当該処理対象画像の複数の特徴の各々に係る特徴マップの重み付けを行って、重み付けされた複数の特徴マップの特徴分布に基づいて、処理対象画像から特定領域を検出する。
具体的には、図1に示すように、撮像装置100は、撮像部1と、撮像制御部2と、画像データ生成部3と、メモリ4と、画像処理部5と、記憶部6と、表示制御部7と、表示部8と、記録媒体9と、外部接続部10と、操作入力部11と、中央制御部12とを備えている。
撮像部1は、被写体を撮像して画像フレームを生成する。具体的には、撮像部1は、図示は省略するが、ズームレンズやフォーカスレンズ等の複数のレンズから構成されたレンズ部と、レンズ部を通過する光の量を調整する絞りと、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する電子撮像部を備えている。
撮像制御部2は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部2は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、所定周期毎に光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から1画面分ずつ画像フレームを読み出して画像データ生成部3に出力させる。
また、撮像制御部2は、撮像条件の調整制御として、AE(自動露出処理)、AF(自動合焦処理)、AWB(自動ホワイトバランス)等を行う。
画像データ生成部3は、電子撮像部から転送された画像データのアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUV色空間の画像データ)を生成する。
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用されるメモリ4にDMA転送される。
メモリ4は、例えば、DRAM等により構成され、画像処理部5や中央制御部12等によって処理されるデータ等を一時記憶する。
画像処理部5は、撮像部1により撮像された入力画像を処理対象画像として取得する画像取得部(取得手段)5aを具備している。
具体的には、画像取得部5aは、例えば、ライブビュー画像や記録用画像の撮像の際に画像データ生成部3により生成された入力画像(図4参照)のYUVデータを取得する。
また、画像処理部5は、被写体の撮像の際に、画像の撮像環境(図4参照)を特定する撮像環境特定部5bを具備している。
具体的には、撮像環境特定部5bは、ユーザによる操作入力部11の選択決定ボタンの所定操作に応じた撮像モード(選択シーン)の指定に基づいて、当該撮像モードに対応する被写体の撮像条件が設定されることにより撮像環境を特定する。より具体的には、撮像環境特定部5bは、例えば、「1.オート」、「2.人物」、「3.風景」、「4.風景と人物」、「5.子供」、「6.スポーツ」、「7.キャンドルライト」、「8.パーティー」、「9.ペット」等の複数の撮像モードの中から、ユーザにより指定された撮像モードにて規定されている、例えば、露出条件(シャッター速度や絞り、または増幅率等)やホワイトバランス等の被写体の撮像条件(撮像モード情報)を撮像環境として特定する。
また、撮像環境特定部5bは、画像の撮像環境として、ユーザによる操作入力部11の所定操作に従って指定されたズーム量(ズームレンズ位置)に基づいて、当該ズーム量に応じて設定された画角に係る画角情報を特定する。
また、撮像環境特定部5bは、画像の撮像環境として、図示しない計時部により計時された時刻に係る時刻情報を特定する。
また、撮像環境特定部5bは、画像の撮像環境として、図示しない位置検出部により検出された位置に基づいて、GPS(全地球測位システム)情報や高度情報を特定する。
なお、画像の撮像環境として例示した、撮像モード情報、画角情報、時刻情報、GPS情報、高度情報は、一例であってこれらに限られるものではない。
ここで、撮像環境特定部5b及び操作入力部11は、画像の撮像環境を特定する撮像環境特定手段を構成している。
また、画像処理部5は、画像取得部5aにより取得された入力画像の複数の特徴の各々について、複数の特徴マップ(図4参照)を生成する特徴マップ生成部(生成手段)5cを具備している。
特徴マップ生成部5cは、画像取得部5aにより取得された画像データ(YUVデータ)に基づいて、水平(x軸)及び垂直(y軸)ともに所定の比率で縮小した縮小画像(例えば、VGAサイズ(x×y:640×480画素)の画像)を生成した後、例えば、コントラスト、ヒストグラムのバタチャリヤ距離、各色の分散度合(まとまり度合)等を利用した第1〜第3の特徴マップF1〜F3を生成する。
具体的には、特徴マップ生成部5cは、先ず、縮小画像の画像データに基づいて、水平(x軸)及び垂直(y軸)ともに所定の比率でさらに縮小した画像を縮小比率を異ならせて複数生成する。そして、特徴マップ生成部5cは、生成された複数の縮小した画像の各々のコントラストを算出した後、これらコントラストを各画像の縮小比率に対応させて拡大して寸法を合わせて加算することによって第1の特徴マップF1を生成する。
また、特徴マップ生成部5cは、先ず、縮小画像の画像データに基づいて、各画素を中心として寸法や形状の異なる枠を複数生成する。そして、特徴マップ生成部5cは、複数の枠内の画像領域どうしの類似度の指標として、ヒストグラムのバタチャリヤ距離を算出した後、当該バタチャリヤ距離に基づいて各画素を塗り分けることによって第2の特徴マップF2を生成する。なお、図4に示す第2の特徴マップF2にあっては、ヒストグラムのバタチャリヤ距離が大きくなる程、白く表されている。ここで、バタチャリヤ距離とは、2つの確率密度分布の相乗平均を全領域で積分し、次元を確率に戻した上で、その自己情報量を求め、それを距離として解釈する距離尺度である。
また、特徴マップ生成部5cは、先ず、縮小画像のYUV色空間の画像データを所定の変換式に従ってHSV色空間の画像データに変換した後、EMアルゴリズムを利用して混合ガウス分布で表現する。そして、特徴マップ生成部5cは、所定の基準でグループ分けされた複数のグループ(色のかたまり)について分散値を算出した後、当該分散値に基づいて各画素を塗り分けることによって第3の特徴マップF3を生成する。なお、図4に示す第3の特徴マップF3にあっては、分散値が小さくなる程(色がまとまっている程)、白く表されている。
なお、特徴マップとして、第1〜第3の特徴マップF1〜F3を例示したが、一例であってこれらに限られるものではなく、入力画像の各種の特徴に係るものであれば如何なる特徴マップであっても良い。また、特徴マップの数(種類)も3つに限られるものではなく、複数であれば良い。
また、画像処理部5は、特徴マップ生成部5cにより生成された複数の特徴マップの重み付けを行う重み付け部5dを具備している。
即ち、重み付け部5dは、重み付け係数記憶手段として、第1〜第3の特徴マップF1〜F3の各々の重み付け係数w1〜w3と撮像条件とが対応付けられた重み付けテーブルT1を記憶している。
重み付けテーブルT1は、図3に示すように、被写体の撮像条件を規定する複数の撮像モード「人物」、「風景」、「風景と人物」、「子供」、「スポーツ」、「キャンドルライト」、「パーティー」、「ペット」の各々について、第1〜第3の特徴マップF1〜F3の各重み付け係数w1〜w3と対応付けて記憶している。
なお、重み付けテーブルT1は、撮像装置100と外部接続部10を介して接続される外部機器200(後述)による重み付けテーブル作成処理(後述)にて作成された後、当該撮像装置100に送信されて重み付け部5dに記憶されたものである。
そして、重み付け部5dは、複数の撮像モードの中で、ユーザによる操作入力部11の所定操作に基づいて指定された撮像モードと対応付けられている被写体の撮像条件に応じて、第1〜第3の特徴マップF1〜F3の重み付けを行う。具体的には、重み付け部5dは、重み付け係数w1〜w3に応じて重み付けされた第1〜第3の特徴マップF1〜F3の特徴分布を統合する特徴分布統合部5eを具備している。
即ち、重み付け部5dは、ユーザによる操作入力部11の所定操作に基づいて何れか一の撮像モードが指定されると、当該撮像モードに対応する第1〜第3の特徴マップF1〜F3の重み付け係数w1〜w3を重み付けテーブルT1内で特定した後、所定の重み付け係数(例えば、重み付け係数w1等)を読み出して取得する。そして、特徴分布統合部5eは、取得した重み付け係数w1〜w3に応じて第1〜第3の特徴マップF1〜F3の重み付けを行って、統合マップT(x, y)を生成する。具体的には、特徴分布統合部5eは、下記式(1)に従って、第1〜第3の特徴マップF1〜F3の各々の特徴分布と対応する各重み付け係数w1〜w3とを乗算して積分することで、統合マップT(x, y)を生成する。
なお、「i」は、第1〜第3の特徴マップF1〜F3及び重み付け係数w1〜w3を指定するためのインデックスである。また、統合マップT(x, y)は、「0」〜「1」の値で表され、主要被写体の可能性が高い領域程、「1」に近い値をとり、図4にあっては「1」に近くなる程より白く表されている。
ここで、特徴分布統合部5eは、重み付け部5dにより重み付けされた複数の特徴マップの特徴分布を統合する統合手段を構成している。
なお、撮像環境として、被写体の撮像条件を規定する撮像モード情報を例示したが、これに限られるものではなく、被写体の撮像の際に、例えば、画角情報、時刻情報、GPS情報、高度情報等の撮像環境が撮像環境特定部5bにより特定された場合には、重み付け部5dは、当該撮像環境に応じて第1〜第3の特徴マップF1〜F3の重み付けを行っても良い。
また、重み付けテーブルT1として、撮像モード情報と第1〜第3の特徴マップF1〜F3の各々の重み付け係数w1〜w3とが対応付けられたものを例示したが、一例であってこれに限られるものではなく、他の撮像環境、例えば、画角情報、時刻情報、GPS情報、高度情報等と第1〜第3の特徴マップF1〜F3の各々の重み付け係数w1〜w3とを対応付けて記憶したものであっても良い。
さらに、図3に示す重み付けテーブルT1の重み付け係数w1〜w3の各数値は、一例であってこれに限られるものではなく、特定領域の検出精度に応じて適宜任意に変更することができる。
ここで、重み付け部5dは、画像取得部5aにより取得された画像の撮像環境に応じて、特徴マップ生成部5cにより生成された複数の特徴マップの重み付けを行う重み付け手段を構成している。
また、画像処理部5は、特徴分布統合部5eにより生成された統合マップの特徴分布に基づいて、入力画像から特定領域を検出する特定領域検出部5fを具備している。
特定領域検出部5fは、統合マップT(x, y)に基づいて、所定の閾値以上の値をとる領域を特定領域として検出する。具体的には、特定領域検出部5fは、統合マップT(x, y)を画像取得部5aにより取得された入力画像の原寸法に対応させるように、水平(x軸)及び垂直(y軸)ともに縮小比率に対応する比率で拡大する。その後、特定領域検出部5fは、拡大された統合マップT(x, y)の特徴分布を入力画像に適用して、所定の閾値以上の値をとる領域を特定領域として検出する。
ここで、特定領域検出部5fは、重み付け部5dにより重み付けされた複数の特徴マップの特徴分布に基づいて、入力画像から特定領域を検出する検出手段を構成している。
記憶部6は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成され、中央制御部12の動作に必要な各種プログラムやデータ(図示略)を記憶している。
また、記憶部6には、被写体の複数の撮像モードの設定に係るモードテーブルT2が格納されている。
モードテーブルT2は、例えば、露出条件(シャッター速度や絞り、または増幅率等)やホワイトバランス等の被写体の撮像条件がそれぞれ規定された複数の撮像モードを記憶している。
撮像モードとしては、例えば、被写体の撮像条件を自動的に調整する「オート」、主要な被写体を人物とする撮像に適した撮像条件に調整する「人物」と、主要な被写体を風景とする撮像に適した撮像条件に調整する「風景」と、風景と人物の撮像に適した撮像条件に調整する「風景と人物」と、主要な被写体を子供とする撮像に適した撮像条件に調整する「子供」と、スポーツの撮像に適した撮像条件に調整する「スポーツ」と、キャンドルライトの明かりでの人物の撮像に適した撮像条件に調整する「キャンドルライト」と、複数の人物の存するパーティーの撮像に適した撮像条件に調整する「パーティー」と、主要な被写体をペットとする撮像に適した撮像条件に調整する「ペット」等が挙げられる。
ここで、記憶部6は、撮像モードと撮像条件とを対応付けて複数記憶する記憶手段を構成している。
表示制御部7は、メモリ4に一時的に記憶されている表示用の画像データを読み出して表示部8に表示させる制御を行う。
具体的には、表示制御部7は、VRAM、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部12の制御下にてメモリ4から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部8に出力する。
表示部8は、例えば、液晶表示装置であり、表示制御部7からのビデオ信号に基づいて電子撮像部により撮像された画像などを表示画面に表示する。具体的には、表示部8は、静止画撮像モードや動画撮像モードにて、撮像部1による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部8は、静止画として記録される画像(レックビュー画像)を表示したり、動画として記録中の画像を表示する。
記録媒体9は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成され、画像処理部5の符号化部(図示略)により所定の圧縮形式で符号化された記録用の静止画像データや複数の画像フレームからなる動画像データを記憶する。
外部接続部10は、外部機器200との接続用の端子(例えば、USB端子等)を備え、所定の通信ケーブル(例えば、USBケーブル等;図示略)を介してデータの送受信を行う。
具体的には、外部接続部10は、外部機器200による重み付けテーブル作成処理(後述)にて作成され、当該外部機器200から送信された重み付けテーブルT1を受信する。
操作入力部11は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部11は、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え(何れも図示略)、これらのボタンの操作に応じて所定の操作信号を中央制御部12に出力する。
また、操作入力部11の選択決定ボタンは、ユーザによるメニューボタンの所定操作に基づいて表示部8に表示されたモード選択画面にて、例えば、「オート」、「人物」、「風景」、「風景と人物」、「子供」、「スポーツ」、「キャンドルライト」、「パーティー」、「ペット」等の複数の撮像モードの中から、何れか一の撮像モードの設定指示を入力する。そして、当該選択決定ボタンの操作に応じて所定の設定信号を中央制御部12に出力する。
中央制御部12は、入力された設定信号に従って、モードテーブルT2に記憶されている複数の撮像モードの中でユーザ所望の撮像モードを設定する。
ここで、操作入力部11及び中央制御部12は、複数の撮像モードの中で何れか一の撮像モードを指定するモード指定手段を構成している。
中央制御部12は、撮像装置100の各部を制御するものである。具体的には、中央制御部12は、CPU(図示略)を備え、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
次に、特定領域検出処理について図3を参照して説明する。
図3は、特定領域検出処理に係る動作の一例を示すフローチャートである。
図3に示すように、画像処理部5の画像取得部5aは、例えば、撮像部1によりライブビュー画像や記録用画像を撮像することで画像データ生成部3により生成された処理対象画像の画像データ(YUVデータ)を取得する(ステップS1)。
なお、撮像部1によるライブビュー画像や記録用画像の撮像の際には、複数の撮像モード(例えば、「人物」、「風景」、「風景と人物」、「子供」、「スポーツ」、「キャンドルライト」、「パーティー」、「ペット」等)の中で何れか一の撮像モードが指定されているものとする。
続けて、画像処理部5の特徴マップ生成部5cは、画像取得部5aにより取得された画像データ(YUVデータ)に基づいて、水平(x軸)及び垂直(y軸)ともに所定の比率で縮小した縮小画像(例えば、VGAサイズの画像)を生成した後(ステップS2)、例えば、コントラスト、ヒストグラムのバタチャリヤ距離、各色の分散度合を利用した第1〜第3の特徴マップF1〜F3(図4参照)を生成する(ステップS3)。
次に、画像処理部5の撮像環境特定部5bは、撮像部1によるライブビュー画像や記録用画像の撮像の際にユーザによる操作入力部11の所定操作に従って指定された撮像モード(例えば、撮像モード「ペット」)に基づいて、当該撮像モードに対応する被写体の撮像条件を撮像環境として特定する(ステップS4)。
続けて、画像処理部5の重み付け部5dは、撮像環境特定部5bにより特定された撮像環境(撮像モード)に対応する第1〜第3の特徴マップF1〜F3の重み付け係数w1〜w3を重み付けテーブルT1内で特定して取得する(ステップS5)。そして、特徴分布統合部5eは、取得した重み付け係数w1〜w3に応じて第1〜第3の特徴マップF1〜F3の重み付けを行って、統合マップT(x, y)を生成する。具体的には、特徴分布統合部5eは、下記式(1)に従って、第1〜第3の特徴マップF1〜F3の各々の特徴分布と対応する各重み付け係数w1〜w3とを乗算して積分することで、統合マップT(x, y)を生成する(ステップS6)。
なお、特定領域検出処理にあっては、第1〜第3の特徴マップF1〜F3を生成する処理(ステップS3)と、撮像環境を特定する処理(ステップS4)の順序は、逆であっても良い。即ち、先に撮像環境を特定する処理を行い、その後、第1〜第3の特徴マップF1〜F3を生成する処理を行うようにしても良い。
次に、特定領域検出部5fは、統合マップT(x, y)を画像取得部5aにより取得された入力画像の原寸法に対応させるように、水平(x軸)及び垂直(y軸)ともに縮小比率に対応する比率で拡大した後、拡大された統合マップT(x, y)の特徴分布を入力画像に適用して、所定の閾値以上の値をとる領域を特定領域として検出する(ステップS7)。その後、画像処理部5は、検出された特定領域をメモリ4に出力して(ステップS8)、特定領域検出処理を終了する。
次に、重み付けテーブルT1の作成について説明する。
先ず、重み付けテーブル作成処理を実行する外部機器200の構成について図5を参照して説明する。
図5に示すように、外部機器200は、重み決定部201と、記憶部202と、メモリ203と、表示部204と、外部接続部205と、操作入力部206と、中央制御部207とを備えている。
重み決定部201は、重み付けテーブル作成処理を実行するものである。具体的には、重み決定部201は、撮像環境指定部201aと、領域指定部201bと、重み付け係数特定部201cとを具備している。
撮像環境指定部201aは、ユーザによる操作入力部206の所定操作に基づいて、撮像画像の撮像環境を指定する。
撮像環境指定部201aは、記憶部202に記憶されている複数枚(例えば、約1000枚)の撮像画像について、少なくとも一のユーザの各々による操作入力部206の所定操作に基づいて撮像装置100の撮像モードと対応する撮像シーンを選択指示して、指示された撮像シーン又は当該撮像モードに対応する被写体の撮像条件に応じてラベリングする。具体的には、撮像環境指定部201aは、撮像装置100の撮像モードと対応する、例えば、「人物」、「風景」、「風景と人物」、「子供」、「スポーツ」、「キャンドルライト」、「パーティー」、「ペット」等の撮像シーンに応じた画像セット1〜8(図7(a)及び図7(b)参照)に複数枚の撮像画像をソートする。これにより、撮像環境指定部201aは、複数枚の撮像画像の各々の撮像環境を指定する。
なお、一の撮像画像について、複数のユーザによって複数の異なる撮像シーンが指示された場合には、多数決や平均をとることにより何れか一の撮像シーンに対応するようにラベリングしても良いし、指示された複数の撮像シーンの各々に対応するようにラベリングしても良い。
ここで、撮像環境指定部201a及び操作入力部206は、撮像画像の撮像環境を指定する領域指定手段を構成している。
領域指定部201bは、ユーザによる操作入力部206の所定操作に基づいて、各撮像画像内でユーザの注目する注目領域を指定する。
領域指定部201bは、各画像セット内の全ての撮像画像について、複数のユーザの各々による操作入力部206の所定操作に基づいて主要被写体領域(注目領域)を指定して、指定された複数の注目領域を平均することで注目領域として正解マップSj(x, y)を生成する。具体的には、領域指定部201bは、例えば、画像セット8に含まれる何れか一の画像j(例えば、主要被写体が鹿の画像)について、複数のユーザの各々による操作入力部206の所定操作に基づいて主要被写体領域を指定した後、当該複数の主要被写体領域の平均をとることにより正解マップSj(x, y)を生成した後、画像j(原画像)と対応付けて画像セット内に格納する(図8参照)。
なお、正解マップSj(x, y)は、「0」〜「1」の値で表され、主要被写体領域として同意した人数が多い程、「1」に近い値をとり、図8にあっては「1」に近くなる程より白く表されている。また、正解マップSj(x, y)は、原画像に対して水平(x軸)及び垂直(y軸)ともに所定の比率で縮小した寸法(例えば、VGAサイズ(x×y:640×480画素))となっている。また、「j」は、ユーザにより処理対象として指定された画像セット(例えば、画像セット8)に含まれる画像のインデックスである。
ここで、領域指定部201b及び操作入力部206は、撮像画像内でユーザの注目する注目領域を指定する領域指定手段を構成している。
重み付け係数特定部201cは、各画像セットについて第1〜第3の特徴マップF1〜F3の重み付け係数w1〜w3を特定するものであり、具体的には、係数変更部201dと、仮特定領域検出部201eとを有している。
係数変更部201dは、第1〜第3の特徴マップF1〜F3の重み付け係数w1〜w3を様々に変更する。具体的には、係数変更部201dは、仮特定領域検出部201eによる仮統合マップTjk(x, y)の生成に際して、第1〜第3の特徴マップF1〜F3の各々の重み付け係数w1〜w3を規定する係数決定用テーブル(図9参照)の「k」の値を様々に変化させる。
なお、「k」は、w1〜w3の様々な組み合わせを指定するためのインデックスである。
仮特定領域検出部201eは、係数変更部201dにより変更指定された重み付け係数w1〜w3に応じて重み付けされた第1〜第3の特徴マップF1〜F3の特徴分布に基づいて、撮像画像から仮統合マップTjk(x, y)を生成する。
具体的には、仮特定領域検出部201eは、正解マップSj(x, y)が生成された処理対象画像の画像データに基づいて、水平(x軸)及び垂直(y軸)ともに所定の比率で縮小した縮小画像(例えば、VGAサイズ(x×y:640×480画素)の画像)を生成した後、例えば、コントラスト、ヒストグラムのバタチャリヤ距離、各色の分散度合(まとまり度合)等を利用した第1〜第3の特徴マップF1〜F3を生成する。その後、仮特定領域検出部201eは、下記式(2)に従って、係数変更部201dにより指定された重み付け係数w1〜w3に応じて第1〜第3の特徴マップF1〜F3の各々の特徴分布を重み付け演算することで、仮統合マップTjk(x, y)を生成する。
なお、「i」は、第1〜第3の特徴マップF1〜F3及び重み付け係数w1〜w3を指定するためのインデックスである。また、「j」は、ユーザにより処理対象として指定された画像セット(例えば、画像セット8)に含まれる画像のインデックスである。また、「k」は、w1〜w3の様々な組み合わせを指定するためのインデックスである。
ここで、仮特定領域検出部201eは、重み付け係数w1〜w3に応じて重み付けされた複数の特徴マップの特徴分布に基づいて、撮像画像から仮の特定領域(仮統合マップTjk(x, y))を検出する仮検出手段を構成している。
そして、重み付け係数特定部201cは、各画像セットについて係数変更部201dにより変更された重み付け係数w1〜w3に応じて、仮特定領域検出部201eにより算出された仮統合マップTjk(x, y)(図10(b)参照)と、領域指定部201bにより指定された正解マップSj(x, y)(図10(a)参照)との面積の重なり度合を一致度Tkとして下記式(3)に従って算出する。
なお、一致度Tkは、「0」〜「1」の値で表され、仮統合マップTjk(x, y)と正解マップSj(x, y)との面積の重なり度合が大きい程、「1」に近い値をとる。また、一致度Tkの算出に係る式(3)は、一例であってこれに限られるものではなく、仮統合マップTjk(x, y)と正解マップSj(x, y)との一致度の算出に係る式であれば適宜任意に変更することができる。
そして、重み付け係数特定部201cは、係数変更部201dにより変更指定された複数の重み付け係数w1〜w3に応じて算出された複数の一致度Tkの中で、最も高い一致度Tkを特定する。重み付け係数特定部201cは、当該最も高い一致度Tkの算出に係る重み付け係数w1〜w3を、撮像環境指定部201aにより指定された撮像環境(例えば、画像セット8に対応する撮像シーン「ペット」)における第1〜第3の特徴マップF1〜F3の各々の重み付け係数w1〜w3の組み合わせとして特定する。
また、重み付け係数特定部201cは、上記の処理を全ての画像セットの重み付け係数w1〜w3について行うことで、複数の画像セットの各々について第1〜第3の特徴マップF1〜F3の重み付け係数w1〜w3が対応付けられた重み付けテーブルT1を生成する。
このように、重み付け係数特定部201cは、撮像環境指定部201aにより指定された撮像環境、及び領域指定部201bにより指定された注目領域としての正解マップSj(x, y)に基づいて、複数の特徴マップの各々の重み付け係数w1〜w3を特定する特定手段を構成している。
記憶部202は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成され、中央制御部207の動作に必要な各種プログラムやデータ(図示略)を記憶している。
また、記憶部202には、重み付けテーブル作成処理により作成された重み付けテーブルT1(図2参照)が格納されている。
メモリ203は、例えば、DRAM等により構成され、重み決定部201や中央制御部207等によって処理されるデータ等を一時記憶する。
表示部204は、例えば、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)等のディスプレイから構成され、中央制御部207の制御下にて各種情報を表示画面に表示する。
外部接続部205は、撮像装置100との接続用の端子(例えば、USB端子等)を備え、所定の通信ケーブル(例えば、USBケーブル等;図示略)を介してデータの送受信を行う。
具体的には、外部接続部205は、重み付けテーブル作成処理により作成され、記憶部202に記憶されている重み付けテーブルT1を撮像装置100に送信する。
操作入力部206は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等の操作部を備え、これらの操作部の操作に応じて所定の操作信号を中央制御部207に出力する。
中央制御部207は、外部機器200の各部を制御するものである。具体的には、中央制御部207は、CPU(図示略)を備え、外部機器200用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
次に、重み決定部201によって実行される重み付けテーブル作成処理について図6〜図10を参照して説明する。
図6は、重み付けテーブル作成処理に係る動作の一例を示すフローチャートである。
図6に示すように、先ず、撮像環境指定部201aは、記憶部202に記憶されている複数枚(例えば、約1000枚)の撮像画像について、複数のユーザの各々による操作入力部206の所定操作に基づいて撮像シーンを選択指示して、指示された撮像シーンに応じてラベリングすることで複数枚の撮像画像を画像セット1〜8(図7(a)及び図7(b)参照)にソートする(ステップS21)。
次に、領域指定部201bは、各画像セット(例えば、画像セット8等)内の全ての撮像画像について、複数のユーザの各々による操作入力部206の所定操作に基づいて主要被写体領域(例えば、主要被写体として鹿の画像領域)を指定して(ステップS22)、指定された複数の注目領域を平均することで注目領域として正解マップSj(x, y)を生成する(ステップS23;図8参照)。
次に、重み付け係数特定部201cは、複数の画像セットの中から何れか一の画像セット(例えば、画像セット8)を処理対象として指定する(ステップS24)。
続けて、重み付け係数特定部201cは、処理対象の画像セット内で複数の撮像画像の中から何れか一の撮像画像を指定した後(ステップS25)、仮特定領域検出部201eは、係数変更部201dにより変更指定された複数の重み付け係数w1〜w3(図9参照)の各々に応じて重み付けされた第1〜第3の特徴マップF1〜F3の特徴分布に基づいて、撮像画像から仮統合マップTjk(x, y)の各々を下記式(2)に従って生成する(ステップS26)。
次に、重み付け係数特定部201cは、処理対象の画像セット内の全ての撮像画像について仮統合マップTjk(x, y)を生成したか否かを判定する処理を行う(ステップS27)。ここで、全ての撮像画像について仮統合マップTjk(x, y)を生成していないと判定されると(ステップS27;NO)、処理対象の画像セット内で次の撮像画像を指定した後(ステップS28)、処理をステップS26に移行する。
ステップS26の処理は、ステップS27にて、全ての撮像画像について仮統合マップTjk(x, y)を生成したと判定されるまで(ステップS27;YES)、繰り返し行われる。
そして、ステップS27にて、全ての撮像画像について仮統合マップTjk(x, y)を生成したと判定されると(ステップS27;YES)、重み付け係数特定部201cは、処理対象の画像セットについて、係数変更部201dにより変更された重み付け係数w1〜w3に応じて仮統合マップTjk(x, y)と正解マップSj(x, y)との一致度Tkを下記式(3)に従って算出する(図10(a)及び図10(b)参照)。
続けて、重み付け係数特定部201cは、係数変更部201dにより変更指定された複数の重み付け係数w1〜w3に応じて算出された複数の一致度Tkの中で、最も高い一致度Tkを特定した後、当該最も高い一致度Tkの算出に係る重み付け係数w1〜w3を当該撮像環境(例えば、画像セット8に対応する撮像シーン「ペット」)における第1〜第3の特徴マップF1〜F3の各々の重み付け係数w1〜w3の組み合わせとして特定する(ステップS29)。
その後、重み決定部201は、特定された第1〜第3の特徴マップF1〜F3の重み付け係数w1〜w3の組み合わせを処理対象の画像セットと対応付けて重み付けテーブルT1に格納する(ステップS30)。
次に、重み決定部201は、複数の画像セットの全てについて重み付け係数w1〜w3の組み合わせを特定したか否かを判定する処理を行う(ステップS31)。ここで、全ての画像セットについて重み付け係数w1〜w3の組み合わせを生成していないと判定されると(ステップS31;NO)、重み付け係数特定部201cが複数の画像セットの中で次の画像セットを指定した後(ステップS32)、重み決定部201は、処理をステップS25に移行して、それ以降の処理を実行する。
ステップS25以降の処理は、ステップS31にて、全ての画像セットについて重み付け係数w1〜w3の組み合わせを生成したと判定されるまで(ステップS31;YES)、繰り返し行われる。
これにより、重み付け係数特定部201cは、複数の画像セットの各々について第1〜第3の特徴マップF1〜F3の重み付け係数w1〜w3が対応付けられた重み付けテーブルT1を生成する。
そして、ステップS31にて、全ての画像セットについて重み付け係数w1〜w3の組み合わせを生成したと判定されると(ステップS31;YES)、重み付けテーブル作成処理を終了する。
以上のように、本実施形態の撮像装置100によれば、従来のように処理対象画像から抽出すべき領域の特徴の種類に対する重みが固定されているのではなく、処理対象画像の撮像環境を特定し、当該撮像環境に応じて複数の特徴マップの重み付けを行うことで、撮像環境を考慮して複数の特徴マップの重みを柔軟に変更することができる。そして、重み付けされた複数の特徴マップの特徴分布を統合して統合マップを生成し、当該統合マップに基づいて処理対象画像から特定領域を検出することで、撮像環境を考慮してユーザの注目度の高い特定領域の検出を適正に行うことができる。
また、撮像モードと撮像条件とが対応付けられて複数記憶されているので、複数の撮像モードの中で指定された何れか一の撮像モードと対応付けられている撮像条件に応じて、複数の特徴マップの重み付けを行うことができる。即ち、撮像部1によるライブビュー画像や記録用画像の撮像の際に、ユーザによる操作入力部11の所定操作に従って撮像モード(例えば、撮像モード「ペット」)が指定されるだけで、当該撮像モードに対応する被写体の撮像条件を撮像環境として特定するので、複数の特徴マップの重み付けに係る撮像環境を適正に特定することができる。これにより、撮像環境を考慮した複数の特徴マップの重みの変更を適正に行うことができる。
また、複数の特徴マップの各々の重み付け係数w1〜w3と撮像条件とが対応付けられて重み付けテーブルT1に記憶されているので、撮像環境特定部5bにより画像の撮像環境として撮像条件が特定されるだけで、当該撮像条件と対応付けられている重み付け係数w1〜w3を取得することができ、複数の特徴マップの重み付けを簡便に、且つ、迅速に行うことができる。
なお、重み付けテーブルT1の作成にあっては、外部機器200にて、ユーザによる操作入力部206の所定操作に基づいて撮像画像の撮像環境及び主要被写体領域(注目領域)が指定されるだけで、これら撮像環境及び主要被写体領域に基づいて複数の特徴マップの各々の重み付け係数w1〜w3の特定を適正に行うことができる。具体的には、重み付け係数w1〜w3に応じて重み付けされた複数の特徴マップの特徴分布に基づいて、撮像画像から仮統合マップTjk(x, y)を生成し、そして、主要被写体領域に基づいて生成された正解マップSj(x, y)と仮統合マップTjk(x, y)との一致度Tkが最も高くなる重み付け係数w1〜w3の組み合わせを決定することで、複数の特徴マップの各々の重み付け係数w1〜w3の組み合わせを特定することができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、重み付けテーブルT1の作成を撮像装置100とは異なる外部機器200で行うようにしたが、これに限られるものではない。即ち、外部機器200にて重み付けテーブルT1を作成して、当該重み付けテーブルT1を撮像装置100にて使用する画像処理システムを例示したが、撮像装置100や外部機器200の構成は、上記実施形態に例示したものは一例であり、これら撮像装置100と外部機器200の全ての機能を備える一の画像処理装置であっても良い。
また、処理対象画像の撮像は、当該撮像装置100とは異なる撮像装置にて行い、この撮像装置から転送された処理対象画像の画像データを取得して、特定領域の検出を行う画像処理装置であっても良い。
加えて、上記実施形態にあっては、取得手段、生成手段、重み付け手段、検出手段としての機能を、中央制御部12の制御下にて、画像処理部5の画像取得部5a、特徴マップ生成部5c、重み付け部5d、特定領域検出部5fが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部12のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、生成処理ルーチン、撮像環境特定処理ルーチン、重み付け処理ルーチン、検出処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部12のCPUを、画像を取得する取得手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部12のCPUを、取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段として機能させるようにしても良い。また、撮像環境特定処理ルーチンにより中央制御部12のCPUを、取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段として機能させるようにしても良い。また、重み付け処理ルーチンにより中央制御部12のCPUを、撮像環境特定手段により特定された画像の撮像環境に応じて、生成手段により生成された複数の特徴マップの重み付けを行う重み付け手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部12のCPUを、重み付け手段により重み付けされた複数の特徴マップの特徴分布に基づいて、画像から特定領域を検出する検出手段として機能させるようにしても良い。
100 撮像装置
5 画像処理部
5a 画像取得部
5b 撮像環境特定部
5c 特徴マップ生成部
5d 重み付け部
5e 特徴分布統合部
5f 特定領域検出部
6 記憶部(記憶手段)
12 中央制御部
200 外部機器
201 重み決定部
201a 撮像環境指定部
201b 領域指定部
201c 重み付け係数特定部
201e 仮特定領域検出部
T1 重み付けテーブル

Claims (7)

  1. 画像を取得する取得手段と、
    この取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段と、
    前記取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段と、
    この撮像環境特定手段により特定された撮像環境に応じて、前記生成手段により生成された複数の特徴マップの重み付けを行う重み付け手段と、
    この重み付け手段により重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記取得手段は、撮像手段を含み、
    前記撮像環境特定手段は、前記撮像環境を前記撮像手段による撮像条件が設定されることにより特定し、
    前記重み付け手段は、前記設定された撮像条件に応じて前記生成手段により生成された複数の特徴マップの重み付けを行うことを特徴とする請求項1に記載の画像処理装置。
  3. 撮像モードと撮像条件とを対応付けて複数記憶する記憶手段と、
    前記複数の撮像モードの中で何れか一の撮像モードを指定するモード指定手段と、を更に備え、
    前記設定される撮像条件とは、前記モード指定手段により指定された前記撮像モードと対応付けられている撮像条件であることを特徴とする請求項2に記載の画像処理装置。
  4. 前記複数の特徴マップの各々の重み付け係数と撮像条件とを対応付けて記憶する重み付け係数記憶手段を更に備え、
    前記重み付け手段は、前記設定された撮像条件と対応付けられている重み付け係数を前記重み付け係数記憶手段から読み出し、この読み出された重み付け係数を用いて前記生成手段により生成された複数の特徴マップの重み付けを行うことを特徴とする請求項2又は3に記載の画像処理装置。
  5. 前記重み付け手段により重み付けされた前記複数の特徴マップの特徴分布を統合する統合手段を更に備え、
    前記検出手段は、前記統合手段により統合された前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出することを特徴とする請求項1〜4の何れか一項に記載の画像処理装置。
  6. 画像処理装置を用いた画像処理方法であって、
    画像を取得する取得ステップと、
    この取得ステップにて取得された画像の複数の特徴の各々について特徴マップを生成する生成ステップと、
    前記取得ステップにて取得された画像の撮像環境を特定する撮像環境特定ステップと、
    この撮像環境特定ステップにて特定された撮像環境に応じて、前記生成ステップにて生成された複数の特徴マップの重み付けを行う重み付けステップと、
    この重み付けステップにて重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出ステップと、
    を実行することを特徴とする画像処理方法。
  7. 画像処理装置のコンピュータを、
    画像を取得する取得手段、
    この取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段、
    前記取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段、
    この撮像環境特定手段により特定された撮像環境に応じて、前記生成手段により生成された複数の特徴マップの重み付けを行う重み付け手段、
    この重み付け手段により重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出手段、
    として機能させることを特徴とするプログラム。
JP2009204213A 2009-09-04 2009-09-04 画像処理装置、画像処理方法及びプログラム Expired - Fee Related JP4862930B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009204213A JP4862930B2 (ja) 2009-09-04 2009-09-04 画像処理装置、画像処理方法及びプログラム
US12/874,705 US8345986B2 (en) 2009-09-04 2010-09-02 Image processing apparatus, image processing method and computer readable-medium
CN2010105402366A CN102014251B (zh) 2009-09-04 2010-09-03 图像处理装置和图像处理方法
KR1020100086314A KR101155406B1 (ko) 2009-09-04 2010-09-03 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체
TW099129795A TWI416945B (zh) 2009-09-04 2010-09-03 影像處理裝置、影像處理方法及電腦可讀取媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009204213A JP4862930B2 (ja) 2009-09-04 2009-09-04 画像処理装置、画像処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011236709A Division JP5287965B2 (ja) 2011-10-28 2011-10-28 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2011054071A true JP2011054071A (ja) 2011-03-17
JP4862930B2 JP4862930B2 (ja) 2012-01-25

Family

ID=43647816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009204213A Expired - Fee Related JP4862930B2 (ja) 2009-09-04 2009-09-04 画像処理装置、画像処理方法及びプログラム

Country Status (5)

Country Link
US (1) US8345986B2 (ja)
JP (1) JP4862930B2 (ja)
KR (1) KR101155406B1 (ja)
CN (1) CN102014251B (ja)
TW (1) TWI416945B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014168141A (ja) * 2013-02-28 2014-09-11 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム
US9002094B2 (en) 2011-12-28 2015-04-07 Kenyence Corporation Image processing device and image processing method
CN112313477A (zh) * 2018-06-22 2021-02-02 马瑞利欧洲公司 一种车辆环境映射的方法以及相应的系统、车辆和计算机程序产品
JP2021533436A (ja) * 2019-07-18 2021-12-02 北京市商▲湯▼科技▲開▼▲発▼有限公司Beijing Sensetime Technology Development Co., Ltd. 画像処理方法、画像処理装置、電子機器、記憶媒体及びコンピュータプログラム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130124147A1 (en) * 2008-08-15 2013-05-16 Hailin Jin Random Sample Consensus for Groups of Data
JP5676610B2 (ja) * 2009-08-12 2015-02-25 トムソン ライセンシングThomson Licensing 画像シーケンスの関心領域に基づくアーティファクト低減のためのシステム及び方法
JP4862930B2 (ja) * 2009-09-04 2012-01-25 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2011160379A (ja) * 2010-02-04 2011-08-18 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012248070A (ja) * 2011-05-30 2012-12-13 Sony Corp 情報処理装置、メタデータ設定方法、及びプログラム
TWI578305B (zh) * 2011-05-30 2017-04-11 宏達國際電子股份有限公司 影像縮圖之版面產生方法及系統,及其電腦程式產品
CN102436584B (zh) * 2011-11-04 2013-09-25 西安电子科技大学 基于字典学习的胃部ct图像感兴趣区域检测系统
CN103310221B (zh) * 2012-03-16 2016-04-13 富士通株式会社 图像处理装置、图像处理方法以及设备
JP6137800B2 (ja) * 2012-09-26 2017-05-31 オリンパス株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
US9330334B2 (en) * 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
US10019823B2 (en) 2013-10-24 2018-07-10 Adobe Systems Incorporated Combined composition and change-based models for image cropping
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
JP6232982B2 (ja) * 2013-12-02 2017-11-22 オムロン株式会社 画像処理装置、画像処理方法およびプログラム
KR102115328B1 (ko) * 2015-06-15 2020-05-26 한국전자통신연구원 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법
GB2545661A (en) * 2015-12-21 2017-06-28 Nokia Technologies Oy A method for analysing media content
WO2018099473A1 (zh) * 2016-12-02 2018-06-07 北京市商汤科技开发有限公司 场景分析方法和系统、电子设备
CN109118459B (zh) * 2017-06-23 2022-07-19 南开大学 图像显著性物体检测方法和装置
CN113939826A (zh) * 2019-05-29 2022-01-14 株式会社电装 地图系统、地图生成程序、存储介质、车辆用装置以及服务器
CN110232378B (zh) * 2019-05-30 2023-01-20 苏宁易购集团股份有限公司 一种图像兴趣点检测方法、系统及可读存储介质
US11490078B2 (en) 2020-12-29 2022-11-01 Tencent America LLC Method and apparatus for deep neural network based inter-frame prediction in video coding
CN113139518B (zh) * 2021-05-14 2022-07-29 江苏中天互联科技有限公司 基于工业互联网的型材切割状态监控方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008053775A (ja) * 2006-08-22 2008-03-06 Sony Corp 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理回路

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020154833A1 (en) * 2001-03-08 2002-10-24 Christof Koch Computation of intrinsic perceptual saliency in visual environments, and applications
KR100485059B1 (ko) * 2001-10-19 2005-04-22 후지쓰 텐 가부시키가이샤 화상표시장치
US7006090B2 (en) * 2003-02-07 2006-02-28 Crytek Gmbh Method and computer program product for lighting a computer graphics image and a computer
TWI288293B (en) * 2005-02-25 2007-10-11 Mei-Chuan Wang Auto-exposing method of a digital photographic apparatus
WO2006103835A1 (ja) * 2005-03-25 2006-10-05 Mitsubishi Denki Kabushiki Kaisha 画像処理装置、画像表示装置、及び画像表示方法
AU2007217794A1 (en) * 2006-02-16 2007-08-30 Clean Earth Technologies, Llc Method for spectral data classification and detection in diverse lighting conditions
WO2008109771A2 (en) * 2007-03-08 2008-09-12 Second Sight Medical Products, Inc. Saliency-based apparatus and methods for visual prostheses
CN101394485B (zh) * 2007-09-20 2011-05-04 华为技术有限公司 图像生成方法、装置及图像合成设备
US20100100548A1 (en) * 2008-10-16 2010-04-22 Curators Of The University Of Missouri Storing change features detected from high-resolution, remotely sensed imagery
JP4862930B2 (ja) * 2009-09-04 2012-01-25 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008053775A (ja) * 2006-08-22 2008-03-06 Sony Corp 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理回路

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002094B2 (en) 2011-12-28 2015-04-07 Kenyence Corporation Image processing device and image processing method
JP2014168141A (ja) * 2013-02-28 2014-09-11 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム
CN112313477A (zh) * 2018-06-22 2021-02-02 马瑞利欧洲公司 一种车辆环境映射的方法以及相应的系统、车辆和计算机程序产品
JP2021533436A (ja) * 2019-07-18 2021-12-02 北京市商▲湯▼科技▲開▼▲発▼有限公司Beijing Sensetime Technology Development Co., Ltd. 画像処理方法、画像処理装置、電子機器、記憶媒体及びコンピュータプログラム
JP7041284B2 (ja) 2019-07-18 2022-03-23 北京市商▲湯▼科技▲開▼▲発▼有限公司 画像処理方法、画像処理装置、電子機器、記憶媒体及びコンピュータプログラム

Also Published As

Publication number Publication date
KR20110025621A (ko) 2011-03-10
JP4862930B2 (ja) 2012-01-25
TW201114255A (en) 2011-04-16
CN102014251B (zh) 2013-10-16
TWI416945B (zh) 2013-11-21
US20110058747A1 (en) 2011-03-10
KR101155406B1 (ko) 2012-06-20
CN102014251A (zh) 2011-04-13
US8345986B2 (en) 2013-01-01

Similar Documents

Publication Publication Date Title
JP4862930B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8509482B2 (en) Subject tracking apparatus, subject region extraction apparatus, and control methods therefor
US8472747B2 (en) Image composition device, image composition method, and storage medium storing program
JP5939705B2 (ja) 被写体判定装置、被写体判定方法及びプログラム
JP5625995B2 (ja) 被写体追跡装置、被写体追跡方法及びプログラム
US8295609B2 (en) Image processing apparatus, image processing method and computer readable-medium
US8355056B2 (en) Image processing device, imaging device, and image processing program
US9020269B2 (en) Image processing device, image processing method, and recording medium
CN102542251B (zh) 被摄体检测装置以及被摄体检测方法
CN107547789B (zh) 影像获取装置及其摄影构图的方法
JP2009089220A (ja) 撮像装置
JP4807582B2 (ja) 画像処理装置、撮像装置及びそのプログラム
JP5044472B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5287965B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5375420B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5807695B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
JP2007201679A (ja) 撮像装置、画像処理方法、及び画像処理プログラム
JP6668646B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2014022826A (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2013118471A (ja) 映像処理装置およびその制御方法
JP2007195097A (ja) 撮像装置、画像処理方法、及び画像処理プログラム
JP2008263320A (ja) 撮像装置及び制御方法
JP2012009980A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110829

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111011

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111024

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4862930

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees