JP2011054071A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2011054071A JP2011054071A JP2009204213A JP2009204213A JP2011054071A JP 2011054071 A JP2011054071 A JP 2011054071A JP 2009204213 A JP2009204213 A JP 2009204213A JP 2009204213 A JP2009204213 A JP 2009204213A JP 2011054071 A JP2011054071 A JP 2011054071A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- unit
- image
- weighting
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【解決手段】撮像装置100であって、処理対象画像の複数の特徴の各々について特徴マップを生成する特徴マップ生成部5cと、処理対象画像の撮像環境を特定する撮像環境特定部5bと、特定された処理対象画像の撮像環境に応じて、複数の特徴マップの重み付けを行う重み付け部5dと、この重み付け部により重み付けされた複数の特徴マップの特徴分布に基づいて、処理対象画像から特定領域を検出する特定領域検出部5fとを備えている。
【選択図】図1
Description
より具体的な手法として、例えば、Treismanの特徴統合理論は、複数の特徴マップを統合した顕著性マップを画像の注目領域として得る。また、IttiやKochらの理論は、複数の特徴マップを各々の平均値との二乗誤差を用いて正規化し、全ての特徴マップを線形結合により統合した後、この統合した特徴マップをDifference of Gaussianフィルタにより再帰的にフィルタリングし、最終的に得られたフィルタリング結果における局所的なピークを注目領域として得る(例えば、非特許文献1参照)。
画像を取得する取得手段と、この取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段と、前記取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段と、この撮像環境特定手段により特定された撮像環境に応じて、前記生成手段により生成された複数の特徴マップの重み付けを行う重み付け手段と、この重み付け手段により重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出手段と、を備えることを特徴としている。
前記取得手段は、撮像手段を含み、前記撮像環境特定手段は、前記撮像環境を前記撮像手段による撮像条件が設定されることにより特定し、前記重み付け手段は、前記設定された撮像条件に応じて前記生成手段により生成された複数の特徴マップの重み付けを行うことを特徴としている。
撮像モードと撮像条件とを対応付けて複数記憶する記憶手段と、前記複数の撮像モードの中で何れか一の撮像モードを指定するモード指定手段と、を更に備え、前記設定される撮像条件とは、前記モード指定手段により指定された前記撮像モードと対応付けられている撮像条件であることを特徴としている。
前記複数の特徴マップの各々の重み付け係数と撮像条件とを対応付けて記憶する重み付け係数記憶手段を更に備え、前記重み付け手段は、前記設定された撮像条件と対応付けられている重み付け係数を前記重み付け係数記憶手段から読み出し、この読み出された重み付け係数を用いて前記生成手段により生成された複数の特徴マップの重み付けを行うことを特徴としている。
前記重み付け手段により重み付けされた前記複数の特徴マップの特徴分布を統合する統合手段を更に備え、前記検出手段は、前記統合手段により統合された前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出することを特徴としている。
画像処理装置を用いた画像処理方法であって、画像を取得する取得ステップと、この取得ステップにて取得された画像の複数の特徴の各々について特徴マップを生成する生成ステップと、前記取得ステップにて取得された画像の撮像環境を特定する撮像環境特定ステップと、この撮像環境特定ステップにて特定された撮像環境に応じて、前記生成ステップにて生成された複数の特徴マップの重み付けを行う重み付けステップと、この重み付けステップにて重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出ステップと、を実行することを特徴としている。
画像処理装置のコンピュータを、画像を取得する取得手段、この取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段、前記取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段、この撮像環境特定手段により特定された撮像環境に応じて、前記生成手段により生成された複数の特徴マップの重み付けを行う重み付け手段、この重み付け手段により重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出手段、として機能させることを特徴としている。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
具体的には、図1に示すように、撮像装置100は、撮像部1と、撮像制御部2と、画像データ生成部3と、メモリ4と、画像処理部5と、記憶部6と、表示制御部7と、表示部8と、記録媒体9と、外部接続部10と、操作入力部11と、中央制御部12とを備えている。
また、撮像制御部2は、撮像条件の調整制御として、AE(自動露出処理)、AF(自動合焦処理)、AWB(自動ホワイトバランス)等を行う。
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用されるメモリ4にDMA転送される。
具体的には、画像取得部5aは、例えば、ライブビュー画像や記録用画像の撮像の際に画像データ生成部3により生成された入力画像(図4参照)のYUVデータを取得する。
具体的には、撮像環境特定部5bは、ユーザによる操作入力部11の選択決定ボタンの所定操作に応じた撮像モード(選択シーン)の指定に基づいて、当該撮像モードに対応する被写体の撮像条件が設定されることにより撮像環境を特定する。より具体的には、撮像環境特定部5bは、例えば、「1.オート」、「2.人物」、「3.風景」、「4.風景と人物」、「5.子供」、「6.スポーツ」、「7.キャンドルライト」、「8.パーティー」、「9.ペット」等の複数の撮像モードの中から、ユーザにより指定された撮像モードにて規定されている、例えば、露出条件(シャッター速度や絞り、または増幅率等)やホワイトバランス等の被写体の撮像条件(撮像モード情報)を撮像環境として特定する。
また、撮像環境特定部5bは、画像の撮像環境として、ユーザによる操作入力部11の所定操作に従って指定されたズーム量(ズームレンズ位置)に基づいて、当該ズーム量に応じて設定された画角に係る画角情報を特定する。
また、撮像環境特定部5bは、画像の撮像環境として、図示しない計時部により計時された時刻に係る時刻情報を特定する。
また、撮像環境特定部5bは、画像の撮像環境として、図示しない位置検出部により検出された位置に基づいて、GPS(全地球測位システム)情報や高度情報を特定する。
なお、画像の撮像環境として例示した、撮像モード情報、画角情報、時刻情報、GPS情報、高度情報は、一例であってこれらに限られるものではない。
特徴マップ生成部5cは、画像取得部5aにより取得された画像データ(YUVデータ)に基づいて、水平(x軸)及び垂直(y軸)ともに所定の比率で縮小した縮小画像(例えば、VGAサイズ(x×y:640×480画素)の画像)を生成した後、例えば、コントラスト、ヒストグラムのバタチャリヤ距離、各色の分散度合(まとまり度合)等を利用した第1〜第3の特徴マップF1〜F3を生成する。
具体的には、特徴マップ生成部5cは、先ず、縮小画像の画像データに基づいて、水平(x軸)及び垂直(y軸)ともに所定の比率でさらに縮小した画像を縮小比率を異ならせて複数生成する。そして、特徴マップ生成部5cは、生成された複数の縮小した画像の各々のコントラストを算出した後、これらコントラストを各画像の縮小比率に対応させて拡大して寸法を合わせて加算することによって第1の特徴マップF1を生成する。
また、特徴マップ生成部5cは、先ず、縮小画像の画像データに基づいて、各画素を中心として寸法や形状の異なる枠を複数生成する。そして、特徴マップ生成部5cは、複数の枠内の画像領域どうしの類似度の指標として、ヒストグラムのバタチャリヤ距離を算出した後、当該バタチャリヤ距離に基づいて各画素を塗り分けることによって第2の特徴マップF2を生成する。なお、図4に示す第2の特徴マップF2にあっては、ヒストグラムのバタチャリヤ距離が大きくなる程、白く表されている。ここで、バタチャリヤ距離とは、2つの確率密度分布の相乗平均を全領域で積分し、次元を確率に戻した上で、その自己情報量を求め、それを距離として解釈する距離尺度である。
また、特徴マップ生成部5cは、先ず、縮小画像のYUV色空間の画像データを所定の変換式に従ってHSV色空間の画像データに変換した後、EMアルゴリズムを利用して混合ガウス分布で表現する。そして、特徴マップ生成部5cは、所定の基準でグループ分けされた複数のグループ(色のかたまり)について分散値を算出した後、当該分散値に基づいて各画素を塗り分けることによって第3の特徴マップF3を生成する。なお、図4に示す第3の特徴マップF3にあっては、分散値が小さくなる程(色がまとまっている程)、白く表されている。
即ち、重み付け部5dは、重み付け係数記憶手段として、第1〜第3の特徴マップF1〜F3の各々の重み付け係数w1〜w3と撮像条件とが対応付けられた重み付けテーブルT1を記憶している。
重み付けテーブルT1は、図3に示すように、被写体の撮像条件を規定する複数の撮像モード「人物」、「風景」、「風景と人物」、「子供」、「スポーツ」、「キャンドルライト」、「パーティー」、「ペット」の各々について、第1〜第3の特徴マップF1〜F3の各重み付け係数w1〜w3と対応付けて記憶している。
なお、重み付けテーブルT1は、撮像装置100と外部接続部10を介して接続される外部機器200(後述)による重み付けテーブル作成処理(後述)にて作成された後、当該撮像装置100に送信されて重み付け部5dに記憶されたものである。
ここで、特徴分布統合部5eは、重み付け部5dにより重み付けされた複数の特徴マップの特徴分布を統合する統合手段を構成している。
また、重み付けテーブルT1として、撮像モード情報と第1〜第3の特徴マップF1〜F3の各々の重み付け係数w1〜w3とが対応付けられたものを例示したが、一例であってこれに限られるものではなく、他の撮像環境、例えば、画角情報、時刻情報、GPS情報、高度情報等と第1〜第3の特徴マップF1〜F3の各々の重み付け係数w1〜w3とを対応付けて記憶したものであっても良い。
さらに、図3に示す重み付けテーブルT1の重み付け係数w1〜w3の各数値は、一例であってこれに限られるものではなく、特定領域の検出精度に応じて適宜任意に変更することができる。
特定領域検出部5fは、統合マップT(x, y)に基づいて、所定の閾値以上の値をとる領域を特定領域として検出する。具体的には、特定領域検出部5fは、統合マップT(x, y)を画像取得部5aにより取得された入力画像の原寸法に対応させるように、水平(x軸)及び垂直(y軸)ともに縮小比率に対応する比率で拡大する。その後、特定領域検出部5fは、拡大された統合マップT(x, y)の特徴分布を入力画像に適用して、所定の閾値以上の値をとる領域を特定領域として検出する。
ここで、特定領域検出部5fは、重み付け部5dにより重み付けされた複数の特徴マップの特徴分布に基づいて、入力画像から特定領域を検出する検出手段を構成している。
また、記憶部6には、被写体の複数の撮像モードの設定に係るモードテーブルT2が格納されている。
撮像モードとしては、例えば、被写体の撮像条件を自動的に調整する「オート」、主要な被写体を人物とする撮像に適した撮像条件に調整する「人物」と、主要な被写体を風景とする撮像に適した撮像条件に調整する「風景」と、風景と人物の撮像に適した撮像条件に調整する「風景と人物」と、主要な被写体を子供とする撮像に適した撮像条件に調整する「子供」と、スポーツの撮像に適した撮像条件に調整する「スポーツ」と、キャンドルライトの明かりでの人物の撮像に適した撮像条件に調整する「キャンドルライト」と、複数の人物の存するパーティーの撮像に適した撮像条件に調整する「パーティー」と、主要な被写体をペットとする撮像に適した撮像条件に調整する「ペット」等が挙げられる。
ここで、記憶部6は、撮像モードと撮像条件とを対応付けて複数記憶する記憶手段を構成している。
具体的には、表示制御部7は、VRAM、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部12の制御下にてメモリ4から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部8に出力する。
具体的には、外部接続部10は、外部機器200による重み付けテーブル作成処理(後述)にて作成され、当該外部機器200から送信された重み付けテーブルT1を受信する。
中央制御部12は、入力された設定信号に従って、モードテーブルT2に記憶されている複数の撮像モードの中でユーザ所望の撮像モードを設定する。
ここで、操作入力部11及び中央制御部12は、複数の撮像モードの中で何れか一の撮像モードを指定するモード指定手段を構成している。
図3は、特定領域検出処理に係る動作の一例を示すフローチャートである。
なお、撮像部1によるライブビュー画像や記録用画像の撮像の際には、複数の撮像モード(例えば、「人物」、「風景」、「風景と人物」、「子供」、「スポーツ」、「キャンドルライト」、「パーティー」、「ペット」等)の中で何れか一の撮像モードが指定されているものとする。
続けて、画像処理部5の重み付け部5dは、撮像環境特定部5bにより特定された撮像環境(撮像モード)に対応する第1〜第3の特徴マップF1〜F3の重み付け係数w1〜w3を重み付けテーブルT1内で特定して取得する(ステップS5)。そして、特徴分布統合部5eは、取得した重み付け係数w1〜w3に応じて第1〜第3の特徴マップF1〜F3の重み付けを行って、統合マップT(x, y)を生成する。具体的には、特徴分布統合部5eは、下記式(1)に従って、第1〜第3の特徴マップF1〜F3の各々の特徴分布と対応する各重み付け係数w1〜w3とを乗算して積分することで、統合マップT(x, y)を生成する(ステップS6)。
先ず、重み付けテーブル作成処理を実行する外部機器200の構成について図5を参照して説明する。
撮像環境指定部201aは、記憶部202に記憶されている複数枚(例えば、約1000枚)の撮像画像について、少なくとも一のユーザの各々による操作入力部206の所定操作に基づいて撮像装置100の撮像モードと対応する撮像シーンを選択指示して、指示された撮像シーン又は当該撮像モードに対応する被写体の撮像条件に応じてラベリングする。具体的には、撮像環境指定部201aは、撮像装置100の撮像モードと対応する、例えば、「人物」、「風景」、「風景と人物」、「子供」、「スポーツ」、「キャンドルライト」、「パーティー」、「ペット」等の撮像シーンに応じた画像セット1〜8(図7(a)及び図7(b)参照)に複数枚の撮像画像をソートする。これにより、撮像環境指定部201aは、複数枚の撮像画像の各々の撮像環境を指定する。
なお、一の撮像画像について、複数のユーザによって複数の異なる撮像シーンが指示された場合には、多数決や平均をとることにより何れか一の撮像シーンに対応するようにラベリングしても良いし、指示された複数の撮像シーンの各々に対応するようにラベリングしても良い。
ここで、撮像環境指定部201a及び操作入力部206は、撮像画像の撮像環境を指定する領域指定手段を構成している。
領域指定部201bは、各画像セット内の全ての撮像画像について、複数のユーザの各々による操作入力部206の所定操作に基づいて主要被写体領域(注目領域)を指定して、指定された複数の注目領域を平均することで注目領域として正解マップSj(x, y)を生成する。具体的には、領域指定部201bは、例えば、画像セット8に含まれる何れか一の画像j(例えば、主要被写体が鹿の画像)について、複数のユーザの各々による操作入力部206の所定操作に基づいて主要被写体領域を指定した後、当該複数の主要被写体領域の平均をとることにより正解マップSj(x, y)を生成した後、画像j(原画像)と対応付けて画像セット内に格納する(図8参照)。
なお、正解マップSj(x, y)は、「0」〜「1」の値で表され、主要被写体領域として同意した人数が多い程、「1」に近い値をとり、図8にあっては「1」に近くなる程より白く表されている。また、正解マップSj(x, y)は、原画像に対して水平(x軸)及び垂直(y軸)ともに所定の比率で縮小した寸法(例えば、VGAサイズ(x×y:640×480画素))となっている。また、「j」は、ユーザにより処理対象として指定された画像セット(例えば、画像セット8)に含まれる画像のインデックスである。
ここで、領域指定部201b及び操作入力部206は、撮像画像内でユーザの注目する注目領域を指定する領域指定手段を構成している。
なお、「k」は、w1〜w3の様々な組み合わせを指定するためのインデックスである。
具体的には、仮特定領域検出部201eは、正解マップSj(x, y)が生成された処理対象画像の画像データに基づいて、水平(x軸)及び垂直(y軸)ともに所定の比率で縮小した縮小画像(例えば、VGAサイズ(x×y:640×480画素)の画像)を生成した後、例えば、コントラスト、ヒストグラムのバタチャリヤ距離、各色の分散度合(まとまり度合)等を利用した第1〜第3の特徴マップF1〜F3を生成する。その後、仮特定領域検出部201eは、下記式(2)に従って、係数変更部201dにより指定された重み付け係数w1〜w3に応じて第1〜第3の特徴マップF1〜F3の各々の特徴分布を重み付け演算することで、仮統合マップTjk(x, y)を生成する。
また、重み付け係数特定部201cは、上記の処理を全ての画像セットの重み付け係数w1〜w3について行うことで、複数の画像セットの各々について第1〜第3の特徴マップF1〜F3の重み付け係数w1〜w3が対応付けられた重み付けテーブルT1を生成する。
また、記憶部202には、重み付けテーブル作成処理により作成された重み付けテーブルT1(図2参照)が格納されている。
具体的には、外部接続部205は、重み付けテーブル作成処理により作成され、記憶部202に記憶されている重み付けテーブルT1を撮像装置100に送信する。
図6は、重み付けテーブル作成処理に係る動作の一例を示すフローチャートである。
続けて、重み付け係数特定部201cは、処理対象の画像セット内で複数の撮像画像の中から何れか一の撮像画像を指定した後(ステップS25)、仮特定領域検出部201eは、係数変更部201dにより変更指定された複数の重み付け係数w1〜w3(図9参照)の各々に応じて重み付けされた第1〜第3の特徴マップF1〜F3の特徴分布に基づいて、撮像画像から仮統合マップTjk(x, y)の各々を下記式(2)に従って生成する(ステップS26)。
ステップS26の処理は、ステップS27にて、全ての撮像画像について仮統合マップTjk(x, y)を生成したと判定されるまで(ステップS27;YES)、繰り返し行われる。
その後、重み決定部201は、特定された第1〜第3の特徴マップF1〜F3の重み付け係数w1〜w3の組み合わせを処理対象の画像セットと対応付けて重み付けテーブルT1に格納する(ステップS30)。
ステップS25以降の処理は、ステップS31にて、全ての画像セットについて重み付け係数w1〜w3の組み合わせを生成したと判定されるまで(ステップS31;YES)、繰り返し行われる。
これにより、重み付け係数特定部201cは、複数の画像セットの各々について第1〜第3の特徴マップF1〜F3の重み付け係数w1〜w3が対応付けられた重み付けテーブルT1を生成する。
例えば、重み付けテーブルT1の作成を撮像装置100とは異なる外部機器200で行うようにしたが、これに限られるものではない。即ち、外部機器200にて重み付けテーブルT1を作成して、当該重み付けテーブルT1を撮像装置100にて使用する画像処理システムを例示したが、撮像装置100や外部機器200の構成は、上記実施形態に例示したものは一例であり、これら撮像装置100と外部機器200の全ての機能を備える一の画像処理装置であっても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、生成処理ルーチン、撮像環境特定処理ルーチン、重み付け処理ルーチン、検出処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部12のCPUを、画像を取得する取得手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部12のCPUを、取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段として機能させるようにしても良い。また、撮像環境特定処理ルーチンにより中央制御部12のCPUを、取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段として機能させるようにしても良い。また、重み付け処理ルーチンにより中央制御部12のCPUを、撮像環境特定手段により特定された画像の撮像環境に応じて、生成手段により生成された複数の特徴マップの重み付けを行う重み付け手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部12のCPUを、重み付け手段により重み付けされた複数の特徴マップの特徴分布に基づいて、画像から特定領域を検出する検出手段として機能させるようにしても良い。
5 画像処理部
5a 画像取得部
5b 撮像環境特定部
5c 特徴マップ生成部
5d 重み付け部
5e 特徴分布統合部
5f 特定領域検出部
6 記憶部(記憶手段)
12 中央制御部
200 外部機器
201 重み決定部
201a 撮像環境指定部
201b 領域指定部
201c 重み付け係数特定部
201e 仮特定領域検出部
T1 重み付けテーブル
Claims (7)
- 画像を取得する取得手段と、
この取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段と、
前記取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段と、
この撮像環境特定手段により特定された撮像環境に応じて、前記生成手段により生成された複数の特徴マップの重み付けを行う重み付け手段と、
この重み付け手段により重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出手段と、
を備えることを特徴とする画像処理装置。 - 前記取得手段は、撮像手段を含み、
前記撮像環境特定手段は、前記撮像環境を前記撮像手段による撮像条件が設定されることにより特定し、
前記重み付け手段は、前記設定された撮像条件に応じて前記生成手段により生成された複数の特徴マップの重み付けを行うことを特徴とする請求項1に記載の画像処理装置。 - 撮像モードと撮像条件とを対応付けて複数記憶する記憶手段と、
前記複数の撮像モードの中で何れか一の撮像モードを指定するモード指定手段と、を更に備え、
前記設定される撮像条件とは、前記モード指定手段により指定された前記撮像モードと対応付けられている撮像条件であることを特徴とする請求項2に記載の画像処理装置。 - 前記複数の特徴マップの各々の重み付け係数と撮像条件とを対応付けて記憶する重み付け係数記憶手段を更に備え、
前記重み付け手段は、前記設定された撮像条件と対応付けられている重み付け係数を前記重み付け係数記憶手段から読み出し、この読み出された重み付け係数を用いて前記生成手段により生成された複数の特徴マップの重み付けを行うことを特徴とする請求項2又は3に記載の画像処理装置。 - 前記重み付け手段により重み付けされた前記複数の特徴マップの特徴分布を統合する統合手段を更に備え、
前記検出手段は、前記統合手段により統合された前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出することを特徴とする請求項1〜4の何れか一項に記載の画像処理装置。 - 画像処理装置を用いた画像処理方法であって、
画像を取得する取得ステップと、
この取得ステップにて取得された画像の複数の特徴の各々について特徴マップを生成する生成ステップと、
前記取得ステップにて取得された画像の撮像環境を特定する撮像環境特定ステップと、
この撮像環境特定ステップにて特定された撮像環境に応じて、前記生成ステップにて生成された複数の特徴マップの重み付けを行う重み付けステップと、
この重み付けステップにて重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出ステップと、
を実行することを特徴とする画像処理方法。 - 画像処理装置のコンピュータを、
画像を取得する取得手段、
この取得手段により取得された画像の複数の特徴の各々について特徴マップを生成する生成手段、
前記取得手段によって取得された画像の撮像環境を特定する撮像環境特定手段、
この撮像環境特定手段により特定された撮像環境に応じて、前記生成手段により生成された複数の特徴マップの重み付けを行う重み付け手段、
この重み付け手段により重み付けされた前記複数の特徴マップの特徴分布に基づいて、前記画像から特定領域を検出する検出手段、
として機能させることを特徴とするプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009204213A JP4862930B2 (ja) | 2009-09-04 | 2009-09-04 | 画像処理装置、画像処理方法及びプログラム |
US12/874,705 US8345986B2 (en) | 2009-09-04 | 2010-09-02 | Image processing apparatus, image processing method and computer readable-medium |
CN2010105402366A CN102014251B (zh) | 2009-09-04 | 2010-09-03 | 图像处理装置和图像处理方法 |
KR1020100086314A KR101155406B1 (ko) | 2009-09-04 | 2010-09-03 | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체 |
TW099129795A TWI416945B (zh) | 2009-09-04 | 2010-09-03 | 影像處理裝置、影像處理方法及電腦可讀取媒體 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009204213A JP4862930B2 (ja) | 2009-09-04 | 2009-09-04 | 画像処理装置、画像処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011236709A Division JP5287965B2 (ja) | 2011-10-28 | 2011-10-28 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011054071A true JP2011054071A (ja) | 2011-03-17 |
JP4862930B2 JP4862930B2 (ja) | 2012-01-25 |
Family
ID=43647816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009204213A Expired - Fee Related JP4862930B2 (ja) | 2009-09-04 | 2009-09-04 | 画像処理装置、画像処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8345986B2 (ja) |
JP (1) | JP4862930B2 (ja) |
KR (1) | KR101155406B1 (ja) |
CN (1) | CN102014251B (ja) |
TW (1) | TWI416945B (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014168141A (ja) * | 2013-02-28 | 2014-09-11 | Nikon Corp | 画像処理装置、撮像装置及び画像処理プログラム |
US9002094B2 (en) | 2011-12-28 | 2015-04-07 | Kenyence Corporation | Image processing device and image processing method |
CN112313477A (zh) * | 2018-06-22 | 2021-02-02 | 马瑞利欧洲公司 | 一种车辆环境映射的方法以及相应的系统、车辆和计算机程序产品 |
JP2021533436A (ja) * | 2019-07-18 | 2021-12-02 | 北京市商▲湯▼科技▲開▼▲発▼有限公司Beijing Sensetime Technology Development Co., Ltd. | 画像処理方法、画像処理装置、電子機器、記憶媒体及びコンピュータプログラム |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130124147A1 (en) * | 2008-08-15 | 2013-05-16 | Hailin Jin | Random Sample Consensus for Groups of Data |
JP5676610B2 (ja) * | 2009-08-12 | 2015-02-25 | トムソン ライセンシングThomson Licensing | 画像シーケンスの関心領域に基づくアーティファクト低減のためのシステム及び方法 |
JP4862930B2 (ja) * | 2009-09-04 | 2012-01-25 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2011160379A (ja) * | 2010-02-04 | 2011-08-18 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2012248070A (ja) * | 2011-05-30 | 2012-12-13 | Sony Corp | 情報処理装置、メタデータ設定方法、及びプログラム |
TWI578305B (zh) * | 2011-05-30 | 2017-04-11 | 宏達國際電子股份有限公司 | 影像縮圖之版面產生方法及系統,及其電腦程式產品 |
CN102436584B (zh) * | 2011-11-04 | 2013-09-25 | 西安电子科技大学 | 基于字典学习的胃部ct图像感兴趣区域检测系统 |
CN103310221B (zh) * | 2012-03-16 | 2016-04-13 | 富士通株式会社 | 图像处理装置、图像处理方法以及设备 |
JP6137800B2 (ja) * | 2012-09-26 | 2017-05-31 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び、画像処理プログラム |
US9330334B2 (en) * | 2013-10-24 | 2016-05-03 | Adobe Systems Incorporated | Iterative saliency map estimation |
US10019823B2 (en) | 2013-10-24 | 2018-07-10 | Adobe Systems Incorporated | Combined composition and change-based models for image cropping |
US9299004B2 (en) | 2013-10-24 | 2016-03-29 | Adobe Systems Incorporated | Image foreground detection |
JP6232982B2 (ja) * | 2013-12-02 | 2017-11-22 | オムロン株式会社 | 画像処理装置、画像処理方法およびプログラム |
KR102115328B1 (ko) * | 2015-06-15 | 2020-05-26 | 한국전자통신연구원 | 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법 |
GB2545661A (en) * | 2015-12-21 | 2017-06-28 | Nokia Technologies Oy | A method for analysing media content |
WO2018099473A1 (zh) * | 2016-12-02 | 2018-06-07 | 北京市商汤科技开发有限公司 | 场景分析方法和系统、电子设备 |
CN109118459B (zh) * | 2017-06-23 | 2022-07-19 | 南开大学 | 图像显著性物体检测方法和装置 |
CN113939826A (zh) * | 2019-05-29 | 2022-01-14 | 株式会社电装 | 地图系统、地图生成程序、存储介质、车辆用装置以及服务器 |
CN110232378B (zh) * | 2019-05-30 | 2023-01-20 | 苏宁易购集团股份有限公司 | 一种图像兴趣点检测方法、系统及可读存储介质 |
US11490078B2 (en) | 2020-12-29 | 2022-11-01 | Tencent America LLC | Method and apparatus for deep neural network based inter-frame prediction in video coding |
CN113139518B (zh) * | 2021-05-14 | 2022-07-29 | 江苏中天互联科技有限公司 | 基于工业互联网的型材切割状态监控方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008053775A (ja) * | 2006-08-22 | 2008-03-06 | Sony Corp | 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理回路 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020154833A1 (en) * | 2001-03-08 | 2002-10-24 | Christof Koch | Computation of intrinsic perceptual saliency in visual environments, and applications |
KR100485059B1 (ko) * | 2001-10-19 | 2005-04-22 | 후지쓰 텐 가부시키가이샤 | 화상표시장치 |
US7006090B2 (en) * | 2003-02-07 | 2006-02-28 | Crytek Gmbh | Method and computer program product for lighting a computer graphics image and a computer |
TWI288293B (en) * | 2005-02-25 | 2007-10-11 | Mei-Chuan Wang | Auto-exposing method of a digital photographic apparatus |
WO2006103835A1 (ja) * | 2005-03-25 | 2006-10-05 | Mitsubishi Denki Kabushiki Kaisha | 画像処理装置、画像表示装置、及び画像表示方法 |
AU2007217794A1 (en) * | 2006-02-16 | 2007-08-30 | Clean Earth Technologies, Llc | Method for spectral data classification and detection in diverse lighting conditions |
WO2008109771A2 (en) * | 2007-03-08 | 2008-09-12 | Second Sight Medical Products, Inc. | Saliency-based apparatus and methods for visual prostheses |
CN101394485B (zh) * | 2007-09-20 | 2011-05-04 | 华为技术有限公司 | 图像生成方法、装置及图像合成设备 |
US20100100548A1 (en) * | 2008-10-16 | 2010-04-22 | Curators Of The University Of Missouri | Storing change features detected from high-resolution, remotely sensed imagery |
JP4862930B2 (ja) * | 2009-09-04 | 2012-01-25 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2009
- 2009-09-04 JP JP2009204213A patent/JP4862930B2/ja not_active Expired - Fee Related
-
2010
- 2010-09-02 US US12/874,705 patent/US8345986B2/en active Active
- 2010-09-03 TW TW099129795A patent/TWI416945B/zh not_active IP Right Cessation
- 2010-09-03 CN CN2010105402366A patent/CN102014251B/zh active Active
- 2010-09-03 KR KR1020100086314A patent/KR101155406B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008053775A (ja) * | 2006-08-22 | 2008-03-06 | Sony Corp | 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理回路 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9002094B2 (en) | 2011-12-28 | 2015-04-07 | Kenyence Corporation | Image processing device and image processing method |
JP2014168141A (ja) * | 2013-02-28 | 2014-09-11 | Nikon Corp | 画像処理装置、撮像装置及び画像処理プログラム |
CN112313477A (zh) * | 2018-06-22 | 2021-02-02 | 马瑞利欧洲公司 | 一种车辆环境映射的方法以及相应的系统、车辆和计算机程序产品 |
JP2021533436A (ja) * | 2019-07-18 | 2021-12-02 | 北京市商▲湯▼科技▲開▼▲発▼有限公司Beijing Sensetime Technology Development Co., Ltd. | 画像処理方法、画像処理装置、電子機器、記憶媒体及びコンピュータプログラム |
JP7041284B2 (ja) | 2019-07-18 | 2022-03-23 | 北京市商▲湯▼科技▲開▼▲発▼有限公司 | 画像処理方法、画像処理装置、電子機器、記憶媒体及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
KR20110025621A (ko) | 2011-03-10 |
JP4862930B2 (ja) | 2012-01-25 |
TW201114255A (en) | 2011-04-16 |
CN102014251B (zh) | 2013-10-16 |
TWI416945B (zh) | 2013-11-21 |
US20110058747A1 (en) | 2011-03-10 |
KR101155406B1 (ko) | 2012-06-20 |
CN102014251A (zh) | 2011-04-13 |
US8345986B2 (en) | 2013-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4862930B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US8509482B2 (en) | Subject tracking apparatus, subject region extraction apparatus, and control methods therefor | |
US8472747B2 (en) | Image composition device, image composition method, and storage medium storing program | |
JP5939705B2 (ja) | 被写体判定装置、被写体判定方法及びプログラム | |
JP5625995B2 (ja) | 被写体追跡装置、被写体追跡方法及びプログラム | |
US8295609B2 (en) | Image processing apparatus, image processing method and computer readable-medium | |
US8355056B2 (en) | Image processing device, imaging device, and image processing program | |
US9020269B2 (en) | Image processing device, image processing method, and recording medium | |
CN102542251B (zh) | 被摄体检测装置以及被摄体检测方法 | |
CN107547789B (zh) | 影像获取装置及其摄影构图的方法 | |
JP2009089220A (ja) | 撮像装置 | |
JP4807582B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
JP5044472B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP5287965B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5375420B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5807695B2 (ja) | 被写体検出装置、被写体検出方法及びプログラム | |
JP2007201679A (ja) | 撮像装置、画像処理方法、及び画像処理プログラム | |
JP6668646B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2014022826A (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
JP2013118471A (ja) | 映像処理装置およびその制御方法 | |
JP2007195097A (ja) | 撮像装置、画像処理方法、及び画像処理プログラム | |
JP2008263320A (ja) | 撮像装置及び制御方法 | |
JP2012009980A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110829 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111011 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111024 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4862930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |