JP2018060440A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2018060440A JP2018060440A JP2016198889A JP2016198889A JP2018060440A JP 2018060440 A JP2018060440 A JP 2018060440A JP 2016198889 A JP2016198889 A JP 2016198889A JP 2016198889 A JP2016198889 A JP 2016198889A JP 2018060440 A JP2018060440 A JP 2018060440A
- Authority
- JP
- Japan
- Prior art keywords
- image
- horizon
- unit
- image processing
- partial region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
以下、図面を参照して本発明の第1の実施形態を詳細に説明する。本実施形態では、画像認識の一例として、画像中に存在する被写体のカテゴリを判別し、カテゴリの領域ごとに分割する意味的領域分割の場合について説明する。被写体のカテゴリには、空と、空以外の、例えば、人体、草木、建物、車、道路といった一般的なC個のカテゴリとする。
次に、ステップS3で、撮像系姿勢取得部103は撮像装置(撮像系)の姿勢を取得する。具体的には、撮像系に取り付けられたジャイロセンサや加速度センサ等の慣性センサの情報を利用して撮像系の姿勢を求める。ここで、ジャイロセンサや加速度センサの値から得られた重力加速度値を[Gx,Gy,Gz]として、図3に示す撮像系の姿勢に関する情報φ,Θ,ψを、以下の数式1により算出する。
なお、ここでは、撮像系姿勢取得部103は、取得した慣性センサに基づいて撮像系の姿勢情報を算出して取得するようにしているが、撮像系(撮像装置)で姿勢情報を算出して、撮像系姿勢取得部103はその算出した姿勢情報を取得するだけとしてもよい。
さらに、地平線/水平線尤度に基づく部分領域特徴量として、注目部分領域に対応する地平線/水平線尤度マップの部分領域内の尤度値および、水平線の上下のいずれに部分領域が存在するかの情報を抽出する。これら複数の種類の特徴量を全て連結し、特徴次元ごとのスケールの違いを吸収するため次元ごとに正規化したものを部分領域特徴量とする。
第1の実施形態では、空境界推定特徴生成部107aが各象限に存在する隣接SPの部分領域特徴量の平均や分散等の統計量を注目SPの部分領域特徴量に連結して、注目SPの空境界推定特徴量とした。しかし、コードブック化された隣接SPの部分領域特徴量の頻度ヒストグラムを注目SPの部分領域特徴量に連結して、空境界推定特徴量としてもよい。ここで、コードブックとは、注目SPの部分領域特徴量をk−meansなどのクラスタリング手法によって得られる代表ベクトルのことを指す。
次に、本発明の第2の実施形態について説明する。第1の実施形態では、画像認識タスクとして意味的領域分割の例を説明したが、本実施形態ではシーン判別の場合について説明する。本実施形態では、静止画像1枚を入力とし、入力画像のシーンのカテゴリを判別することを目的とする。ここでのカテゴリとは、山岳風景、街中の景色、人物ポートレートなど予めユーザが分類しておいた所定のC個のシーンのカテゴリである。なお、第1の実施形態において既に説明をした構成については同一の符号を付し、その説明を省略する。
次に、本発明の第3の実施形態について説明する。本実施形態は、空境界推定方法およびカテゴリ判別方法が第1の実施形態と異なるものである。なお、第1、第2の実施形態で既に説明をした構成については同一の符号を付し、その説明は省略する。
次に、本発明の第4の実施形態について説明する。本実施形態は、空境界推定方法およびカテゴリ判別方法が、第1の実施形態とは異なるものである。なお、第1〜第3の各実施形態において既に説明をした構成については同一の符号を付し、その説明は省略する。
ここで、xiは領域iのカテゴリ、Φuはxiに対するカテゴリ尤度を表すunary potential、ψは隣接する領域間のpairwise potentialである。
本発明は、上記実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形(各実施例の有機的な組合せを含む)が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
102 部分領域分割部
103 撮像系姿勢取得部
104 地平線/水平線位置推定部
105 距離情報取得部
106 部分領域特徴抽出部
107 空境界推定部
108 部分領域判別部
Claims (11)
- 画像を複数の小領域に分割する分割手段と、
前記分割された小領域ごとに特徴量を抽出する抽出手段と、
前記画像を撮像した際の撮像装置の姿勢情報を取得する取得手段と、
前記特徴量と前記姿勢情報とに基づいて前記画像から空領域を推定する推定手段と、
を有することを特徴とする画像処理装置。 - 前記画像に基づいて被写体までの距離情報を取得する第2の取得手段を更に有し、
前記推定手段は、前記距離情報に基づいて前記画像から空領域を推定することを特徴とする請求項1に記載の画像処理装置。 - 前記姿勢情報に基づいて、前記画像から水平線、または地平線を推定する第2の推定手段を更に有し、
前記推定手段は、前記水平線または地平線に基づいて前記画像から空領域を推定することを特徴とする請求項1または2に記載の画像処理装置。 - 前記画像からエッジ情報を抽出する第2の抽出手段を更に有し、
前記推定手段は、前記エッジ情報に基づいて前記画像から空領域を推定することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。 - 前記小領域ごとにカテゴリを判別する判別手段を更に有することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 前記推定手段は、前記小領域ごとに空領域らしさを示すスコアを算出し、
前記判別手段は、前記スコアと前記特徴量とに基づいてカテゴリを判別することを特徴とする請求項5に記載の画像処理装置。 - 前記画像のシーンを判別する第2の判別手段を更に有することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 前記推定手段は、前記小領域ごとに空領域らしさを示すスコアを算出し、
前記判別手段は、前記スコアと前記特徴量とに基づいてシーンを判別することを特徴とする請求項7に記載の画像処理装置。 - 前記抽出手段は、前記画像の画素の画素値に基づいて前記特徴量を抽出することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 画像を複数の小領域に分割するステップと、
前記分割された小領域ごとに特徴量を抽出するステップと、
前記画像を撮像した際の撮像装置の姿勢情報を取得するステップと、
前記特徴量と前記姿勢情報とに基づいて前記画像から空領域を推定するステップと、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1から9のいずれか1項に記載の画像処理装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016198889A JP6855207B2 (ja) | 2016-10-07 | 2016-10-07 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016198889A JP6855207B2 (ja) | 2016-10-07 | 2016-10-07 | 画像処理装置、画像処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018060440A true JP2018060440A (ja) | 2018-04-12 |
JP2018060440A5 JP2018060440A5 (ja) | 2019-11-21 |
JP6855207B2 JP6855207B2 (ja) | 2021-04-07 |
Family
ID=61908595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016198889A Active JP6855207B2 (ja) | 2016-10-07 | 2016-10-07 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6855207B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014179920A (ja) * | 2013-03-15 | 2014-09-25 | Canon Inc | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2015082245A (ja) * | 2013-10-23 | 2015-04-27 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2016099734A (ja) * | 2014-11-19 | 2016-05-30 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
JP2016151955A (ja) * | 2015-02-18 | 2016-08-22 | キヤノン株式会社 | 画像処理装置、撮像装置、距離計測装置、および画像処理方法 |
-
2016
- 2016-10-07 JP JP2016198889A patent/JP6855207B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014179920A (ja) * | 2013-03-15 | 2014-09-25 | Canon Inc | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2015082245A (ja) * | 2013-10-23 | 2015-04-27 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2016099734A (ja) * | 2014-11-19 | 2016-05-30 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
JP2016151955A (ja) * | 2015-02-18 | 2016-08-22 | キヤノン株式会社 | 画像処理装置、撮像装置、距離計測装置、および画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6855207B2 (ja) | 2021-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220138490A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
US10726244B2 (en) | Method and apparatus detecting a target | |
US9824294B2 (en) | Saliency information acquisition device and saliency information acquisition method | |
JP6332937B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6832504B2 (ja) | 物体追跡方法、物体追跡装置およびプログラム | |
CN108537112B (zh) | 图像处理装置、图像处理系统、图像处理方法及存储介质 | |
US10216979B2 (en) | Image processing apparatus, image processing method, and storage medium to detect parts of an object | |
CN105740780B (zh) | 人脸活体检测的方法和装置 | |
JP6330385B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6664163B2 (ja) | 画像識別方法、画像識別装置及びプログラム | |
EP2879080B1 (en) | Image processing device and method, and computer readable medium | |
JP6448325B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20150054824A1 (en) | Object detection method, object detection device, and image pickup device | |
JP6482195B2 (ja) | 画像認識装置、画像認識方法及びプログラム | |
JP6351240B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10706326B2 (en) | Learning apparatus, image identification apparatus, learning method, image identification method, and storage medium | |
JP6351243B2 (ja) | 画像処理装置、画像処理方法 | |
JP6410450B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
CN112613471A (zh) | 人脸活体检测方法、装置及计算机可读存储介质 | |
JP2023115104A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN107341487B (zh) | 一种涂抹字符的检测方法及系统 | |
CN107729863B (zh) | 人体指静脉识别方法 | |
Jindal et al. | Sign Language Detection using Convolutional Neural Network (CNN) | |
JP6855207B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2010097341A (ja) | 入力画像から検出対象物の像を検出する画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191007 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210317 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6855207 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |