JP2019168999A - 撮像装置、撮像方法及びプログラム - Google Patents

撮像装置、撮像方法及びプログラム Download PDF

Info

Publication number
JP2019168999A
JP2019168999A JP2018057077A JP2018057077A JP2019168999A JP 2019168999 A JP2019168999 A JP 2019168999A JP 2018057077 A JP2018057077 A JP 2018057077A JP 2018057077 A JP2018057077 A JP 2018057077A JP 2019168999 A JP2019168999 A JP 2019168999A
Authority
JP
Japan
Prior art keywords
posture
image
specifying
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018057077A
Other languages
English (en)
Inventor
喜博 高山
Yoshihiro Takayama
喜博 高山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2018057077A priority Critical patent/JP2019168999A/ja
Priority to CN201910207418.2A priority patent/CN110300254A/zh
Priority to US16/360,941 priority patent/US10762661B2/en
Publication of JP2019168999A publication Critical patent/JP2019168999A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/146Aligning or centring of the image pick-up or image-field
    • G06V30/1463Orientation detection or correction, e.g. rotation of multiples of 90 degrees
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6815Motion detection by distinguishing pan or tilt from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Abstract

【課題】 撮像手段の撮影時における姿勢を簡単かつ適切に特定できるようにすることである。【解決手段】 撮像装置(画像処理装置)の制御部1は、撮像部7より撮影された画像を取得して、その画像を第1の姿勢(例えば、横撮り姿勢、又は縦撮り姿勢)の向きに対応する被写体を認識する画像認識処理を行うことにより画像内に所定の被写体が存在しているか否かを判別し、その判別結果に基づいて、撮像装置(撮像部7)の撮影時における姿勢が、第1の姿勢であるか第2の姿勢であるかを特定する。【選択図】 図1

Description

本発明は、撮像手段の撮影時における姿勢を特定する撮像装置、撮像方法及びプログラムに関する。
コンパクトカメラなどの撮像装置においては、被写体に対して撮像装置の向きが大きく変えられた場合、例えば、横撮り姿勢から縦撮り姿勢に変えられた場合、又は縦撮り姿勢から横撮り姿勢に変えられた場合に、その画像の再生時には、撮像装置の撮影時における姿勢に応じて、被写体が正しい向きとなるようにその画像を回転して表示するようにしている。すなわち、被写体を縦構図で撮影する場合には縦撮り姿勢で撮影が行われ、被写体を横構図で撮影する場合には横撮り姿勢で撮影が行われるが、撮像装置は、この撮影時の姿勢を姿勢検出センサが検出すると、この検出した傾き角に基づいて撮影時の姿勢を特定すると共に、その姿勢を示す情報をその画像ファイルのメタデータに付加する。そして、画像再生時には、この姿勢を示す情報を読み出して撮影時の姿勢を特定し、その姿勢の向きに被写体が向くように画像を回転して表示(横長表示又は縦長表示)するようにしている。
この場合、姿勢検出センサによる傾き角と、予め設定されている所定の閾値とを比較し、その比較結果に基づいて、撮影時の姿勢を特定するようにしているが、この所定の閾値は、横撮り姿勢であるか縦撮り姿勢であるかを判別するために基準となる閾値で、傾き角がその閾値の前後、つまり、閾値付近の場合には姿勢を正確に判別することが困難なものとなる。一方、姿勢検出センサを使用しないで撮影時の姿勢を特定する技術として、従来、例えば、被写体を撮影した画像と、撮影者自身を撮影した画像に基づいて、横撮り姿勢であるか縦撮り姿勢であるかを判別するようにした技術が知られている(特許文献1参照)。
特開2009−302910号公報
上述した特許文献の技術にあっては、撮影者自身を撮影した画像が必要になり、被写体が横撮り姿勢なのか縦撮り姿勢なのかの判別が煩雑であった。
本発明の課題は、撮像手段の撮影時における姿勢を簡単かつ適切に特定できるようにすることである。
上述した課題を解決するために本発明の画像処理装置は、
撮像手段の撮影時における姿勢が、各々向きの異なる第1の姿勢であるか第2の姿勢であるかを特定する特定手段を備えた画像処理装置であって、
前記撮像手段によって撮影された画像を取得する取得手段と、
前記取得手段によって取得された画像を前記第1の姿勢の向きに対応する被写体を認識する画像認識処理を行うことにより前記画像内に所定の被写体が存在しているか否かを判別する第1の判別手段と、
を備え、
前記特定手段は、前記第1の判別手段による判別結果に基づいて、前記撮像手段の撮影時における姿勢が前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
ことを特徴とする。
また、上述した課題を解決するために本発明の画像処理装置は、
撮像手段の撮影時における姿勢が、各々向きの異なる第1の姿勢であるか第2の姿勢であるかを特定する特定手段を備えた画像処理装置であって、
前記撮像手段によって撮影された半天球画像を取得する取得手段と、
前記取得手段によって取得された半天球画像の周辺部領域及び中心部領域のうち、前記第1の姿勢に対応付けられている何れかの領域の被写体を認識する画像認識処理を行うことにより当該領域に所定の被写体が存在しているか否かを判別する第1の判別手段と、
を備え、
前記特定手段は、前記第1の判別結果に基づいて、前記撮像手段の撮影時における姿勢が第1の姿勢であるか第2の姿勢であるかを特定する、
ことを特徴とする。
本発明によれば、撮像手段の撮影時における姿勢を簡単かつ適切に特定することができる。
撮像装置として適用したコンパクトカメラの基本的な構成要素を示したブロック図。 (1)〜(3)は、撮像装置の撮影時における姿勢を特定する方法を説明するための具体例を示した図。 (1)〜(3)は、撮像装置の撮影時における姿勢を特定する方法を説明するための他の具体例を示した図。 撮影モードに切り替えられた際に実行開始される撮像装置の動作(本実施形態の特徴的な動作)を説明するためのフローチャート。 図4のステップA7(被写体による姿勢特定方法)を詳細に説明するためのフローチャート。 (1)〜(3)は、第2実施形態において、魚眼レンズ(超広角レンズ)を備えた撮像装置の撮影時における姿勢が第1の姿勢の場合を説明するための図。 (1)〜(3)は、第2実施形態において、魚眼レンズを備えた撮像装置の撮影時における姿勢が第2の姿勢の場合を説明するための図。 第2実施形態において、図4のステップA7(被写体による姿勢特定方法)を詳細に説明するためのフローチャート。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
(第1実施形態)
まず、図1〜図5を参照して本発明の第1実施形態を説明する。
第1実施形態は、撮像装置(画像処理装置)としてコンパクトカメラに適用した場合を例示したもので、図1は、撮像装置(コンパクトカメラ)の基本的な構成要素を示したブロック図である。
制御部1は、電源部(二次電池)2からの電力供給によって動作し、記憶部3内に格納されている各種のプログラムに応じてこの撮像装置の全体動作を制御するもので、この制御部1には図示しないCPU(中央演算処理装置)やメモリなどが設けられている。記憶部3は、例えば、ROM、フラッシュメモリなどを有する構成で、図4及び図5に示した動作手順に応じて第1実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ3a、フラグなどのデータを一時記憶するワークメモリ3b、撮影された画像を記憶保存する画像メモリ3cなどを有している。
記憶部3は、例えば、SDカード、USBメモリなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。操作部4は、図示省略しているが、電源オン/オフを行う電源キー、撮像モードと再生モードとを切り替えるモードキー、撮像開始を指示するレリーズキー、ズームレバー、露出やシャッタースピードなどの撮像パラメータを任意に設定する設定キーなどを備えている。表示部5は、高精細液晶ディスプレイなどで、撮像画像(ライブビュー画像)をリアルタイムに表示するモニタ画面(ライブビュー画面)となったり、撮影済み画像を再生する再生画面となったりする。無線通信部6は、Bluetooth(登録商標)規格の短距離無線通信機能、又は無線LAN機能を構成する。
撮像部7は、被写体を高精細に撮影可能なカメラ部を構成するもので、図示省略したが、通常の標準レンズ、ズームレンズ、フォーカスレンズ(合焦レンズ)、絞り・シャッタ、撮像素子を有する構成で、制御部1からの指示に応じて、自動焦点調整(AF)、自動露出調整(AE)、撮影開始/終了などを行う。この撮像部7によって光電変換された画像信号(アナログ値の信号)は、デジタル変換されてライブビュー画像として表示部2にモニタ表示される。制御部1は、撮影された画像に対して手ブレ補正、ホワイトバランス、シャープネスなどの画像処理を施した後、所定のサイズに圧縮して記憶部3の画像メモリ(例えば、SDカード)3cに記録保存させる。
傾き検出部8は、各種のセンサとして、例えば、3軸(X軸、Y軸、Z軸)の加速度センサ・ジャイロセンサを有し、加速度、傾き、方向などを検出する構成で、各センサ特性の違いに応じて、ゆっくりとした動き及び素早い動きなど、あらゆる動作に対応することが可能な三次元モーションセンサであり、撮像装置(撮像部7)の撮影時における姿勢(撮影時の姿勢)を検出するためのセンサとして使用される。すなわち、互いに直交する3軸を回転軸とする回転角度を検出することにより制御部1は、撮影時の姿勢として重力方向に対する傾き角を検出すると共に、X軸、Y軸、Z軸の加速度成分を比較して大きい方を傾き方向として検出する。なお、撮像装置は、その全体が長方形の薄型筐体によって構成されており、例えば、その筐体の短辺の方向を3軸のX軸方向、筐体の長辺の方向を3軸のY軸方向、筐体の厚さ方向を3軸のZ軸方向としている。なお、X軸・Y軸・Z軸回りの回転角度を、例えば、オイラー角で表現すると、Y軸回りの傾き角は、ロール角、X軸回りの傾き角は、ピッチ角、Z軸回りの傾き角は、ヨー角となる。
制御部1は、傾き検出を部8による傾き角に基づいて、撮像装置(撮像部7)の撮影時における姿勢(撮影時の姿勢)が第1の姿勢であるか第2の姿勢であるかを特定するようにしている。すなわち、第1の姿勢を特定するための角度範囲、第2の姿勢を特定するための角度範囲が設定されている状態において、制御部1は、傾き検出部8による傾き角が、何れの角度範囲にあるかを判別し、その判別結果に基づいて、撮影時の姿勢が第1の姿勢であるか第2の姿勢であるかを特定するようにしている。ここで、第1実施形態において「第1の姿勢」とは、横構図の画像を得る横撮り姿勢を意味し、「第2の姿勢」とは、縦構図の画像を得る縦撮り姿勢を意味しており、撮像装置の光軸が水平向きとなるように構えた状態においては、Z軸回りの回転角度(傾き角)に基づいて、撮影時の姿勢が第1の姿勢(横撮り姿勢)であるか第2の姿勢(縦撮り姿勢)であるかを特定する。すなわち、長方形の筐体の撮像装置が横長に把持されている状態、つまり、その筐体の長辺方向(Y軸方向)が左右方向となる姿勢を、第1の姿勢(横撮り姿勢)として特定し、撮像装置が縦長に把持されている状態、つまり、筐体の短辺方向(X軸方向)が左右方向となる姿勢を、第2の姿勢(縦撮り姿勢)として特定する。
この第1の姿勢と第2の姿勢の中間には、横撮り姿勢と縦撮り姿勢とを判別するための基準値(境界閾値)が設定されている。制御部1は、この所定の閾値(境界閾値)と、傾き検出部8による傾き角と比較し、その比較結果に基づいて、撮影時の姿勢が第1の姿勢であるか第2の姿勢であるかを特定する。以下、傾き検出部8による傾き角に基づいて、撮影時に姿勢を特定する方法を「傾き角による姿勢特定方法」と称すると、第1実施形態では、更に、「被写体による姿勢特定方法(後述する)」が備えられており、この「傾き角による姿勢特定方法」と、「被写体による姿勢特定方法」の何れかを使用して、撮影時の姿勢を特定するようにしている。
この2つの特定方法の何れを使用するかは、傾き検出部8による傾き角が、所定の角度範囲にあるか否かに基づいて選択するようにしている。この「所定の角度範囲」は、撮影時の姿勢を特定する方法を選択するための基準として予め設定されたもので、制御部1は、この所定の角度範囲(選択基準範囲)を参照し、傾き検出部8による傾き角が、この基準範囲になければ、「傾き角による姿勢特定方法」を選択し、基準範囲にあれば、「被写体による姿勢特定方法」を選択するようにしている。ここで、上述した所定の閾値(境界閾値)を“θ”とし、その前後の所定角度を“α”とすると、第1実施形態では、選択基準範囲を“θ±α”、つまり、境界閾値付近の角度範囲としている。
例えば、“θ=45°”、“α=10°”とすると、上述の選択基準範囲、つまり、境界閾値付近の角度範囲は、“45°±10°”の角度範囲となる。この“α”の値は、ユーザ操作によって任意に設定可能となっており、例えば、“α=5”に変更されると、選択基準範囲は、“45°±5°”となってその角度範囲は狭くなり、“α=15”に変更されると、“45°±15°”となってその角度範囲は広くなる。なお、撮像装置を構える際の持ち方やユーザの癖などを考慮して、“α”の値を任意に設定するようにしているが、その際、3軸共に同じ値に設定するようにしてもよいが、ユーザの癖などを考慮して、若干異なる値に設定するようにしてもよい。
なお、上述した例は、姿勢特定方法を選択するための基準となる角度範囲(選択基準範囲)を、境界閾値付近の角度範囲とした場合を示したが、選択基準範囲は、これに限らない。例えば、第1の姿勢を特定するための角度範囲を“0°±20°”、第2の姿勢を特定するための角度範囲を“90°±20°”とした場合、つまり、傾き検出部8による傾き角が第1の姿勢側の角度範囲“0°±20°内となった際に第2の姿勢から第1の姿勢への切り替え、第2の姿勢側の角度範囲“90°±20°内となった際に第1の姿勢から第2の姿勢への切り替えが行われたものとする場合に、選択基準範囲を、第1の姿勢側と第2の姿勢側の角度範囲の間、つまり、“20°〜70°”の角度範囲としてもよい。
図2は、「被写体による姿勢特定方法」を説明するための具体例を示した図である。
図2(1)は、撮影時の姿勢として、撮像装置が略斜め45°の角度に傾いている状態、つまり、傾き検出部8による傾き角が第1の姿勢を特定するための角度範囲にあるのか第2の姿勢を特定するための角度範囲にあるのかを特定することが困難な角度範囲(例えば、境界閾値45°付近の角度範囲として“45°±10°”)の状態において、文字列を被写体として撮影した場合を例示した図である。
図2(2)は、図2(1)のように斜めに傾いている状態の画像を時計方向に回転させて第1の姿勢(横撮り姿勢)に対応するように横向きに変えた場合の画像を示している。制御部1は、この第1の姿勢の向きに対応する被写体を認識する画像認識処理を実行する。例えば、第1の姿勢(横撮り姿勢)に対応するように横向きに変えた横向き画像に対してその一方向(横方向)に逐次走査(シングル走査)する簡易な画像認識処理(文字認識処理)を実行する。その結果、第1の姿勢の向きに対応する被写体として認識した文字の数を計数する。図示の例は、20文字中18文字を認識することができた場合を示している。
図2(3)は、図2(1)の画像(斜め45°の角度で撮影した画像)を反時計方向に回転させて第2の姿勢(縦撮り姿勢)に対応するように縦向きに変えた状態の画像を示している。制御部1は、この第2の姿勢の向きに対応する被写体を認識する画像認識処理を実行する。例えば、第2の姿勢(縦撮り姿勢)に対応するように縦向きに変えた縦向き画像に対してその一方向(縦方向)に逐次走査(シングル走査)する簡易な画像認識処理(文字認識処理)を実行する。その結果、第2の姿勢の向きに対応する被写体として認識した文字の数を計数する。図示の例では、20文字中12文字を認識することができた場合を示している。そして、制御部1は、この横撮り姿勢と縦撮り姿勢に対応する各文字認識処理で認識した文字数を比較し、その比較結果に基づいて、撮影時の姿勢を特定するようにしている。
図3は、「被写体による姿勢特定方法」を説明するための他の具体例を示した図である。
ここで、図3は、被写体として複数の人物とした場合が異なり、その他は、図2の場合と基本的には同様である。すなわち、図3(1)は、撮像部7が所定の閾値(境界閾値)の斜め45°の角度に傾いている状態で、複数の人物を被写体として撮影した場合を例示したもので、図2(1)に示した場合と同様に、撮影時の姿勢を特定することが困難な場合である。
図3(2)は、図2(1)の場合と同様に図3(1)の画像(斜め45°の角度で撮影した画像)を時計方向に回転させて第1の姿勢(横撮り姿勢)に対応するように横向きに変えた状態の画像を示している。制御部1は、この第1の姿勢の向きに対応する被写体を認識する画像認識処理を実行する。例えば、第1の姿勢(横撮り姿勢)に対応するように横向きに変えた横向き画像に対してその一方向(横方向)に逐次走査(シングル走査)する簡易な画像認識処理(顔検出処理)を実行する。その結果、第2の姿勢の向きに対応する被写体として認識した顔の人数を計数する。図示の例は、3人中1人を認識することができた場合を示している。
図3(3)は、図2(1)の画像(斜め45°の角度で撮影した画像)を反時計方向に回転させて第2の姿勢(縦撮り姿勢)に対応するように縦向きに変えた状態を示している。制御部1は、この第2の姿勢の向きに対応する被写体を認識する画像認識処理を実行する。例えば、第2の姿勢(縦撮り姿勢)に対応するように縦向きに変えた縦向き画像に対してその一方向(縦方向)に逐次走査(シングル走査)する簡易な画像認識処理(顔検出処理)を実行する。その結果、第2の姿勢の向きに対応する被写体として認識した顔の人数を計数する。図示の例は、3人中3人を認識することができた場合を示している。そして、制御部1は、横撮り姿勢、及び縦撮り姿勢に対応する各顔検出処理によって認識した人数を比較し、その比較結果に基づいて、撮影時の姿勢を特定する。
次に、第1実施形態における撮像装置の動作概念を図4及び図5に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体の他に、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。なお、図4及び図5は、撮像装置の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図4及び図5のフローから抜けた際には、全体動作のメインフロー(図示省略)に戻る。
図4は、撮影モードに切り替えられた際に実行開始される撮像装置の動作(本実施形態の特徴的な動作)を説明するためのフローチャートである。
まず、制御部1は、撮像部7から取得した画像をライブビュー画像としてモニタ表示(ステップA1)させると共に、AF(自動焦点調整)処理及びAE(自動露出調整)処理を行う(ステップA2)。そして、傾き検出部8から検出信号を取得して(ステップA3)、撮像装置(撮像部7)の傾き角を算出する処理(ステップA4)を行うと共に、姿勢特定方法を選択するために基準となる角度範囲(選択基準範囲)、例えば、境界閾値45°付近の角度範囲として“45°±10°”を取得する(ステップA5)。そして、傾き角は、選択基準範囲の“45°±10°”内であるか否かを判別する(ステップA6)。
ここで、傾き角が選択基準範囲でなければ(ステップA6でNO)、傾き角による姿勢特定方法を選択し、その方法にしたがった特定処理を実行する(ステップA8)。すなわち、第1の姿勢(横撮り姿勢)と第2の姿勢(縦撮り姿勢)との角度範囲を特定するための所定の閾値として、例えば、境界閾値45°が設定されているものとすると、この所定の閾値を境にして、傾き検出部8による傾き角は、横撮り姿勢側(0°側)の角度範囲であるか、縦撮り姿勢側(90°側)の角度範囲であるかに基づいて、横撮り姿勢であるか縦撮り姿勢であるかを特定する処理を実行する。一方、傾き検出部8による傾き角が選択基準範囲であれば(ステップA6でYES)、被写体による姿勢特定方法を選択し、その方法にしたがった特定処理を実行する(ステップA7)。
図5は、図4のステップA7(被写体による姿勢特定方法)を詳細に説明するためのフローチャートである。
まず、制御部1は、ユーザ操作によって予め任意に設定されている所定の被写体の種類(本実施形態においては、文字列、又は人物の顔)を取得する(ステップB1)。いま、所定の被写体の種類として“文字列”が設定されている場合には、図2(1)のように斜めに傾いている状態で撮影された画像を横向き画像(図2(2)参照)に変える処理(ステップB2)を行った後、この横向き画像を横方向に逐次走査する文字認識処理を実行する。即ち、横向き画像に対応する被写体を文字認識処理し(ステップB3)、認識した文字の数を計数する(ステップB4)。同様に、所定の被写体の種類として人物の顔が設定されている場合には、図3(1)のように斜めに傾いている状態で撮影された画像を横向き画像(図3(2)参照)に変えた後(ステップB2)、この横向き画像を横方向に逐次走査する顔検出処理を実行する。即ち、横向き画像に対応する被写体を顔検出処理し(ステップB3)、顔を認識した人数を計数する(ステップB4)。
次に、図2(1)又は図3(1)に示すように斜めに傾いている状態で撮影された画像を回転させて第2の姿勢(縦撮り姿勢)に対応するように縦向き画像(図2(3)又は図3(3)参照)に変える処理(ステップB5)を行った後、この縦向き画像を縦方向に逐次走査する文字認識処理又は顔検出処理を実行し(ステップB6)、認識した所定の被写体(文字数又は人数)を計数する(ステップB7)。
このように横向き画像及び縦向き画像を、異なる方向(横方向又は縦方向)から別々に逐次走査する画像認識処理(文字認識処理又は顔検出処理)を実行することによって認識した所定の被写体(文字数又は人数)を計数すると、この各認識処理で得られた処理結果(所定の被写体の数)を比較し、その比較結果に基づいて、撮像装置(撮像部7)の撮影時における姿勢を特定する(ステップB8〜B13)。
すなわち、まず、被写体の数(文字数又は人数)を比較(ステップB8)した結果、両者の被写体の数は相違するかを判別する(ステップB9)。ここで、被写体の数が相違していれば(ステップB9でYES)、被写体の数が多い方に対応する向きを、撮影時の姿勢として特定する。例えば、図2(2)に示すように横向き画像に対して横方向に逐次走査した結果、18文字を認識した場合と、図2(3)に示すように縦向き画像に対して縦方向に逐次走査した結果、12文字を認識した場合とであれば、文字数の多い方の向き(横向き)に対応する横撮り姿勢(第1の姿勢)が撮影時の姿勢として特定される。
同様に、図3(2)に示すように横向き画像に対して横方向に逐次走査した結果、1人を認識した場合と、図3(3)に示すように縦向き画像に対して縦方向に逐次走査した結果、3人を認識した場合とであれば、人数の多い方の向き(縦向き)に対応する縦撮り姿勢(第2の姿勢)が撮影時の姿勢として特定される。一方、両者の被写体の数が同じであれば(ステップB9でNO)、ユーザ操作によって撮影時の姿勢を選択可能とする特定処理に移る(ステップB11)。
このようにして撮影時の姿勢が特定されると(図4のステップA7、A8)、レリーズボタンが操作されたかを判別し(ステップA9)、レリーズボタンが操作されるまで上述のステップA1に戻り、以下、上述の動作を繰り返す。いま、レリーズボタンが操作されると(ステップA9でYES)、その操作時の画像を取得し、現像などの画像処理を施して画像ファイル(例えば、Exifファイル)を生成する(ステップA10)。そして、レリーズボタンの操作時に特定した撮影時の姿勢を示す情報を、その画像ファイルのExif情報(メタデータ)に追加記憶させる(ステップA11)。その後、この画像ファイルを圧縮して画像メモリ(例えば、SDカード)3cに記憶保存(ステップA12)させた後、撮影モードが終了したか、つまり、再生モードなどの他のモードに切り替えられたかを判別し(ステップA13)、撮影モードのままであれば上述のステップA1に戻り、以下、上述の動作を繰り返す。
他方、再生モードに切り替えられた状態において、再生対象の画像が選択されると、制御部1は、再生対象として選択された画像ファイルのExif情報(メタデータ)から姿勢を示す情報を読み出すことにより撮影時の姿勢を特定し、その姿勢の向きに被写体が向くように画像を回転表示(横長表示又は縦長表示)させるようにしている。
なお、上述した図5の例では、横向き画像を横方向に逐次走査する文字認識処理(ステップB2〜B4)を実行した後、縦向き画像を縦方向に逐次走査する文字認識処理(ステップB5〜Bや)を実行するようにしたが、上述のステップB4の段階で撮影時の姿勢を特定可能となった時、すなわち、認識した被写体の数が所定数以上であれば、その時点で撮影時の姿勢を特定するようにしてもよい。また、ステップB2からステップB4とステップB5からステップB7は入れ替えてもよい。
以上のように、第1実施形態において撮像装置の制御部1は、撮影された画像を取得して、その画像を第1の姿勢の向きに対応する被写体を認識する画像認識処理を行うことにより画像内に所定の被写体が存在しているか否かを判別し、その判別結果に基づいて、撮像装置(撮像部7)の撮影時における姿勢(撮影時の姿勢)が、第1の姿勢であるか第2の姿勢であるかを特定するようにしたので、例えば、一方向にシングル走査するという簡易な画像認識処理を実行するだけで、撮像部7の姿勢を簡単かつ適切に特定することが可能となる。
制御部1は、撮影された画像を第1の姿勢の向きに対応する被写体を認識する画像認識処理を行うことにより画像内に所定の被写体が存在しているか否かを判別した第1の判別結果と、その画像を第2の姿勢の向きに対応する被写体を認識する画像認識処理を行うことにより画像内に所定の被写体が存在しているか否かを判別した第2の判別結果に基づいて、撮影時の姿勢が第1の姿勢であるか第2の姿勢であるかを特定するようにしたので、簡易な画像認識処理を組合せることにより撮影時の姿勢をより確実に特定することが可能となる。
制御部1は、上述した第1の判別結果(所定の被写体の数)と、上述した第2の判別結果(所定の被写体の数)とを比較し、その比較結果に基づいて、第1の姿勢であるか第2の姿勢であるかを特定するようにしたので、撮影時の姿勢の向きに被写体が向いている数を基に、撮影時の姿勢を特定することができ、その姿勢をより確実に特定することが可能となる。
制御部1は、傾き検出部8による傾き角が、予め設定されている所定の角度範囲にあれば、上述した第1の判別結果に基づいて、第1の姿勢であるか第2の姿勢であるかを特定するようにしたので、姿勢の特定を常に行うものに比べて処理負担が軽減して消費電力を抑制することができる。
制御部1は、傾き角による姿勢特定方法と、被写体による姿勢特定方法のうち、その何れかの方法を使用して撮影時の姿勢を特定するようにしたので、特定方法を適宜使い分けることが可能となる。
制御部1は、傾き検出部8による傾き角が、所定の角度範囲にあれば、第1の特定方法を使用し、所定の角度範囲になければ、第2の特定方法を使用するようにしたので、傾き角に応じて特定方法を使い分けることが可能となる。
第1の特定方法は、撮影された画像を第1の姿勢の向きに対応する被写体を認識する画像認識処理を行うことにより画像内に所定の被写体が存在しているか否かを判別した第1の判別結果と、その画像を第2の姿勢の向きに対応する被写体を認識する画像認識処理を行うことにより画像内に所定の被写体が存在しているか否かを判別した第2の判別結果に基づいて、撮影時の姿勢が第1の姿勢であるか第2の姿勢であるかを特定するようにしたから、姿勢の特定がより確実なものとなる。
所定の角度範囲を示す情報をユーザ操作によって任意に設定可能としたので、例えば、撮像装置を構える際の持ち方やユーザの癖などを考慮した所定の角度範囲の設定が可能となる。
第1の姿勢は、横構図の画像を得る横撮り姿勢であり、第2の姿勢は、縦構図の画像を得る縦撮り姿勢であるので、撮影時の姿勢に被写体の横縦の向きを合わせることが可能となる。
なお、上述した第1実施形態においては、撮影された画像を第1の姿勢の向きに対応する一方向に逐次走査する画像認識処理と、第2の姿勢の向きに対応する一方向に逐次走査する画像認識処理を行い、その両者の処理結果に基づいて撮影時の姿勢を特定するようにしたが、第1の姿勢、又は第2の姿勢に対応する方向に逐次走査する画像認識処理のみを行い、その処理結果だけから撮影時の姿勢を特定するようにしてもよい。
上述した第1実施形態においては、図5に示した被写体による姿勢特定方法において、図2(1)又は図3(1)に示すように斜めに傾いている状態で撮影された画像を回転させることにより、第1の姿勢(横撮り姿勢)に対応するように横向き画像(図2(2)又は図3(2)参照)に変えたり、第2の姿勢(縦撮り姿勢)に対応するように縦向き画像(図2(3)又は図3(3)参照)に変えたりした後、一方向(横方向又は縦方向)に逐次走査する画像認識処理を行うようにしたが、斜めに傾いている画像を回転してその向きを変えず、一方向(その斜めに平行する方向、又は斜めに直交する方向)に逐次走査する画像認識処理を行うようにしてもよい。
上述した実施形態においては、第1の姿勢と第2の姿勢の向きに対応する画像認識処理を実行した結果、両者の被写体の数が同じであれば(図5のステップB9でNO)、ユーザ操作によって撮影時の姿勢を選択可能とする特定処理(ステップB11)に移るようにしたが、これに限らず、例えば、横向き画像又は縦向き画像の向きを所定角度(例えば、±2〜3°)微調整した後に、再度、上述のステップB3、B4、B6、B7と同様の画像認識処理を行うようにしてもよい。この場合、再認識処理を実行可能な回数に限度(例えば、2回)を設けるようにしてもよい。また、両者の被写体の数が同じであれば(図5のステップB9でNO)、図4のステップA8に移り、傾き角による姿勢特定方法を選択して実行するようにしてもよい。
上述した第1実施形態においては、所定の被写体として、文字列、人物の顔を例示したが、これに限らず、建物、樹木などを所定の被写体としてもよい。また、ステップB1で利用される所定の被写体の種類は、画像認識によって自動で設定するような構成にしてもよい。
(第2実施形態)
以下、この発明の第2実施形態について図6〜図8を参照して説明する。
なお、上述した第1実施形態は、通常の標準レンズを備えた撮像装置に適用した場合を示したが、この第2実施形態は、魚眼レンズ(超広角レンズ)を備えた撮像装置に適用した場合を示したものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第2実施形態の特徴部分を中心に説明するものとする。
図6(1)〜(3)は、魚眼レンズ(超広角レンズ)10を備えた撮像装置の撮影時の姿勢が第1の姿勢の場合を説明するための図である。図7(1)〜(3)は、魚眼レンズ10を備えた撮像装置の撮影時の姿勢が第2の姿勢の場合を説明するための図である。図6(1)、図7(1)は、撮影時の姿勢を示した図で、図6(1)は、魚眼レンズ10の光軸方向が重力方向に対して略直交する状態(光軸が水平向き状態:第1の姿勢)を示し、図7(1)は、魚眼レンズ10の光軸方向を天頂に向けた状態、つまり、重力方向に対して略逆方向となる状態(光軸が垂直向き状態:第2の姿勢)を示している。
制御部1は、傾き検出部8の検出結果に基づいて、撮影時の姿勢を特定するようにしている。すなわち、撮像装置の光軸が水平向きの状態となる姿勢(第1の姿勢)であるか、光軸が垂直向きの状態となる姿勢(第2の姿勢)であるかを特定する。なお、図中、破線で示した半天球は、画角が略180゜という魚眼レンズ10の撮影範囲を示している。図6(2)、図7(2)は、魚眼レンズ10によって撮影された半天球画像を示し、図6(2)は、第1の姿勢で撮影された半天球画像、図7(2)は、第2の姿勢で撮影された半天球画像を示している。なお、魚眼レンズ10の撮影画像は、円形の半天球画像(魚眼画像)となるが、射影方式を採用しているため、その画像の中心部から端部(周辺部)の方に向かうほど、大きく歪んだものとなる。
図6(3)は、撮像部7の光軸が水平向き状態となる第1の姿勢で撮影された半天球画像において、その画像の中心部の領域(図中、破線を付して示した領域)に対して画像認識処理が行われることを示した図である。この画像認識処理は、半天球画像の中心部の領域に所定の被写体(例えば、人物)が存在しているか否かを判別する処理である。このように画像認識処理の対象領域として、第1の姿勢と画像中心部の領域とを対応付けるようにしている。この画像認識処理の結果、画像の中心部の領域(画像の中心部の領域)に所定の被写体が存在していれば、撮影時の姿勢は、第1の姿勢であると判断する。
図7(3)は、撮像部7の光軸が垂直向き状態となる第2の姿勢で撮影された半天球画像において、その画像の周辺部の領域(図中、破線を付して示した領域)に対して画像認識処理が行われることを示した図である。この画像認識処理は、半天球画像の周辺部の領域に所定の被写体(例えば、人物)が存在しているか否かを判別する処理である。このように画像認識処理の対象領域として、第2の姿勢と画像周辺部の領域とを対応付けるようにしている。その結果、画像の周辺部の領域に所定の被写体が存在していれば、撮影時の姿勢は、図7(1)に示す姿勢(第2の姿勢)であると判断する。
図8は、第2実施形態において、図4のステップA7(被写体による姿勢特定方法)を詳細に説明するためのフローチャートである。
まず、制御部1は、予め任意に設定されている所定の被写体の種類(例えば、建物、又は人物)を取得する(ステップC1)。そして、半天球画像を取得し、その中心部の領域を画像認識処理の対象領域として指定し(ステップC2)、この指定領域内に所定の被写体が存在しているか否かを判別する画像認識処理を行う(ステップC3)。次に、半天球画像の周辺部の領域を画像認識処理の対象領域として指定し(ステップC4)、この指定領域内に所定の被写体が存在しているか否かを判別する画像認識処理を行う(ステップC5)。
そして、上述のステップC3、C5による処理結果に基づいて、撮影時の姿勢は、撮像部7の光軸が水平向きの状態となる姿勢(第1の姿勢)であるか、光軸が垂直向きの状態となる姿勢(第2の姿勢)であるかを特定する(ステップC6)。例えば、半天球画像の中心部の領域には所定の被写体が存在しているが、半天球画像の周辺部の領域には所定の被写体が存在していなければ、撮影時の姿勢は、第1の姿勢であると特定する。逆に、半天球画像の周辺部の領域には所定の被写体が存在しているが、半天球画像の中心部の領域には所定の被写体が存在していなければ、撮影時の姿勢は、第2の姿勢であると特定する。
なお、この場合においても第1実施形態と同様に、認識した所定の被写体の数を計数し、その数の多い方を撮影時の姿勢として特定するようにしてもよい。また、両方の領域に所定の被写体が存在していたり、存在していなかったりした場合には、ユーザ操作による選択を受け付けて撮影時の姿勢を特定するようにしてよい。また、ステップC1で利用される所定の被写体の種類は、画像認識によって自動で設定するような構成にしてもよい。
また、ステップC3の段階で撮影時の姿勢を特定可能となった時、すなわち、認識した被写体の数が所定数以上であれば、その時点で撮影時の姿勢を特定するようにしてよい。また、ステップC2からステップC3とステップC4からステップC5は入れ替えてもよい。
以上のように、第2実施形態において撮像装置の制御部1は、撮影された半天球画像の周辺部領域及び中心部領域のうち、第1の姿勢に対応付けられている何れかの領域を逐次走査する画像認識処理を行うことにより当該領域に所定の被写体が存在しているか否かを判別し、その判別結果に基づいて、撮影時の姿勢が第1の姿勢であるか第2の姿勢であるかを特定するようにしたので、撮影時の姿勢に対応する一部の領域を走査するという簡易な画像認識処理を実行するだけで、撮影時の姿勢を簡単かつ適切に特定することが可能となる。
制御部1は、撮影された半天球画像の周辺部領域及び中心部領域のうち、第1の姿勢に対応付けられている何れかの領域(一方の領域)を逐次走査する画像認識処理を行うことにより画像内に所定の被写体が存在しているか否かを判別した第1の判別結果と、第2の姿勢に対応付けられている何れかの領域(他方の領域)を逐次走査する画像認識処理を行うことにより当該領域に所定の被写体が存在しているか否かを判別した第2の判別結果に基づいて、第1の姿勢であるか第2の姿勢であるかを特定するようにしたので、簡易な画像認識処理の組合せにより撮影時の姿勢をより確実に特定することが可能となる。
制御部1は、半天球画像の中央部領域に所定の被写体が存在していることが判別された場合には、撮像部7の光軸が水平向き状態となる第1の姿勢であると特定し、半天球画像の周辺部領域に所定の被写体が存在していることが判別された場合には、撮像部7の光軸が垂直向き状態となる第2の姿勢であると特定するようにしたので、魚眼レンズ(超広角レンズ)10を使用した撮影に適した姿勢を適切に特定することができる。
なお、上述した第2実施形態においては、撮影された半天球画像の周辺部領域及び中心部領域のうち、第1の姿勢に対応付けられている何れかの領域(一方の領域)を逐次走査する画像認識処理と、第2の姿勢に対応付けられている何れかの領域(他方の領域)を逐次走査する画像認識処理を行い、その両者の処理結果に基づいて、第1の姿勢であるか第2の姿勢であるかを特定するようにしたが、第1の姿勢、又は第2の姿勢に対応付けられている何れかの領域を逐次走査する画像認識処理のみを行い、その処理結果から撮影時の姿勢を特定するようにしてもよい。
なお、上述した第2実施形態においては、第1の姿勢と画像の中心部の領域とを対応付けると共に、第2の姿勢と画像の周辺部の領域とを対応付けるようにしたが、被写体の位置などに応じて、それらの対応関係を任意に変更可能としてもよい。
また、上述した各実施形態においては、撮像装置としてコンパクトカメラに適用した場合を示したが、これに限らず、カメラ機能付きパーソナルコンピュータ・PDA(個人向け携帯型情報通信機器)・タブレット端末装置・スマートフォンなどの携帯電話機・電子ゲーム・音楽プレイヤー・電子腕時計などであってもよい。また、撮像手段によって撮影された画像に本実施形態における傾き情報(この場合、撮像手段の撮影時における姿勢(傾き)に関する情報)を付加した上で、他の外部装置(他の画像処理装置)に転送し、当該外部装置でもって、第1の姿勢であるか第2の姿勢であるかを判定するような構成であってもよい。
また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
(付記)
(請求項1)
請求項1に記載の発明は、
撮像手段の撮影時における姿勢が、各々向きの異なる第1の姿勢であるか第2の姿勢であるかを特定する特定手段を備えた画像処理装置であって、
前記撮像手段によって撮影された画像を取得する取得手段と、
前記取得手段によって取得された画像を前記第1の姿勢の向きに対応する被写体を認識する画像認識処理を行うことにより前記画像内に所定の被写体が存在しているか否かを判別する第1の判別手段と、
を備え、
前記特定手段は、前記第1の判別手段による判別結果に基づいて、前記撮像手段の撮影時における姿勢が前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
ことを特徴とする。
(請求項2)
請求項2に記載の発明は、請求項1に記載の画像処理装置において、
前記取得手段によって取得された画像を前記第2の姿勢の向きに対応する被写体を認識する画像認識処理を行うことにより前記画像内に所定の被写体が存在しているか否かを判別する第2の判別手段と、
を更に備え、
前記特定手段は、前記第1の判別手段による判別結果、及び前記第2の判別手段による判別結果に基づいて、前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
ことを特徴とする。
(請求項3)
請求項3に記載の発明は、請求項2に記載の画像処理装置において、
前記第1の判別手段によって前記所定の被写体が存在していることが判別される毎にその所定被写体の数を計数した値を第1の計数値として求めると共に、前記第2の判別手段によって前記所定の被写体が存在していることが判別される毎にその所定被写体の数を計数した値を第2の計数値として求める計数手段と、
前記計数手段によって計数された前記第1の計数値と前記第2の計数値とを比較する比較手段と、
を備え、
前記特定手段は、前記比較手段による比較結果に基づいて、前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
ことを特徴とする。
(請求項4)
請求項4に記載の発明は、請求項1乃至3の何れか1項に記載の画像処理装置において、
前記撮像手段の撮影時における傾き角を検出する傾き検出手段と、
を更に備え、
前記特定手段は、前記傾き検出手段によって検出された傾き角が、予め設定されている所定の角度範囲にあれば、前記第1の判別手段による判別結果に基づいて、前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
ことを特徴とする。
(請求項5)
請求項5に記載の発明は、請求項1乃至4の何れか1項に記載の画像処理装置において、
前記撮像手段の撮影時における傾き角を検出する傾き検出手段と、
を更に備え、
前記特定手段は、前記第1の判別手段による判別結果に基づいて、前記第1の姿勢であるか前記第2の姿勢であるかを特定する第1の特定手段と、前記傾き検出手段によって検出された傾き角と所定の閾値との比較結果に基づいて前記第1の姿勢であるか前記第2の姿勢であるかを特定する第2の特定手段と、を有する、
ことを特徴とする。
(請求項6)
請求項6に記載の発明は、請求項5に記載の画像処理装置において、
前記特定手段は、前記傾き検出手段によって検出された傾き角が、予め設定されている所定の角度範囲にあれば、前記第1の特定手段により、前記第1の姿勢であるか第2の姿勢であるかを特定し、前記所定の角度範囲になければ、前記第2の特定手段により、前記第1の姿勢であるか第2の姿勢であるかを特定する、
ことを特徴とする。
(請求項7)
請求項7に記載の発明は、請求項5又は6に記載の画像処理装置において、
前記取得手段によって取得された画像を前記第2の姿勢の向きに対応する被写体を認識する画像認識処理を行うことにより前記画像内に所定の被写体が存在しているか否かを判別する第2の判別手段と、
を更に備え、
前記特定手段による前記第1の特定手段は、前記第1の判別手段による判別結果、及び前記第2の判別手段による判別結果に基づいて、前記第1の姿勢であるか第2の姿勢であるかを特定する、
ことを特徴とする。
(請求項8)
請求項8に記載の発明は、請求項4又は6に記載の画像処理装置において、
前記所定の角度範囲を示す情報を任意に設定する設定手段と、
を更に備える、
ことを特徴とする。
(請求項9)
請求項9に記載の発明は、請求項1乃至8の何れか1項に記載の画像処理装置において、
前記第1の姿勢は、横構図の画像を得る横撮り姿勢であり、前記第2の姿勢は、縦構図の画像を得る縦撮り姿勢である、
ことを特徴とする。
(請求項10)
請求項10に記載の発明は、
撮像手段の撮影時における姿勢が、各々向きの異なる第1の姿勢であるか第2の姿勢であるかを特定する特定手段を備えた画像処理装置であって、
前記撮像手段によって撮影された半天球画像を取得する取得手段と、
前記取得手段によって取得された半天球画像の周辺部領域及び中心部領域のうち、前記第1の姿勢に対応付けられている何れかの領域の被写体を認識する画像認識処理を行うことにより当該領域に所定の被写体が存在しているか否かを判別する第1の判別手段と、
を備え、
前記特定手段は、前記第1の判別結果に基づいて、前記撮像手段の撮影時における姿勢が第1の姿勢であるか第2の姿勢であるかを特定する、
ことを特徴とする。
(請求項11)
請求項11に記載の発明は、請求項10に記載の画像処理装置において、
前記取得手段によって取得された半天球画像の周辺部領域及び中心部領域のうち、前記第2の姿勢に対応付けられている何れかの領域の被写体を認識する画像認識処理を行うことにより当該領域に所定の被写体が存在しているか否かを判別する第2の判別手段と、
を備え、
前記特定手段は、前記第1の判別手段による判別結果、及び前記第2の判別手段による判別結果に基づいて、前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
ことを特徴とする。
(請求項12)
請求項12に記載の発明は、請求項10に記載の画像処理装置において、
前記取得手段によって取得された半天球画像の周辺部領域及び中心部領域のうち、前記第2の姿勢に対応付けられている何れかの領域の被写体を認識する画像認識処理を行うことにより当該領域に所定の被写体が存在しているか否かを判別する第2の判別手段と、
を備え、
前記特定手段は、前記第1の判別手段による判別結果、及び前記第2の判別手段による判別結果に基づいて、前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
ことを特徴とする。
(請求項13)
請求項13に記載の発明は、
撮像手段の撮影時における姿勢が、第1の姿勢であるか第2の姿勢であるかを特定する処理を行う画像処理装置における画像処理方法であって、
前記撮像手段によって撮影された画像を取得する処理と、
前記取得された画像を前記第1の姿勢の向きに対応する被写体を認識する画像認識を行うことにより前記画像内に所定の被写体が存在しているか否かを判別する処理と、
を含み、
前記特定する処理は、前記判別結果に基づいて、前記撮像手段の撮影時における姿勢が前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
ことを特徴とする。
(請求項14)
請求項14に記載の発明は、
撮像手段の撮影時における姿勢が、第1の姿勢であるか第2の姿勢であるかを特定する機能を備えた画像処理装置のコンピュータに対して、
前記撮像手段によって撮影された画像を取得する機能と、
前記取得された画像を前記第1の姿勢の向きに対応する被写体を認識する画像認識を行うことにより前記画像内に所定の被写体が存在しているか否かを判別する機能と、
を実現させ、
前記特定する機能は、前記判別結果に基づいて、前記撮像手段の撮影時における姿勢が前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
ことを特徴とするプログラムである。
(請求項15)
請求項15に記載の発明は、
撮像手段の撮影時における姿勢が、第1の姿勢であるか第2の姿勢であるかを特定する処理を行う画像処理装置における画像処理方法であって、
前記撮像手段によって撮影された半天球画像を取得する処理と、
前記取得された半天球画像の周辺部領域及び中心部領域のうち、前記第1の姿勢に対応付けられている何れかの領域の被写体を認識する画像認識処理を行うことにより当該領域に所定の被写体が存在しているか否かを判別する処理と、
を含み、
前記特定する処理は、前記判別結果に基づいて、前記撮像手段の撮影時における姿勢が第1の姿勢であるか第2の姿勢であるかを特定する、
ことを特徴とする。
(請求項16)
請求項16に記載の発明は、
撮像手段の撮影時における姿勢が、第1の姿勢であるか第2の姿勢であるかを特定する機能を備えた画像処理装置のコンピュータに対して、
前記撮像手段によって撮影された半天球画像を取得する機能と、
前記取得された半天球画像の周辺部領域及び中心部領域のうち、前記第1の姿勢に対応付けられている何れかの領域の被写体を認識する画像認識処理を行うことにより当該領域に所定の被写体が存在しているか否かを判別する機能と、
を実現させ、
前記特定する機能は、前記判別結果に基づいて、前記撮像手段の撮影時における姿勢が前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
ことを特徴とするプログラムである。
1 制御部
3 記憶部
3a プログラムメモリ
3c 画像メモリ
7 撮像部
8 傾き検出部
10 魚眼レンズ

Claims (16)

  1. 撮像手段の撮影時における姿勢が、各々向きの異なる第1の姿勢であるか第2の姿勢であるかを特定する特定手段を備えた画像処理装置であって、
    前記撮像手段によって撮影された画像を取得する取得手段と、
    前記取得手段によって取得された画像を前記第1の姿勢の向きに対応する被写体を認識する画像認識処理を行うことにより前記画像内に所定の被写体が存在しているか否かを判別する第1の判別手段と、
    を備え、
    前記特定手段は、前記第1の判別手段による判別結果に基づいて、前記撮像手段の撮影時における姿勢が前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
    ことを特徴とする画像処理装置。
  2. 前記取得手段によって取得された画像を前記第2の姿勢の向きに対応する被写体を認識する画像認識処理を行うことにより前記画像内に所定の被写体が存在しているか否かを判別する第2の判別手段と、
    を更に備え、
    前記特定手段は、前記第1の判別手段による判別結果、及び前記第2の判別手段による判別結果に基づいて、前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記第1の判別手段によって前記所定の被写体が存在していることが判別される毎にその所定被写体の数を計数した値を第1の計数値として求めると共に、前記第2の判別手段によって前記所定の被写体が存在していることが判別される毎にその所定被写体の数を計数した値を第2の計数値として求める計数手段と、
    前記計数手段によって計数された前記第1の計数値と前記第2の計数値とを比較する比較手段と、
    を備え、
    前記特定手段は、前記比較手段による比較結果に基づいて、前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記撮像手段の撮影時における傾き角を検出する傾き検出手段と、
    を更に備え、
    前記特定手段は、前記傾き検出手段によって検出された傾き角が、予め設定されている所定の角度範囲にあれば、前記第1の判別手段による判別結果に基づいて、前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
    ことを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
  5. 前記撮像手段の撮影時における傾き角を検出する傾き検出手段と、
    を更に備え、
    前記特定手段は、前記第1の判別手段による判別結果に基づいて、前記第1の姿勢であるか前記第2の姿勢であるかを特定する第1の特定手段と、前記傾き検出手段によって検出された傾き角と所定の閾値との比較結果に基づいて前記第1の姿勢であるか前記第2の姿勢であるかを特定する第2の特定手段と、を有する、
    ことを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
  6. 前記特定手段は、前記傾き検出手段によって検出された傾き角が、予め設定されている所定の角度範囲にあれば、前記第1の特定手段により、前記第1の姿勢であるか第2の姿勢であるかを特定し、前記所定の角度範囲になければ、前記第2の特定手段により、前記第1の姿勢であるか第2の姿勢であるかを特定する、
    ことを特徴とする請求項5に記載の画像処理装置。
  7. 前記取得手段によって取得された画像を前記第2の姿勢の向きに対応する被写体を認識する画像認識処理を行うことにより前記画像内に所定の被写体が存在しているか否かを判別する第2の判別手段と、
    を更に備え、
    前記特定手段による前記第1の特定手段は、前記第1の判別手段による判別結果、及び前記第2の判別手段による判別結果に基づいて、前記第1の姿勢であるか第2の姿勢であるかを特定する、
    ことを特徴とする請求項5又は6に記載の画像処理装置。
  8. 前記所定の角度範囲を示す情報を任意に設定する設定手段と、
    を更に備える、
    ことを特徴とする請求項4又は6に記載の画像処理装置。
  9. 前記第1の姿勢は、横構図の画像を得る横撮り姿勢であり、前記第2の姿勢は、縦構図の画像を得る縦撮り姿勢である、
    ことを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。
  10. 撮像手段の撮影時における姿勢が、各々向きの異なる第1の姿勢であるか第2の姿勢であるかを特定する特定手段を備えた画像処理装置であって、
    前記撮像手段によって撮影された半天球画像を取得する取得手段と、
    前記取得手段によって取得された半天球画像の周辺部領域及び中心部領域のうち、前記第1の姿勢に対応付けられている何れかの領域の被写体を認識する画像認識処理を行うことにより当該領域に所定の被写体が存在しているか否かを判別する第1の判別手段と、
    を備え、
    前記特定手段は、前記第1の判別結果に基づいて、前記撮像手段の撮影時における姿勢が第1の姿勢であるか第2の姿勢であるかを特定する、
    ことを特徴とする画像処理装置。
  11. 前記取得手段によって取得された半天球画像の周辺部領域及び中心部領域のうち、前記第2の姿勢に対応付けられている何れかの領域の被写体を認識する画像認識処理を行うことにより当該領域に所定の被写体が存在しているか否かを判別する第2の判別手段と、
    を備え、
    前記特定手段は、前記第1の判別手段による判別結果、及び前記第2の判別手段による判別結果に基づいて、前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
    ことを特徴とする請求項10に記載の画像処理装置。
  12. 前記特定手段は、前記第1の判別手段によって前記半天球画像の中央部領域に前記所定の被写体が存在していることが判別された場合には、前記撮像手段の光軸が水平向き状態となる第1の姿勢であると特定し、前記半天球画像の周辺部領域に前記所定の被写体が存在していることが判別された場合には、前記撮像手段の光軸が垂直向き状態となる第2の姿勢であると特定する、
    ことを特徴とする請求項10に記載の画像処理装置。
  13. 撮像手段の撮影時における姿勢が、第1の姿勢であるか第2の姿勢であるかを特定する処理を行う画像処理装置における画像処理方法であって、
    前記撮像手段によって撮影された画像を取得する処理と、
    前記取得された画像を前記第1の姿勢の向きに対応する被写体を認識する画像認識を行うことにより前記画像内に所定の被写体が存在しているか否かを判別する処理と、
    を含み、
    前記特定する処理は、前記判別結果に基づいて、前記撮像手段の撮影時における姿勢が前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
    ことを特徴とする画像処理方法。
  14. 撮像手段の撮影時における姿勢が、第1の姿勢であるか第2の姿勢であるかを特定する機能を備えた画像処理装置のコンピュータに対して、
    前記撮像手段によって撮影された画像を取得する機能と、
    前記取得された画像を前記第1の姿勢の向きに対応する被写体を認識する画像認識を行うことにより前記画像内に所定の被写体が存在しているか否かを判別する機能と、
    を実現させ、
    前記特定する機能は、前記判別結果に基づいて、前記撮像手段の撮影時における姿勢が前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
    ことを特徴とするプログラム。
  15. 撮像手段の撮影時における姿勢が、第1の姿勢であるか第2の姿勢であるかを特定する処理を行う画像処理装置における画像処理方法であって、
    前記撮像手段によって撮影された半天球画像を取得する処理と、
    前記取得された半天球画像の周辺部領域及び中心部領域のうち、前記第1の姿勢に対応付けられている何れかの領域の被写体を認識する画像認識処理を行うことにより当該領域に所定の被写体が存在しているか否かを判別する処理と、
    を含み、
    前記特定する処理は、前記判別結果に基づいて、前記撮像手段の撮影時における姿勢が第1の姿勢であるか第2の姿勢であるかを特定する、
    ことを特徴とする画像処理方法。
  16. 撮像手段の撮影時における姿勢が、第1の姿勢であるか第2の姿勢であるかを特定する機能を備えた画像処理装置のコンピュータに対して、
    前記撮像手段によって撮影された半天球画像を取得する機能と、
    前記取得された半天球画像の周辺部領域及び中心部領域のうち、前記第1の姿勢に対応付けられている何れかの領域の被写体を認識する画像認識処理を行うことにより当該領域に所定の被写体が存在しているか否かを判別する機能と、
    を実現させ、
    前記特定する機能は、前記判別結果に基づいて、前記撮像手段の撮影時における姿勢が前記第1の姿勢であるか前記第2の姿勢であるかを特定する、
    ことを特徴とするプログラム。
JP2018057077A 2018-03-23 2018-03-23 撮像装置、撮像方法及びプログラム Pending JP2019168999A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018057077A JP2019168999A (ja) 2018-03-23 2018-03-23 撮像装置、撮像方法及びプログラム
CN201910207418.2A CN110300254A (zh) 2018-03-23 2019-03-18 摄像装置、摄像方法以及记录介质
US16/360,941 US10762661B2 (en) 2018-03-23 2019-03-21 Imaging device, imaging method and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018057077A JP2019168999A (ja) 2018-03-23 2018-03-23 撮像装置、撮像方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2019168999A true JP2019168999A (ja) 2019-10-03

Family

ID=67983702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018057077A Pending JP2019168999A (ja) 2018-03-23 2018-03-23 撮像装置、撮像方法及びプログラム

Country Status (3)

Country Link
US (1) US10762661B2 (ja)
JP (1) JP2019168999A (ja)
CN (1) CN110300254A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464740A (zh) * 2020-04-07 2020-07-28 Oppo广东移动通信有限公司 图像拍摄方法、装置、存储介质及电子设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7215828B2 (en) * 2002-02-13 2007-05-08 Eastman Kodak Company Method and system for determining image orientation
JP4290100B2 (ja) 2003-09-29 2009-07-01 キヤノン株式会社 撮像装置及びその制御方法
US8094892B2 (en) * 2007-11-19 2012-01-10 Arcsoft, Inc. Automatic photo orientation detection
JP2009302910A (ja) 2008-06-13 2009-12-24 Canon Inc 撮像装置及び画像再生装置
CN101650627B (zh) * 2008-08-14 2011-02-02 鸿富锦精密工业(深圳)有限公司 电子设备及其操作控制方法
JP4927122B2 (ja) * 2009-06-15 2012-05-09 シャープ株式会社 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体
JP5471133B2 (ja) 2009-08-04 2014-04-16 株式会社ニコン 撮影装置
JP5506499B2 (ja) * 2010-03-30 2014-05-28 キヤノン株式会社 撮像装置、その制御方法、プログラム及び記録媒体
US8593558B2 (en) * 2010-09-08 2013-11-26 Apple Inc. Camera-based orientation fix from portrait to landscape
US8411161B2 (en) * 2010-10-04 2013-04-02 Sony Corporation Apparatus for automatic estimate of the angle in tilted images for level correction
CN102541087B (zh) * 2011-12-30 2013-10-09 Tcl集团股份有限公司 一种显示装置的方位自动调整方法、系统及显示装置
US9280804B2 (en) * 2012-11-16 2016-03-08 Google Inc. Rotation of an image based on image content to correct image orientation
JP5988860B2 (ja) * 2012-12-21 2016-09-07 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US9165207B2 (en) * 2013-02-25 2015-10-20 Google Inc. Screenshot orientation detection
CN103885611B (zh) * 2014-04-22 2018-01-19 锤子科技(北京)股份有限公司 一种调整图像的方法和装置
EP3166289A4 (en) * 2014-07-26 2017-07-26 Huawei Technologies Co. Ltd. Method for controlling display of screen of mobile terminal and mobile terminal
CN104994273A (zh) * 2015-06-16 2015-10-21 成都西可科技有限公司 一种保持实时拍摄图像竖直的系统和方法
CN106792117B (zh) * 2016-12-19 2020-08-07 广州华多网络科技有限公司 手机直播横屏开播的方法、装置和系统
CN107145269B (zh) * 2017-04-19 2023-06-23 腾讯科技(深圳)有限公司 一种数据旋转方法以及装置
CN107229404A (zh) * 2017-06-26 2017-10-03 深圳市靖洲科技有限公司 一种基于重力感应器改变图像显示尺寸的方法及系统
CN107529012A (zh) * 2017-08-31 2017-12-29 努比亚技术有限公司 照片调整方法、移动终端及计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464740A (zh) * 2020-04-07 2020-07-28 Oppo广东移动通信有限公司 图像拍摄方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
US10762661B2 (en) 2020-09-01
US20190295284A1 (en) 2019-09-26
CN110300254A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
JP5967473B2 (ja) 撮像装置及び撮像システム
CN107197137B (zh) 图像处理装置、图像处理方法以及记录介质
JP5659305B2 (ja) 画像生成装置および画像生成方法
WO2013069049A1 (ja) 画像生成装置および画像生成方法
WO2013069048A1 (ja) 画像生成装置および画像生成方法
JP5991514B2 (ja) 撮像装置及び撮像システム
US8400532B2 (en) Digital image capturing device providing photographing composition and method thereof
JPWO2013069047A1 (ja) 画像生成装置および画像生成方法
JP2013013063A (ja) 撮像装置及び撮像システム
WO2011013563A1 (ja) 制御装置、撮像システム、制御方法、プログラム
JP7031280B2 (ja) 画像処理装置、画像処理システムおよびプログラム
JP2014146989A (ja) 撮像装置、撮像方法および撮像プログラム
JP5248951B2 (ja) カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム
CN110365910B (zh) 一种自拍方法、装置及电子设备
EP3644600A1 (en) Imaging device, information processing method, system, and carrier means
JP2019168999A (ja) 撮像装置、撮像方法及びプログラム
JP2008277904A (ja) 画像処理装置、画像方向判別方法及び画像方向判別プログラム、再生装置、再生方法及び再生プログラム、並びにデジタルスチルカメラ
KR100751097B1 (ko) 가속도 센서를 이용한 파노라마 영상 촬상 장치
JP2007259004A (ja) デジタルカメラ、画像処理装置及び画像処理プログラム
JP2019062461A (ja) 電子機器、画像処理方法及びプログラム
CN113014796B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP2017108203A (ja) 撮影装置、撮影支援方法及びプログラム
KR101392382B1 (ko) 휴대용 단말기에서 카메라의 파노라마 기능 구현 방법 및장치
JP2017130890A (ja) 画像処理装置およびその制御方法ならびにプログラム
KR20230135513A (ko) 촬상장치, 그 제어방법 및 컴퓨터 판독가능한 매체