JP2011176677A - Display device, imaging device, and program - Google Patents
Display device, imaging device, and program Download PDFInfo
- Publication number
- JP2011176677A JP2011176677A JP2010040017A JP2010040017A JP2011176677A JP 2011176677 A JP2011176677 A JP 2011176677A JP 2010040017 A JP2010040017 A JP 2010040017A JP 2010040017 A JP2010040017 A JP 2010040017A JP 2011176677 A JP2011176677 A JP 2011176677A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image data
- unit
- imaging
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 246
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000012937 correction Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 37
- 230000003287 optical effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 241000282326 Felis catus Species 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 230000008929 regeneration Effects 0.000 description 3
- 238000011069 regeneration method Methods 0.000 description 3
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、表示装置、撮像装置、およびプログラムに関する。 The present invention relates to a display device, an imaging device, and a program.
例えば、撮像装置が傾けられた状態で撮像対象が撮像された場合、撮像によって得られた画像データにおける撮像対象は、撮像装置の傾きと同一の傾きで画像内において傾いている。
このような場合、撮像装置の傾きを撮像時に検出しておき、この検出された傾きに基づき撮像された画像を補正して表示部に表示することができる撮像装置がある（例えば、特許文献１参照）。
For example, when an imaging target is imaged with the imaging device tilted, the imaging target in the image data obtained by imaging is tilted in the image with the same tilt as the tilt of the imaging device.
In such a case, there is an imaging device that can detect the tilt of the imaging device at the time of imaging, correct the captured image based on the detected tilt, and display the image on a display unit (for example, Patent Document 1). reference).
しかしながら、表示部に画像が表示されている状態（以下、表示時という）で撮像装置が傾けられた場合、上述のように撮像時の傾き角に基づく補正がなされたとしても、撮像時の実空間における撮像対象の傾きで撮像画像を表示することができない問題があった。 However, when the imaging apparatus is tilted while an image is displayed on the display unit (hereinafter referred to as display), even if correction based on the tilt angle at the time of imaging is performed as described above, There has been a problem that a captured image cannot be displayed due to the inclination of the imaging target in space.
本発明は、前記の点に鑑みてなされたものであり、撮像時の実空間における撮像対象の傾きで撮像画像を表示することができる表示装置、撮像装置およびプログラムを提供することを目的とする。 The present invention has been made in view of the above points, and an object thereof is to provide a display device, an imaging device, and a program capable of displaying a captured image with an inclination of an imaging target in a real space at the time of imaging. .
本発明は、上記の課題を解決するためになされたものであり、画像の傾きを示す第１傾き角情報が対応付けられた画像データに基づき、前記画像データの画像を表示させる表示部と、前記表示部の傾きを示す第２傾き角情報を検出する傾き角検出部と、前記第１傾き角情報および前記第２傾き角情報に基づき、実空間に対して前記第１傾き角情報の傾きで前記画像データの画像を前記表示部に表示させる表示制御部とを備えることを特徴とする。 The present invention has been made to solve the above problems, and based on image data associated with first inclination angle information indicating the inclination of an image, a display unit that displays an image of the image data; An inclination angle detection unit that detects second inclination angle information indicating the inclination of the display unit, and an inclination of the first inclination angle information with respect to real space based on the first inclination angle information and the second inclination angle information And a display control unit for displaying an image of the image data on the display unit.
本発明によれば、撮像時の実空間における撮像対象の傾きで撮像画像を表示することができる。 ADVANTAGE OF THE INVENTION According to this invention, a captured image can be displayed with the inclination of the imaging target in the real space at the time of imaging.
本発明の実施形態について図面を参照して詳細に説明する。図１には、本実施形態に係る撮像装置の構成を示すブロック図が示されている。
図１に示す通り、撮像装置１は、撮像部１００と、再生装置２００と、記憶媒体３００とを備える。
Embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram illustrating the configuration of the imaging apparatus according to the present embodiment.
As illustrated in FIG. 1, the imaging device 1 includes an
この撮像部１００は、光学系１０１と、撮像素子１０２と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１０３とを備える。
また、再生装置２００は、撮像接続部２０１と、傾き角検出部２０２と、制御部２０３と、画像処理部２０４と、操作部２０５と、表示部２０６と、バッファメモリ部２０７と、メモリ部２０８と、記憶接続部２０９と、バス２１０とを備える。
The
In addition, the
撮像部１００は、設定された撮像条件（例えば絞り値、露出値等）に従って、表示装置２００の制御部２０３により制御される。この撮像部１００は、光学系１０１による光学像を撮像素子１０２に結像させて、Ａ／Ｄ変換部１０３によってデジタル信号に変換された光学像に基づく画像データを生成し、表示装置２００に出力する。
The
光学系１０１は、ズームレンズ１１１と、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）１１２と、レンズエンコーダ１１３と、レンズ駆動部１１４とを備える。この光学系１０１は、ズームレンズ１１１側から入射し、ズームレンズ１１１およびＡＦレンズ１１２を通過した光学像を、撮像素子１０２の受光面に導く。
このズームレンズ１１１およびＡＦレンズ１１２は、これらを通過した光学像の光軸が撮像素子１０２の受光面に直交する位置関係となるように配置されている。
The
The
レンズエンコーダ１１３は、ズームレンズ１１１の位置を表わすズームポジションと、ＡＦレンズ１１２の位置を表わすフォーカスポジションとを検出し、撮像接続部２０１を介して制御部２０３に出力する。
The
レンズ駆動部１１４には、ズームレンズ１１１およびＡＦレンズ１１２の位置を制御するための駆動制御信号が制御部２０３から撮像接続部２０１を介して入力され、この駆動制御信号に基づき、ズームレンズ１１１およびＡＦレンズ１１２の位置を制御する。この駆動制御信号が制御部２０３から撮像接続部２０１を介してレンズ駆動部１１４に入力されてレンズ駆動部１１４が駆動することにより、ズームレンズ１１１およびＡＦレンズ１１２が移動される。
A driving control signal for controlling the positions of the
撮像素子１０２は、例えば、光電変換面を備え、その受光面に結像した光学像を電気信号に変換して、Ａ／Ｄ変換部１０３に出力する。この撮像素子１０２は、例えば操作部２０５を介して撮影指示を受け付けた際に得られる静止画又は動画の画像データを、撮像画像データとして、Ａ／Ｄ変換部１０３に出力する。また、この撮像素子１０２は、操作部２０５を介して撮像指示を受け付けていない状態において、連続的に得られる静止画又は動画の画像データを、スルー画データとして、Ａ／Ｄ変換部１０３に出力する。
なお、撮像画像データは、例えば、撮像素子１０２の画素数に応じた高画質の画像データである。一方、スルー画データは、例えば、表示部２０６の表示画面のサイズに応じて画素数を低減させた低画質な画像データである。
The
The captured image data is, for example, high-quality image data corresponding to the number of pixels of the
Ａ／Ｄ変換部１０３は、撮像素子１０２から入力される電気信号をデジタル化して、デジタル信号である撮像画像データおよびスルー画データを撮像接続部２０１に出力する。
The A /
撮像接続部２０１は、Ａ/Ｄ変換部１０３から入力される撮像画像データを、バッファメモリ部２０７に出力する。また、撮像接続部２０１は、Ａ/Ｄ変換部１０３から入力されるスルー画データを、バッファメモリ部２０７及び表示部２０６に出力する。
The
表示部２０６は、例えば液晶ディスプレイであって、撮像部１００によって得られた撮像画像データに基づく画像、スルー画データに基づく画像、および操作画面等を表示する。この表示部２０６は、表示装置２００の本体に固定されているものであってもよく、表示装置２００の本体と接続部を介して接続され、この接続部を回転中心として回転する構成であってもよい。なお、本実施形態において、表示部２０６は、表示装置２００の本体に固定されているものとして、以下説明する。
The
傾き角検出部２０２は、例えば傾き角が０度である基準姿勢に対して表示時における表示部２０６の表示画面の傾きを示す傾き角（以下、再生時の傾き角αという）を検出するとともに、基準姿勢に対して撮像時における撮像装置１の傾きを示す傾き角（以下、撮像時の傾き角θという）を検出する。
この傾き角検出部２０２としては、例えば、地球重心に対する傾き角を検出して電気信号に変換する３軸磁気センサや、水準器、３軸ジャイロセンサ、方位角センサ等が利用可能である。なお、この傾き角検出部２０２は、水平方向と鉛直方向で決まる２次元平面の傾き角を検出するものである。
例えば図２（ａ）に示すような撮像装置１では、表示装置２００の正面側（ここでは表示部２０６の表示画面の反対側）に撮像部１００が取り付けられており、撮像装置１が傾けられた場合、撮像部１００および表示装置２００も傾けられる。よって、撮像部１００、表示装置２００および撮像装置１の傾き角は、図２（ａ）に示すような構成においては傾き角検出部２０２によって検出される。また、撮像装置１は、図２（ａ）に示すように、撮像装置１に対して予め決められている上下方向が実空間の垂直方向と一致し、撮像装置１に対して決められている左右方向が実空間の水平方向と一致する状態を基準姿勢とする。
The tilt
As the inclination
For example, in the imaging device 1 as shown in FIG. 2A, the
図２を参照して、この基準姿勢について詳細に説明する。図２（ａ）は、撮像装置１の基準姿勢について説明するための図である。図２（ｂ）は、撮像装置１の側面に設けられた表示部２０６の表示画面と基準姿勢との関係を説明するための図である。図２（ｃ）は、撮像装置１の撮像素子１０２の受光面と基準姿勢との関係を説明するための図である。
The reference posture will be described in detail with reference to FIG. FIG. 2A is a diagram for describing a reference posture of the imaging apparatus 1. FIG. 2B is a diagram for explaining the relationship between the display screen of the
図２（ａ）に示す通り、撮像装置１は、第１の水平方向（Ｘ軸）と、このＸ軸に直交する鉛直方向（Ｙ軸）と、このＸ軸およびＹ軸に直交する第２の水平方向（Ｚ軸）で表わされる実空間の座標系において、光学系１０１が取り付けられている撮像装置１の正面側がＺ軸の正方向に向く状態を基準姿勢という。また、図示の通り、撮像装置１は、ユーザの操作性が考慮され、Ｚ軸に対して撮像部１００の光学系１０１の反対側に表示画面が見える位置に表示部２０６が搭載されており、操作部２０５に含まれるシャッターボタンが表示部２０６の上方部に搭載されている。
As shown in FIG. 2A, the imaging apparatus 1 includes a first horizontal direction (X axis), a vertical direction (Y axis) orthogonal to the X axis, and a second direction orthogonal to the X axis and Y axis. In a real space coordinate system represented by the horizontal direction (Z-axis), a state in which the front side of the imaging apparatus 1 to which the
次に、図２（ｂ）を参照して、図２（ａ）に示す撮像装置１を第２の水平方向Ｚの負方向から見た状態の表示部２０６について説明する。
図２（ｂ）に示す通り、この表示部２０６の表示画面は、例えば横に長い長方形の表示画面を備える。この表示部２０６の表示画面は、表示画面の長辺が第１の水平方向（Ｘ軸）に平行で、かつ、表示画面の短辺が鉛直方向（Ｙ軸）に平行となる状態が基準姿勢であると予め決められている。この基準姿勢に対してＸ−Ｙ平面における表示画面の傾き角が、再生時の傾き角αである。
Next, with reference to FIG. 2B, the
As shown in FIG. 2B, the display screen of the
また、図２（ａ）、（ｂ）に示す撮像装置１の外からは見えないが、撮像装置１には、図２（ｃ）に示すような撮像素子１０２が内蔵されている。この撮像素子１０２は、その受光面に複数の受光素子を備え、これら複数の受光素子のうち、受光した光学像を画像データとして変換する複数の受光素子が予め決められており、これら複数の受光素子で構成される領域を画像エリア１２１という。この画像エリア１２１は、例えば基準姿勢において横に長い長方形であって、その長辺が第１の水平方向（Ｘ軸）に平行で、かつ、その短辺が鉛直方向（Ｙ軸）に平行となるように、予め決められている。なお、この画像エリア１２１において、２つの長辺のうち、Ｙ軸の正方向に対応する長辺を辺１０２ａ、Ｙ軸の負方向に対応する長辺を辺１０２ｂとし、２つの短辺のうち、Ｘ軸の正方向に対応する短辺を辺１０２ｃ、Ｘ軸の負方向に対応する短辺を辺１０２ｄとする。
この基準姿勢に対してＸ−Ｙ平面における撮像画像エリア１２１の傾き角が、撮像時の傾き角θである。また、この撮像画像エリア１２１によって結像された撮像画像データが示す画像の傾き角は、この撮像時の傾き角θに等しい。
Although not visible from the outside of the imaging device 1 shown in FIGS. 2A and 2B, the imaging device 1 incorporates an
The inclination angle of the captured image area 121 in the XY plane with respect to this reference posture is the inclination angle θ at the time of imaging. Further, the inclination angle of the image indicated by the captured image data imaged by the captured image area 121 is equal to the inclination angle θ at the time of imaging.
つまり、撮像画像データの画像に対しても、傾き角が０度である基準姿勢が予め決められており、画像エリアの辺１０２ａおよび辺１０２ｂがＹ軸に平行で、かつ、辺１０２ａが辺１０２ｂよりもＹ軸の正方向にある状態で撮像された撮像画像データを、基準姿勢に対応する撮像画像データといい、この基準姿勢に対してＸ−Ｙ平面における傾き角を、画像の傾き角という。
In other words, a reference posture with an inclination angle of 0 degree is determined in advance for the image of the captured image data, the
なお、上述の通り、本実施形態に係る撮像部１００と表示装置２００は、一体的に固定されているため、表示画面の基準姿勢と、撮像画像エリア１２１（画像）の基準姿勢とが、撮像装置１の基準姿勢に一致する例について説明するが、本発明はこれに限られず、上述のような基準姿勢がそれぞれに対して予め決められているものであってもよい。
As described above, since the
制御部２０３は、撮像制御部２３１と表示制御部２３２とを備え、表示装置２００および撮像部１００を統括的に制御する。
この撮像制御部２３１は、撮像接続部２０１を介してレンズエンコーダ１１３から出力されるズームポジションおよびフォーカスポジションに基づき、レンズ駆動部１１４を駆動する駆動制御信号を生成して、レンズ駆動部１１４に出力する。その生成アルゴリズムは、必要に応じて適宜のアルゴリズムを用いてよい。
The
The
また、撮像制御部２３１は、オートフォーカス機能を利用して、撮像対象にピントが合う位置にＡＦレンズ１１２を位置させるための駆動制御信号を生成し、レンズ駆動部１１４に出力する。この撮像制御部２３１の処理を、以下、ＡＦ制御という。
なお、撮像制御部２３１は、後に説明する画像処理部２０４によって撮像対象である人物の顔が認識された場合、この認識された顔に対応する領域（以下、顔認識ポイントという）に対してピントが合うようにＡＦ制御を行うものであってもよい。
さらに、撮像制御部２３１は、操作部２０５から入力されるズームの調整量に応じて、ズームレンズ１１１の位置を調整するための駆動制御信号を生成し、レンズ駆動部１１４に出力する。この撮像制御部２３１の処理を、以下、ズーム制御という。
In addition, the
Note that when the image processing unit 204 described later recognizes the face of a person to be imaged, the
Further, the
表示制御部２３２は、傾き角検出部２０２によって検出される再生時の傾き角α、および画像の傾き角（ここでは、撮像時の傾き角θに等しい）に基づき補正傾き角λを算出し、この補正傾き角λに基づき、画像の傾き角θで傾いている画像を表示部２０６の表示画面に表示させる。この補正傾き角λは、表示制御部２３２によって補正される画像データの画像の傾き角であって、表示装置２に対して予め決められている上下左右の方向が画像の上下左右の方向に一致する状態で０度である。例えば、補正傾き角λ＝０度で補正された画像データを表示部２０６に表示した場合、撮像素子１０２の画像エリア１２１の長辺１０２ａ、１０２ｂが表示画面の長辺に、短辺１０２ｃ、１０２ｄが表示画面の短辺に、それぞれ対応する画像データの画像が表示部２０６に表示される。
The
画像処理部２０４は、メモリ部２０８に記憶されている情報を参照して、撮像画像データに対して画像処理を行う。この画像処理部２０４は、例えば、パターン認識を利用した顔認識処理を行い、画像データ内に含まれる人物の顔に対応する画像領域を検出する。
具体的に説明すると、画像処理部２０４は、撮像部１００から得られた画像データに対して画像処理を行い画像の特徴量を算出する。この画像処理部２０４は、メモリ部２０８に記憶されている人物の顔を表わす画像の特徴量を参照して、この顔を表わす画像の特徴量と画像データの特徴量との差分が、両者が類似する範囲として許容される許容範囲内にあるか否かを判断する。この画像処理部２０４は、この差分が許容範囲内にある画像領域を画像データ内に含まれる人物の顔に対応する画像領域として検出する。
また、画像処理部２０４は、この顔と認識された画像領域を示す顔認識ポイントを制御部２３２に出力するとともに、この顔と認識された画像領域を囲うアイコン等の表示マークを表示部２０６に表示されるスルー画データ上に重畳して表示させる。
The image processing unit 204 refers to the information stored in the
More specifically, the image processing unit 204 performs image processing on the image data obtained from the
Further, the image processing unit 204 outputs a face recognition point indicating the image area recognized as the face to the
操作部２０５は、例えば、電源スイッチ、シャッターボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた操作情報を制御部２０３に出力する。
The
バッファメモリ部２０７は、撮像部１００によって得られたスルー画データや、制御部２０３における処理に利用される情報を一次的に記憶する。
The
メモリ部２０８は、表示制御記憶領域２８１を含み、制御部２０３の処理において参照される設定値等を記憶する。
この表示制御記憶領域２８１は、表示制御部２３２によって撮像画像データを表示部２０６に表示する際に、撮像画像データの表示倍率や表示位置等を制御する表示制御モードが設定されているか否かを示す表示制御モード情報と、この表示制御モードが設定されている場合に、設定されている表示制御モードの種類を表わす情報とを記憶する。
この表示制御モードの種類としては、例えば「全体表示」と「撮像対象表示」とがある。この「全体表示」は、例えば、撮像画像データの全体を表示部２０６の表示画面に表示させるように、再生時の傾き角αに応じて撮像画像データの表示倍率を制御させる表示制御モードである。一方、「撮像対象表示」は、撮像画像データのうちＡＦポイントや顔認識ポイントの存在する画像領域が表示部２０６の表示画面の中央となるように、表示画面における撮像画像データの表示位置を制御させる表示制御モードである。
The
The display
As the types of display control modes, there are, for example, “entire display” and “imaging target display”. This “entire display” is a display control mode in which, for example, the display magnification of the captured image data is controlled in accordance with the inclination angle α at the time of reproduction so that the entire captured image data is displayed on the display screen of the
記憶接続部２０９は、カードメモリ等の取り外しが可能な記憶媒体３００と接続され、この記憶媒体３００への情報の書込み、読み出し、あるいは消去を行う。この記憶接続部２０９は、例えば、撮像接続部２０１から入力した撮像画像データを記憶媒体３００に記憶させる。
The
記憶媒体３００は、表示装置２００に対して着脱可能に接続される記憶部であって、撮像部１００によって撮影された撮像画像データと、当該撮像画像データが撮像された際に傾き検出部２０２によって検出された撮像時の傾き角θと、当該撮像画像データが撮像された際に撮像制御部２３１によって検出された撮像時属性情報とを対応付けて記憶する。
この撮像時属性情報とは、撮像画像データ内において撮像対象を示す情報であって、例えば、撮像制御部２３１のＡＦ制御により得られるＡＦポイントや、画像処理部２０４の顔認識処理により得られる顔認識ポイント等を含む。
The
The imaging time attribute information is information indicating an imaging target in the captured image data. For example, an AF point obtained by AF control of the
バス２１０は、撮像接続部２０１と、傾き角検出部２０２と、制御部２０３と、画像処理部２０４と、操作部２０５と、表示部２０６と、バッファメモリ部２０７と、メモリ部２０８と、記憶接続部２０９とに接続され、各部から出力されたデータ等を転送する。
The
［撮像処理フロー］
次に、図３、４を参照して、本実施形態に係る撮像装置１の撮像処理フローの一例について説明する。図３は、本実施形態に係る撮像装置１の撮像処理フローの一例を示すフローチャートである。図４は、撮像処理フローを説明するための参考図である。
[Imaging process flow]
Next, an example of an imaging process flow of the imaging apparatus 1 according to the present embodiment will be described with reference to FIGS. FIG. 3 is a flowchart illustrating an example of an imaging process flow of the imaging apparatus 1 according to the present embodiment. FIG. 4 is a reference diagram for explaining the imaging processing flow.
図３に示す通り、撮像対象を撮像するための撮像モードが操作部２０５を介してユーザーにより選択されると、制御部２０３は、撮像モードに従った撮像処理を行う。ここでは、図４（ａ）に示すような撮像対象を撮像装置１が撮像する一例について説明する。
図４（ａ）に示すように、この撮像対象は、例えば、窓越しに見える猫である。この窓は、垂直方向Ｘと鉛直方向Ｙのそれぞれに平行な木枠を備える。ここで、木枠のうち中心に表示されている木枠を、以下、木枠Ｔという。
As illustrated in FIG. 3, when the imaging mode for imaging the imaging target is selected by the user via the
As shown in FIG. 4A, the imaging target is, for example, a cat that looks through a window. The window includes a wooden frame parallel to each of the vertical direction X and the vertical direction Y. Here, the wooden frame displayed at the center of the wooden frame is hereinafter referred to as a wooden frame T.
図３に戻って、この撮像対象に光学系１０１を向けると、光学系１０１に入射した撮像対象の光学像に基づき撮像部１００によって得られたスルー画データが、撮像接続部２０１を介してバッファメモリ部２０７に入力される。すると、制御部２０３の表示制御部２３２が、このスルー画データに基づく画像を表示部２０６に表示させるよう画像処理部２０４を制御する。この画像処理部２０４は、画質を調整する等の画像処理を行ったスルー画データを表示部２０６に出力する。これにより、表示部２０６は、スルー画データに基づく画像を表示する（ステップＳＴ１）。
また、制御部２０３の撮像制御部２３１は、オートフォーカス機能を利用して、レンズエンコーダ１１３から出力されるフォーカスポジションに基づき、撮像対象にピントが合う位置にＡＦレンズ１１２を移動させる駆動制御信号を生成し、撮像接続部２０１を介してレンズ駆動部１１４に出力する。
Returning to FIG. 3, when the
In addition, the
ここで、図４（ｂ）に、撮像モードにおいて表示部２０６の表示画面に表示される撮像画面を示す。図４（ｂ）に示す通り、例えば基準姿勢である傾き角＝０度で撮像装置１を維持した状態で操作部２０５に含まれるシャッターボタンが押下されると（ステップＳＴ２）、制御部２０３は、このシャッターボタンが押下された際に、撮像素子１０２により得られた画像データを撮像画像データ５００として記憶接続部２０９に出力させる。そして、この記憶接続部２０９がこの撮像画像データ５００を記憶媒体３００に記憶させる（ステップＳＴ３）。なお、撮像制御部２３１は、この撮像画像データ５００に対して、固有の識別番号ＩＭＧ５００を割り当て、この識別番号ＩＭＧ５００を撮像画像データ５００に対応付けた情報を記憶媒体３００は記憶する。
Here, FIG. 4B shows an imaging screen displayed on the display screen of the
ここで得られた撮像画像データ５００は、図４（ｃ）に示す通り、シャッターボタンが押下された際に表示部２０６の表示画面に表示されている画像の画角（構図）と同一の画角であって同一の撮像対象を示す画像データである。図４（ｃ）に示す通り、撮像画像データ５００は、撮像時の傾き角θ＝０度であり、長辺５００ａ、５００ｂが水平方向Ｘに平行であり、短辺５００ｃ、５００ｄが鉛直方向Ｙに平行である。なお、この撮像画像データ５００の各辺５００ａ〜５００ｄは、それぞれ、画像エリア１２１の各辺１０２ａ〜１０２ｄに対応する。
The captured
また、撮像制御部２３１は、ステップＳＴ２のシャッターボタンが押下された際に傾き角検出部２０２によって検出された傾き角を、撮像時の傾き角θ＝０度として、記憶媒体３００の撮像画像データ５００に対応づけて記憶させる（ステップＳＴ４）。
In addition, the
さらに、撮像制御部２３１は、ステップＳＴ２のシャッターボタンが押下された際に得られたＡＦポイントを、撮像時属性情情報として、記憶媒体３００の撮像画像データに対応づけて記憶させる（ステップＳＴ５）。
なお、撮像制御部２３１は、撮像画像データ５００を取得した際に、顔認識ポイントが検出されている場合、この顔認識ポイントを撮像時属性情報に含めて、記憶媒体３００の撮像画像データ５００に対応づけて記憶させる。
Furthermore, the
If the face recognition point is detected when the picked-up
これにより、撮像画像データ５００に、撮像時の傾き角θ＝０度、および撮像時のＡＦポイント（さらに顔認識ポイント）等を含む撮像時属性情報を関連付けた情報が、記憶媒体３００に記憶される。
As a result, information relating to the captured
［再生処理フロー］
次に、図５、６を参照して、本実施形態に係る撮像装置１の再生処理フローの一例について説明する。図５は、本実施形態に係る撮像装置１の再生処理フローの一例を示すフローチャートである。図６は、再生処理フローを説明するための参考図である。
[Reproduction processing flow]
Next, an example of a reproduction processing flow of the imaging apparatus 1 according to the present embodiment will be described with reference to FIGS. FIG. 5 is a flowchart illustrating an example of a reproduction processing flow of the imaging apparatus 1 according to the present embodiment. FIG. 6 is a reference diagram for explaining the reproduction processing flow.
撮像画像データを表示部２０６に表示させるための再生モードが操作部２０５を介してユーザにより選択されると、制御部２０３は、再生モードに従った再生処理を行う。
表示部２０６に表示する撮像画像データとして、記憶媒体３００に記憶されている撮像画像データの中から、例えば撮像画像データ５００が操作部２０５を介してユーザにより選択される。すると、表示制御部２３２は、この撮像画像データ５００の識別番号ＩＭＧ５００を指標として、記憶媒体３００から撮像画像データ５００、および、この撮像画像データ５００に対応付けられている撮像時の傾き角θ＝０度と撮像時属性情報を読み出し、それぞれを対応付けてバッファメモリ部２０７に一次的に記憶させる（ステップＳＴ１１）。
When a user selects a playback mode for displaying captured image data on the
As captured image data to be displayed on the
そして、傾き角検出部２０２は、例えば連続して検出される傾き角を、表示制御部２３２に順次出力する（ステップＳＴ１２）。ここで、図６（ａ）に示すように、基準姿勢に対して傾き角＝３０度に傾けて撮像装置１を維持した状態において、傾き角検出部２０２は、再生時の傾き角αとして傾き角＝３０度を検出し、表示制御部２３２に出力する。
表示制御部２３２は、この再生モードにおいて傾き角検出部２０２から入力される再生時の傾き角αと、ステップＳＴ１１において読み出した撮像時の傾き角θに基づき、補正傾き角λを算出する（ステップＳＴ１３）。
Then, the tilt
The
例えば、表示制御部２３２は、撮像時の傾き角θから再生時の傾き角αを減算し、この差分を補正傾き角λとする。
よって、図６（ａ）に示す通り、再生時の傾き角α＝３０度で撮像画像データ５００を表示する場合、補正傾き角λは、
補正傾き角λ＝撮像時の傾き角θ（０度）−再生時の傾き角α（３０度）
＝−３０度（＝２７０度）
と計算される。
For example, the
Therefore, as shown in FIG. 6 (a), when the captured
Corrected tilt angle λ = tilt angle θ during imaging (0 degree) −slope angle α during playback (30 degrees)
= -30 degrees (= 270 degrees)
Is calculated.
そして、表示制御部２３２は、補正傾き角λ＝２７０度に傾けた撮像画像データ５００に基づく画像を表示部２０６の表示画面に表示させる（ステップＳＴ１４）。
これにより、図６（ａ）に示す通り、表示部２０６の表示画面が傾けられている場合であっても、表示部２０６の表示画面に表示されている画像は、撮像画像データ５００に与えられた傾き角＝０度で表示される。つまり、撮像画像データ５００に含まれる木枠Ｔは、表示時の実空間に対して撮像時の傾き角θ＝０度で表示されている。
具体的に説明すると、撮像画像データ５００の長辺５００ａ、５００ｂが再生時の実空間における水平方向Ｘに平行で、かつ、撮像画像データ５００の短辺５００ｃ、５００ｄが再生時の実空間における鉛直方向Ｙに平行となるように、表示制御部２３２は、補正傾き角λに基づき、撮像画像データの画像を表示部２０６の表示画面に表示させる。つまり、撮像時の実空間における撮像対象の水平方向Ｘと鉛直方向Ｙが、再生時の実空間における撮像対象の水平方向Ｘと鉛直方向Ｙに一致するように撮像画像データを表示することができる。
よって、表示部２０６に表示される撮像対象（ここでは窓越しの猫を含む）は、水平方向に平行な木枠が、表示部２０６に表示されている撮像装置１の水平方向Ｘに平行であり、かつ、鉛直方向に平行な木枠（例えば木枠Ｔ）が、表示部２０６に表示されている撮像装置１の鉛直方向Ｙに平行となるように表示される。
Then, the
Thereby, as shown in FIG. 6A, even when the display screen of the
More specifically, the
Therefore, the imaging target (including the cat through the window) displayed on the
次いで、表示制御部２３２は、再生時の傾き角αが変化したことを検出した場合（ステップＳＴ１５−ＹＥＳ）、ステップＳＴ１２に戻って、変化後の再生時の傾き角αを傾き角検出部２０２が検出する。この表示制御部２３２は、例えば、傾き角検出部２０２から入力された傾き角を直前に入力された傾き角と比較して両者が異なる場合、再生時の傾き角αが変化したことを検出するものである。
なお、本発明はこれに限られず、表示制御部２３２は、傾き角検出部２０２から連続して入力される傾き角の差分が一定の許容範囲内となる状態の続く期間が、一定時間（あるいは一定回数）以上であるか否かを判断する。この表示制御部２３２は、この状態である期間が一定時間（あるいは一定回数）以上である場合、撮像装置１が固定状態であると判断し、この状態である期間が一定時間（あるいは一定回数）未満である場合、撮像装置１が動作状態であると判断する。そして、表示制御部２３２は、動作状態から固定状態に変化した場合、あるいは、固定状態となったことを検出した場合に、再生時の傾き角αが変化したことを検出するものであってもよい。
Next, when the
Note that the present invention is not limited to this, and the
このようにして、再生時の傾き角αが変化した場合の処理について、以下説明する。
例えば、図６（ａ）に示す状態の撮像装置１を動かして、図６（ｂ）に示す状態に維持したとする。この図６（ｂ）に示す状態では、撮像装置１が傾き角＝３１５度で傾いており、傾き角検出部２０２は、再生時の傾き角α＝３１５度を検出し、表示制御部２３２に出力する。すると、表示制御部２３２は、撮像時の傾き角θ＝０度から再生時の傾き角α＝３１５度を減算して補正傾き角λ＝−３１５度（＝４５度）を得る。次いで、この表示制御部２３２は、この補正傾き角λ＝４５度で撮像画像データ５００を傾けて表示することを示す情報を撮像画像データに関連付けて表示部２０６に出力する。
Processing when the tilt angle α during reproduction is changed in this way will be described below.
For example, assume that the imaging apparatus 1 in the state illustrated in FIG. 6A is moved and maintained in the state illustrated in FIG. In the state shown in FIG. 6B, the imaging apparatus 1 is inclined at an inclination angle = 315 degrees, and the inclination
これにより、表示部２０６は、図６（ｂ）に示す通り、撮像画像データ５００は、その長辺５００ａ、５００ｂが再生時の実空間における水平方向Ｘに平行で、かつ、撮像画像データ５００の短辺５００ｃ、５００ｄが再生時の実空間における鉛直方向Ｙに平行となるように、表示部２０６において表示させる。
よって、表示部２０６に表示される撮像対象（ここでは窓越しの猫を含む）は、水平方向に平行な木枠が、表示部２０６に表示されている撮像装置１の水平方向Ｘに平行であり、かつ、鉛直方向に平行な木枠（例えば木枠Ｔ）が、表示部２０６に表示されている撮像装置１の鉛直方向Ｙに平行となるように表示される。
Accordingly, as shown in FIG. 6B, the
Therefore, the imaging target (including the cat through the window) displayed on the
次に、図７、８を用いて、撮像画像データ５００と同一の撮像対象を異なる撮影時の傾き角θで撮影して得られる撮像画像データの表示例について説明する。
図７は、本実施形態に係る撮像装置１の撮像処理フローにおける画像データと傾き角との関係を説明するための図である。
ここでは、図７（ａ）に示すような撮像対象を撮像装置１が撮像する一例について説明する。この撮像対象は、図４（ａ）に示した撮像対象と同一であり、垂直方向Ｘと鉛直方向Ｙのそれぞれに平行な木枠を備える窓越しに見える猫である。
Next, a display example of captured image data obtained by capturing the same imaging target as the captured
FIG. 7 is a diagram for explaining the relationship between the image data and the tilt angle in the imaging process flow of the imaging apparatus 1 according to the present embodiment.
Here, an example in which the imaging apparatus 1 captures an imaging target as illustrated in FIG. This imaging target is the same as the imaging target shown in FIG. 4A, and is a cat that looks through a window with a wooden frame parallel to each of the vertical direction X and the vertical direction Y.
図７（ｂ）は、撮像モードにおいて表示部２０６の表示画面に表示される撮像画面を示す。図７（ｂ）に示す通り、例えば基準姿勢に対して傾き角＝４５度で撮像装置１を維持した状態で操作部２０５に含まれるシャッターボタンが押下されると、傾き角検出部２０２によって撮像時の傾き角θ＝４５度が検出される。また、制御部２０３は、シャッターボタンが押下された際に、撮像素子１０２により得られた画像データを撮像画像データ６００として記憶接続部２０９に出力する。そして、この記憶接続部２０９がこの撮像画像データ６００に、撮像時傾き角θ＝４５度を対応付けて記憶媒体３００に記憶させる。
この撮像画像データ６００の画像は、図７（ｃ）に示す通り、撮像時に撮像装置１によって検出された傾き角＝４５度で、フレーム内の画像が傾いている画像である。つまり、撮像画像データ６００に含まれる木枠Ｔは、画像内において撮像時の傾き角θ＝４５度で傾いている。
FIG. 7B shows an imaging screen displayed on the display screen of the
As shown in FIG. 7C, the image of the captured
次に、撮像画像データ６００を表示部２０６に表示する表示例について説明する。図８は、本実施形態に係る撮像装置１の再生処理フローにおける画像データと傾き角との関係を説明するための図である。
図８（ａ）に示す通り、撮像装置１が基準姿勢である傾き角＝０度に維持された状態で、傾き角検出部２０２は、再生時の傾き角αとして傾き角＝０度を検出し、表示制御部２３２に出力する。
表示制御部２３２は、撮像時の傾き角θ＝４５度から再生時の傾き角α＝０度を減算し、補正傾き角λ＝４５度を得る。
そして、表示制御部２３２は、補正傾き角λ＝４５度に傾けられた撮像画像データ６００の画像を表示部２０６の表示画面に表示させる。これにより、表示部２０６は、図８（ａ）に示す通り、撮像画像データ６００に含まれる木枠Ｔが、表示時の実空間に対して撮像時の傾き角θ＝０度で表示される画像を表示する。
Next, a display example in which the captured
As shown in FIG. 8A, the tilt
The
Then, the
なお、図８（ｂ）には、撮像時の傾き角θが４５度、再生時の傾き角αが３０度である場合、補正傾き角λ＝２５度に基づき表示部２０６に表示される撮像画像データ６００の画像を示す。
また、図８（ｃ）には、撮像時の傾き角θが４５度、再生時の傾き角αが６０度である場合、補正傾き角λ＝３４５度に基づき表示部２０６に表示される撮像画像データ６００の画像を示す。
つまり、図８（ａ）〜（ｃ）に示すように、再生時の傾き角が変化した場合であっても、表示部２０６は、図８（ａ）〜（ｃ）に示す通り、撮像画像データ６００に含まれる木枠Ｔが、表示時の実空間に対して撮像時の傾き角θ＝０度で表示される画像を表示することができる。
FIG. 8B shows an image displayed on the
FIG. 8C shows an image displayed on the
That is, as shown in FIGS. 8A to 8C, even when the tilt angle during reproduction changes, the
上述の通り、本実施形態に係る撮像装置１は、再生モードにおいて、撮像画像データを表示部２０６に表示する際、記憶媒体３００を参照して、撮像画像データに対応付けられている撮像時の傾き角θを読み出すとともに、傾き角検出部２０２から検出される再生時の傾き角αを得る。そして、表示制御部２３２が、この撮像時の傾き角θから再生時の傾き角αを減算した差である補正傾き角λに基づき、撮像画像データの画像を傾けて表示部２０６に表示するようにした。
これにより、表示部２０６に画像を表示している表示装置２００が傾けられた場合であっても、撮像時の実空間における撮像対象の傾きで画像データの画像を表示することができる。
従って、表示部２０６に表示されている画像における撮像対象の水平方向と鉛直方向が、表示時の実空間における水平方向と鉛直方向に一致する。つまり、表示部２０６に表示される撮像対象（ここでは窓越しの猫を含む）は、再生時に撮像装置１が傾けられたとしても、撮像対象に含まれる水平方向な木枠が水平に、鉛直方向の木枠が鉛直に表示される。
As described above, the imaging device 1 according to the present embodiment refers to the
Thereby, even when the
Therefore, the horizontal direction and the vertical direction of the imaging target in the image displayed on the
次に、図９〜１１を参照して、表示制御モードの設定に応じて、補正傾き角λに傾けて表示される画像の表示制御の一例について説明する。
図９は、本実施形態に係る撮像装置１の再生処理フローの他の例を示すフローチャートである。
図５を用いて説明した通り、ステップＳＴ１１〜１３と同様の処理がなされたとする。
次いで、表示制御部２３２は、メモリ部２０８の表示制御記憶領域２８１に表示制御モードが設定されていることを示す表示制御モード情報が記憶されているか否かを判断し（ステップＳＴ２１）、表示制御モードが設定されていることを示す表示制御モード情報が記憶されている場合（ステップＳＴ２１−ＹＥＳ）、この表示制御モードに従って、撮像画像データの表示態様を制御する（ステップＳＴ２２）。
Next, with reference to FIGS. 9 to 11, an example of display control of an image displayed with an inclination to the correction inclination angle λ according to the setting of the display control mode will be described.
FIG. 9 is a flowchart showing another example of the reproduction processing flow of the imaging apparatus 1 according to the present embodiment.
As described with reference to FIG. 5, it is assumed that processing similar to steps ST11 to ST13 is performed.
Next, the
例えば、この表示制御モードの設定として「全体表示」が設定されている場合、表示制御部２３２は、撮像画像データの全体を表示部２０６の表示画面に表示させるように、再生時の傾き角αに応じて撮像画像データの表示倍率を制御するとともに、補正傾き角λに傾けた撮像画像データの画像を表示部２０６に表示させる。これにより、表示部２０６は、図１０に示すような画像を表示することができる。
また、表示制御モードの設定として「撮像対象表示」が設定されている場合、表示制御部２３２は、撮像画像データのうちＡＦポイントや顔認識ポイントの存在する画像領域が表示部２０６の表示画面の中央となるように、表示画面における撮像画像データの表示位置を制御するとともに、補正傾き角λに傾けた撮像画像データの画像を表示部２０６に表示させる。これにより、表示部２０６は、図１１に示すような画像を表示することができる。
一方、表示制御モードが設定されていない場合（ステップＳＴ２１−ＹＥＳ）、表示制御部２３２は、補正傾き角λに傾けた撮像画像データの画像を表示部２０６に表示させる。
For example, when “entire display” is set as the display control mode setting, the
In addition, when “imaging target display” is set as the display control mode setting, the
On the other hand, when the display control mode is not set (step ST21—YES), the
ここで、図１０を参照して、表示制御モードの設定として「全体表示」が設定されている場合において表示部２０６に表示される画像の一例について説明する。
図１０（ａ）は、撮像時の傾き角θ＝４５度である撮像画像データ６００の画像を、再生時の傾き角α＝０度に傾けられた撮像装置１に表示させる例を説明するための参考図である。上述の通り、表示制御モードの設定として「全体表示」が設定されている場合、表示制御部２３２は、メモリ部２０８の表示制御記憶領域２８１を参照して、撮像画像データの全体を表示部２０６の表示画面に表示させるように、再生時の傾き角αに応じて撮像画像データの表示倍率を制御する。
Here, with reference to FIG. 10, an example of an image displayed on the
FIG. 10A illustrates an example in which an image of the captured
具体的に説明すると、メモリ部２０８の表示制御記憶領域２８１は、撮像時の傾き角θに応じた撮像画像データの鉛直方向Ｙの最大長Ｒに当該撮像時の傾き角θを対応付けた情報を記憶する。また、この表示制御記憶領域２８１は、再生時の傾き角αで表示装置２００を傾けた場合において撮像時の傾き角θが対応付けられた画像を表示部２０６に表示する際、この表示部２０６の表示画面に撮像画像データの画像を全て表示する場合の鉛直方向のＹの最大長Ｐに対して、撮像時の傾き角θおよび再生時の傾き角αを対応付けた情報を記憶する。
More specifically, the display
この表示制御記憶領域２８１において「全体表示」が設定されていることを示す表示制御モード情報が記憶されている場合、撮像画像データ６００を表示するため、表示制御部２３２は、表示制御記憶領域２８１を参照して、撮像時の傾き角θ＝４５度に対応付けられている最大長Ｒを読み出す。また、表示制御部２３２は、傾き角検出部２０２により例えば再生時の傾き角α＝０度が検出された場合、撮像時の傾き角θ＝４５度および再生時の傾き角α＝０度に基づき、表示制御記憶領域２８１を参照して、撮像時の傾き角θ＝４５度および再生時の傾き角α＝０度に対応付けられている最大長Ｐを読み出す。そして、表示制御部２３２は、この最大長Ｐを最大長Ｒで除算した商を撮像画像データの表示倍率として算出し、得られた表示倍率で撮像画像データの倍率を変更して表示部２０６に表示させる。
これにより、図１０（ａ）に示す通り、表示部２０６は、表示時の実空間において撮像時の傾き角＝４５度で傾いている撮像画像データの全体を表示させることができる。また、撮影時の実空間において鉛直方向に平行な木枠Ｔが、この鉛直方向に平行に表示される。つまり、撮像時の実空間における撮像対象の地球重心に対する傾きと、再生時の実空間における表示画面内の撮像対象の地球重心に対する傾きが一致する。
When display control mode information indicating that “entire display” is set is stored in the display
As a result, as shown in FIG. 10A, the
また、図１０（ｂ）は、この撮像装置１が、再生時の傾き角＝３０度に傾けられた場合に表示部２０６に表示される画像の一例について説明するための図である。
上述の通り、表示制御部２３２は、表示制御記憶領域２８１を参照して、撮像時の傾き角θ＝４５度に対応付けられている最大長Ｒを読み出すとともに、撮像時の傾き角θ＝４５度および再生時の傾き角α＝３０度に対応付けられている最大長Ｐを読み出す。そして、表示制御部２３２は、この最大長Ｐを最大長Ｒで除算した表示倍率で撮像画像データの倍率を変更した画像を表示部２０６に表示させる。
これにより、図１０（ｂ）に示す通り、表示部２０６は、表示時の実空間において撮像時の傾き角＝４５度で傾いている撮像画像データの全体を表示させることができる。また、撮影時の実空間において鉛直方向に平行な木枠Ｔが、この鉛直方向に平行に表示される。
FIG. 10B is a diagram for explaining an example of an image displayed on the
As described above, the
As a result, as shown in FIG. 10B, the
このように、撮像画像データを表示部２０６に表示する際に、撮像画像データの画像の全体を表示することにより、ユーザは撮像画像データの全体を見ることができる。
また、再生時の傾き角αに合わせて撮像画像データの表示倍率を変更することにより、表示部２０６の表示画面のサイズに応じた画像を表示することができ、撮像画像データの全体を表示できる範囲における最大のサイズで撮像画像データの画像を表意部２０６に表示することができる。
Thus, when displaying the captured image data on the
In addition, by changing the display magnification of the captured image data in accordance with the inclination angle α at the time of reproduction, an image corresponding to the size of the display screen of the
次に、図１１を参照して、表示制御モードの設定として「撮像対象表示」が設定されている場合において表示部２０６に表示される画像の一例について説明する。
図１１（ａ）は、撮像時の傾き角θ＝４５度である撮像画像データ６００の画像を、再生時の傾き角α＝０度に傾けられた撮像装置１に表示させる例を説明するための参考図である。ここで、表示制御部２３２は、メモリ部２０８の表示制御記憶領域２８１を参照して、撮像画像データのうちＡＦポイントや顔認識ポイントの存在する画像領域が表示部２０６の表示画面の中央となるように、表示画面における撮像画像データの表示位置を制御する。
Next, an example of an image displayed on the
FIG. 11A illustrates an example in which an image of the captured
例えば、撮像対象である猫の顔を含む画像領域がＡＦポイントとして検出された場合、表示制御部２３２は、図１１（ａ）に示す通り、このＡＦポイントに矩形の表示マークを重畳させて表示するとともに、このＡＦポイントに対応する画像領域が、表示部２０６の表示画像の中央となる位置で、撮像画像データを表示させる。
また、図１１（ｂ）に示す通り、この撮像装置１が再生時の傾き角３０に傾けられた場合も、表示制御部２３２が、このＡＦポイントに対応する画像領域が、表示部２０６の表示領域の中央となる位置となるように、撮像画像データを表示させる。
For example, when an image area including the face of a cat to be imaged is detected as an AF point, the
Further, as shown in FIG. 11B, even when the imaging apparatus 1 is tilted to the tilt angle 30 during reproduction, the
これにより、表示時の実空間において撮像時の傾き角＝４５度で傾いている画像を表示するとともに、撮像画像データの画面内において撮像対象と認識された画像領域を表示画面の中央に表示することができる。また、撮影時の実空間において鉛直方向に平行な木枠Ｔが、この鉛直方向に平行に表示される。 As a result, an image tilted at a tilt angle of 45 degrees during imaging in the real space at the time of display is displayed, and an image area recognized as an imaging target in the screen of the captured image data is displayed at the center of the display screen. be able to. Further, the wooden frame T parallel to the vertical direction in the real space at the time of shooting is displayed in parallel to the vertical direction.
なお、本発明に係る表示装置２００は、ＡＦポイントや顔認識ポイントを表示部２０６の表示画面の中央に表示するように制御するものに限られず、例えば、操作部２０５を介してユーザによって選択された撮像画像データにおける位置を表示画面の中央に表示するようにしてもよい。
例えば、表示制御部２３２は、表示制御モードの設定として「撮像対象表示」が設定されていると判断した場合、撮像画像データのうちユーザによって指定された画像領域が表示部２０６の表示画面の中央となるように、表示画面における撮像画像データの表示位置を制御するとともに、補正傾き角λに傾けた撮像画像データの画像を表示部２０６に表示させる。
ここで、ユーザが、表示部２０６の表示画面を見ながら、表示されている撮像画像データにおける特定の領域を指定すると、表示制御部２３２は、このユーザが指定した画像領域を表示部２０６の表示画面の中央となるように、表示画面における撮像画像データの表示位置を制御する。
これにより、表示時の実空間において撮像時の傾き角で傾いている画像を表示するとともに、ユーザによって指定された任意の画像領域を表示部２０６の中央に表示することができ、撮像画像データが見やすくなる。
Note that the
For example, when the
Here, when the user designates a specific area in the displayed captured image data while viewing the display screen of the
As a result, an image that is tilted at the tilt angle at the time of imaging in the real space at the time of display can be displayed, and an arbitrary image area designated by the user can be displayed at the center of the
また、撮像画像データに対応付けられる撮像時の傾き角θは、画像の傾きを示すものであれば撮像時に検出される撮像装置１の傾き角でなくてもよく、撮像画像データに対して与えられた画像の傾きを示す角度であればよい。例えば、画像データの画像内容に応じて人によって算出された撮像時の傾き角θが与えられるものであってもよい。 In addition, the inclination angle θ at the time of imaging associated with the captured image data may not be the inclination angle of the imaging apparatus 1 detected at the time of imaging as long as it indicates the inclination of the image, and is given to the captured image data. Any angle may be used as long as it indicates the inclination of the obtained image. For example, an inclination angle θ at the time of imaging calculated by a person according to the image content of the image data may be given.
さらに、表示部２０６は、図１２に示すように、表示装置２００の本体と接続部を介して接続され、この接続部を回転中心として回転する構成であってもよい。この場合、表示部２０６は、表示装置２００本体の傾き角を検出する傾き角検出部２０２に加えて、表示部２０６の傾き角を検出する傾き角検出部２６１をさらに備える。あるいは、接続部の移動量を検出するセンサを搭載し、このセンサからの検出値と傾き角検出部２０２によって検出された傾き角を合成して、表示部２０６の傾き角を検出する構成であってもよい。
具体的に説明すると、表示部２０６は、図１２（ａ）に示す通り、基本姿勢にある撮像装置１の水平方向Ｚの負方向に１８０度開くように回転可能である。
また、表示部２０６は、図１２（ｂ）に示す通り、水平方向Ｚの負方向に１８０度開かれた状態で、鉛直方向Ｙに平行な回転軸を中心に、水平方向Ｘの負方向側に９０度、かつ、水平方向Ｘの正方向側に９０度の範囲を回転可能である。
傾き角検出部２６１は、このように回転させられる表示部２０６の傾きを検出する。なお、表示部２０６の基準姿勢は、図２（ａ）に示す通り、水平方向Ｚの負方向に表示画面が見えている状態をいう。
この場合、表示制御部２３２は、撮像時の傾き各θから、この傾き角検出部２６１によって検出された傾き角を減算して、補正傾き角λを算出することができる。
Furthermore, as shown in FIG. 12, the
More specifically, as shown in FIG. 12A, the
Further, as shown in FIG. 12B, the
The tilt
In this case, the
また、撮像装置１は、表示部２０６に撮像画像データを表示している状態において、当該撮像画像データに対応付けられている撮像時の傾き角θと、傾き角検出部２０２によって検出される再生時の傾き角αとが一致するか否かを判断し、両者が一致した場合に、表示部２０６にその旨を通知するものであってもよい。
この通知方法としては、画像の傾きと同一であることや撮像装置１の傾きが撮像時と同一の傾きとなっていることを表わす文字やアイコンを表示するものであってもよく、傾き角が一致したことを音声で報知するものであってもよい。
これにより、ユーザは、撮像時の傾き角で傾けられた状態で、撮像画像データを表示していることを認識することができる。よって、撮像画像データの画像を表示部２０６に表示してみているユーザは、例えば撮像画像データにおける撮像対象をどのような方向から撮影者が見ていたかを知ることができる。
Further, in the state where the captured image data is displayed on the
As this notification method, a character or icon indicating that the inclination of the image is the same as that of the image or that the inclination of the imaging device 1 is the same as that at the time of imaging may be displayed. You may alert | report that it corresponded by an audio | voice.
Thereby, the user can recognize that the captured image data is displayed in a state where the user is tilted at the tilt angle at the time of imaging. Therefore, the user who is displaying the image of the captured image data on the
さらに、この撮像装置１は、撮像モードにおいて表示部２０６にスルー画データの画像を表示するとともに、操作部２０５を介してユーザから選択された撮像画像データの画像を半透明にして、スルー画データの画像の上に重畳して表示するものであってもよい。
この場合、半透明で表示されている撮像画像データに対応付けられている撮像時の傾き角θと傾き角検出部２０２によって検出される再生時の傾き角αとが一致する場合に、表示部２０６にその旨を通知するものであってもよい。
これにより、ユーザは、撮像画像データが撮像された時の傾き角で撮像装置１が傾けられた状態であることを認識することができる。よって、表示部２０６に表示されているスルー画データを見ながら撮像装置１で撮像対象を撮像しようとしているユーザは、撮像画像データにおける撮像対象をどのような方向から撮像画像データの撮影者が見ていたかを撮像時に知ることができ、当該撮像者と同一の角度で撮像装置１を傾けて撮像対象を撮影することも可能となる。
Furthermore, the imaging apparatus 1 displays the image of the through image data on the
In this case, when the tilt angle θ at the time of imaging associated with the captured image data displayed in a translucent manner matches the tilt angle α at the time of reproduction detected by the tilt
Thereby, the user can recognize that the imaging device 1 is tilted at the tilt angle when the captured image data is captured. Therefore, a user who is going to capture an imaging target with the imaging device 1 while viewing the through image data displayed on the
また、上述の実施形態において、傾き角が０度の場合を基本姿勢として説明したが、本発明はこれに限られず、予め決められた角度に傾けられた状態を基準姿勢としてもよい。 In the above-described embodiment, the case where the tilt angle is 0 degree has been described as the basic posture. However, the present invention is not limited to this, and a state tilted to a predetermined angle may be used as the reference posture.
また、制御部２０３等による手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。
In addition, a program for realizing the procedure by the
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
Further, the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (Dynamic) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)) that holds a program for a certain period of time is also included.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above.
Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
１…撮像装置、１００…撮像部、１０１…光学系、１０２…撮像素子、１０３…Ａ/Ｄ変換部、２００…表示装置、２０１…撮像接続部、２０２…傾き角検出部、２０３…制御部、２０４…画像処理部、２０５…操作部、２０６…表示部、２０７…バッファメモリ部、２０８…メモリ部、２０９…記憶接続部、３００…記憶媒体部 DESCRIPTION OF SYMBOLS 1 ... Imaging device, 100 ... Imaging part, 101 ... Optical system, 102 ... Imaging device, 103 ... A / D conversion part, 200 ... Display apparatus, 201 ... Imaging connection part, 202 ... Inclination angle detection part, 203 ... Control part , 204 ... Image processing unit, 205 ... Operation unit, 206 ... Display unit, 207 ... Buffer memory unit, 208 ... Memory unit, 209 ... Storage connection unit, 300 ... Storage medium unit
Claims (11)
前記表示部の傾きを示す第２傾き角情報を検出する傾き角検出部と、
前記第１傾き角情報および前記第２傾き角情報に基づき、実空間に対して前記第１傾き角情報の傾きで前記画像データの画像を前記表示部に表示させる表示制御部と
を備えることを特徴とする表示装置。 A display unit for displaying an image of the image data based on the image data associated with the first inclination angle information indicating the inclination of the image;
An inclination angle detection unit for detecting second inclination angle information indicating the inclination of the display unit;
A display control unit that displays an image of the image data on the display unit at a tilt of the first tilt angle information with respect to a real space based on the first tilt angle information and the second tilt angle information. Characteristic display device.
前記第１の傾き角情報の傾き角から前記第２の傾き角情報の傾き角を減算し、この差を第３の傾き角情報として得て、前記第３の傾き角情報が示す傾きで前記画像データを傾けた画像を前記表示部に表示させることを特徴とする請求項１に記載の表示装置。 The display control unit
The inclination angle of the second inclination angle information is subtracted from the inclination angle of the first inclination angle information, and the difference is obtained as third inclination angle information, and the inclination indicated by the third inclination angle information is The display device according to claim 1, wherein an image obtained by tilting image data is displayed on the display unit.
前記表示部の画面サイズに応じて、前記表示部に前記画像データの全てを表示するような画像サイズに前記画像データの画像サイズを変更することを特徴とする請求項１あるいは２に記載の表示装置。 The display control unit
3. The display according to claim 1, wherein the image size of the image data is changed to an image size that displays all of the image data on the display unit according to a screen size of the display unit. apparatus.
前記表示制御部は、
前記付属情報に基づき、前記撮像対象を示す画像領域の画像を前記表示部の表示画面の中央に表示させることを特徴とする請求項１から３のいずれか一項に記載の表示装置。 The image data is associated with attached information indicating an image area to be imaged in the image of the image data,
The display control unit
4. The display device according to claim 1, wherein an image of an image area indicating the imaging target is displayed at a center of a display screen of the display unit based on the attached information. 5.
前記画像データが撮像される際にピントが合っている領域、または、前記画像データが撮像される際に人物の顔と認識された領域であることを特徴とする請求項４に記載の表示装置。 The attached information indicating the image area of the image object is
5. The display device according to claim 4, wherein the display device is a region that is in focus when the image data is captured, or a region that is recognized as a human face when the image data is captured. .
表示制御部は、
前記操作情報に基づき、前記操作部を介して前記ユーザにより指定された画像領域の画像を前記表示部の表示画面の中央に表示させることを特徴とする請求項１から３のいずれか一項に記載の表示装置。 It further includes an operation unit that receives an operation from the user and outputs operation information corresponding to the operation,
The display control unit
The image of the image area designated by the user via the operation unit is displayed at the center of the display screen of the display unit based on the operation information. The display device described.
前記表示制御部は、
前記操作情報に基づき、前記第１傾き角情報の傾きで傾いている画像を前記表示画面に表示させる制御を実行する状態と実行しない状態とを切り替え、実行する状態の場合のみ、前記第１傾き角情報および前記第２傾き角情報に基づき、実空間に対して前記第１傾き角情報の傾きで前記画像データの画像を前記表示部に表示させることを特徴とする請求項１から６のいずれか一項に記載の表示装置。 It further includes an operation unit that receives an operation from the user and outputs operation information corresponding to the operation,
The display control unit
Based on the operation information, the first inclination is changed only between the state in which the control for displaying the image inclined at the inclination of the first inclination angle information on the display screen is executed and the state in which the control is not executed. The image of the image data is displayed on the display unit at a tilt of the first tilt angle information with respect to a real space based on the corner information and the second tilt angle information. A display device according to claim 1.
前記傾き角検出部から連続して入力される傾き角の差分が一定の許容範囲内となる状態を検出した場合、前記第１傾き角情報および前記第２傾き角情報に基づき、実空間に対して前記第１傾き角情報の傾きで前記画像データの画像を前記表示部に表示させることを特徴とする請求項１から７のいずれか一項に記載の表示装置。 The display control unit
When a state in which the difference between the tilt angles continuously input from the tilt angle detection unit is within a certain allowable range is detected, the real space is determined based on the first tilt angle information and the second tilt angle information. The display device according to claim 1, wherein an image of the image data is displayed on the display unit with the inclination of the first inclination angle information.
第１傾き角情報の傾きと前記第２傾き角情報の傾きが一致するか否かを判断し、一致すると判断した場合、前記第２傾き角情報の傾きが前記第１傾き角情報の傾きに一致していることを通知することを特徴とする請求項１から８のいずれか一項に記載の表示装置。 The display control unit
It is determined whether or not the inclination of the first inclination angle information and the inclination of the second inclination angle information match, and if it is determined that they match, the inclination of the second inclination angle information becomes the inclination of the first inclination angle information. The display device according to any one of claims 1 to 8, wherein a notification of matching is given.
被写体を撮像して画像データを生成する撮像部と、を備え、
前記第１傾き角情報は、
前記撮像部によって撮像された際に前記傾き角検出部によって検出された傾き角であることを特徴とする撮像装置。 Any one display device according to claim 1;
An imaging unit that images the subject and generates image data,
The first tilt angle information is:
An imaging apparatus, wherein the imaging apparatus is an inclination angle detected by the inclination angle detection unit when imaged by the imaging unit.
画像の傾きを示す第１傾き角情報が対応付けられた画像データに基づき、表示画面に前記画像データの画像を表示部に表示する手段と、
前記表示画面の傾きを示す第２傾き角情報を検出する手段と、
前記第１傾き角情報および前記第２傾き角情報に基づき、実空間に対して前記第１傾き角情報の傾きで前記画像データの画像を前記表示部に表示させる手段
として機能させるためのプログラム。 Computer
Means for displaying the image of the image data on a display screen on the display unit based on the image data associated with the first inclination angle information indicating the inclination of the image;
Means for detecting second tilt angle information indicating the tilt of the display screen;
A program for functioning as a means for displaying an image of the image data on the display unit at a tilt of the first tilt angle information with respect to a real space based on the first tilt angle information and the second tilt angle information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010040017A JP5540765B2 (en) | 2010-02-25 | 2010-02-25 | Display device, imaging device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010040017A JP5540765B2 (en) | 2010-02-25 | 2010-02-25 | Display device, imaging device, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011176677A true JP2011176677A (en) | 2011-09-08 |
| JP5540765B2 JP5540765B2 (en) | 2014-07-02 |
Family
ID=44689110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010040017A Expired - Fee Related JP5540765B2 (en) | 2010-02-25 | 2010-02-25 | Display device, imaging device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5540765B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013078539A1 (en) * | 2011-11-28 | 2013-06-06 | Ati Technologies Ulc | Method and apparatus for correcting rotation of video frames |
| JP2018088625A (en) * | 2016-11-29 | 2018-06-07 | 株式会社富士通ゼネラル | Image processing device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006293782A (en) * | 2005-04-12 | 2006-10-26 | Fuji Photo Film Co Ltd | Image processing device and image processing program |
| JP2007006162A (en) * | 2005-06-24 | 2007-01-11 | Sanyo Electric Co Ltd | Image processor |
| JP2008227871A (en) * | 2007-03-12 | 2008-09-25 | Canon Inc | Imaging device, its control method, program, and storage medium |
| JP2009124314A (en) * | 2007-11-13 | 2009-06-04 | Nikon Corp | Camera, and image processing program |
-
2010
- 2010-02-25 JP JP2010040017A patent/JP5540765B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006293782A (en) * | 2005-04-12 | 2006-10-26 | Fuji Photo Film Co Ltd | Image processing device and image processing program |
| JP2007006162A (en) * | 2005-06-24 | 2007-01-11 | Sanyo Electric Co Ltd | Image processor |
| JP2008227871A (en) * | 2007-03-12 | 2008-09-25 | Canon Inc | Imaging device, its control method, program, and storage medium |
| JP2009124314A (en) * | 2007-11-13 | 2009-06-04 | Nikon Corp | Camera, and image processing program |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013078539A1 (en) * | 2011-11-28 | 2013-06-06 | Ati Technologies Ulc | Method and apparatus for correcting rotation of video frames |
| US8731335B2 (en) | 2011-11-28 | 2014-05-20 | Ati Technologies Ulc | Method and apparatus for correcting rotation of video frames |
| JP2018088625A (en) * | 2016-11-29 | 2018-06-07 | 株式会社富士通ゼネラル | Image processing device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5540765B2 (en) | 2014-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11917299B2 (en) | Image processing device and associated methodology for generating panoramic images | |
| JP5413344B2 (en) | Imaging apparatus, image composition method, and program | |
| JP5397751B2 (en) | Camera and image correction method | |
| JP2006245726A (en) | Digital camera | |
| WO2010073608A1 (en) | Image pickup equipment | |
| JP5522545B2 (en) | Imaging apparatus, imaging method, and program | |
| JP2012075018A (en) | Reproduction device and method, and program | |
| JP2007201539A (en) | Digital camera | |
| US11902660B2 (en) | Image processing device, image processing method, and program | |
| JP5703788B2 (en) | Imaging apparatus, image processing apparatus, and image processing program | |
| KR20120002834A (en) | Image pickup apparatus for providing reference image and method for providing reference image thereof | |
| KR20110055241A (en) | Digital photographing apparatus and method for controlling the same | |
| US9344630B2 (en) | Imaging apparatus, imaging method and recording medium | |
| JP5540765B2 (en) | Display device, imaging device, and program | |
| JP5248951B2 (en) | CAMERA DEVICE, IMAGE SHOOTING SUPPORT DEVICE, IMAGE SHOOTING SUPPORT METHOD, AND IMAGE SHOOTING SUPPORT PROGRAM | |
| WO2020170604A1 (en) | Information processing device, information processing method, and program | |
| JP5954987B2 (en) | Imaging apparatus and processing method thereof | |
| JP2012142663A (en) | Image processing device, control method thereof, and program | |
| JP2008244805A (en) | Digital camera | |
| JP2009094741A (en) | Imaging device, imaging method and program | |
| JP5156565B2 (en) | Information recording / reproducing device | |
| JP2008065851A (en) | Information processing apparatus and recording medium | |
| JP2011071572A (en) | Imaging apparatus | |
| JP2006229697A (en) | Image pickup device | |
| KR101411312B1 (en) | Digital image processing apparatus comprising the function of holding image angle and the method of controlling the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140317 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140408 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140421 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5540765 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |