JP2010103676A - 撮像装置、撮像領域表示方法および撮像領域表示プログラム - Google Patents

撮像装置、撮像領域表示方法および撮像領域表示プログラム Download PDF

Info

Publication number
JP2010103676A
JP2010103676A JP2008271876A JP2008271876A JP2010103676A JP 2010103676 A JP2010103676 A JP 2010103676A JP 2008271876 A JP2008271876 A JP 2008271876A JP 2008271876 A JP2008271876 A JP 2008271876A JP 2010103676 A JP2010103676 A JP 2010103676A
Authority
JP
Japan
Prior art keywords
image
display
area
imaging
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008271876A
Other languages
English (en)
Other versions
JP4655135B2 (ja
Inventor
Hiroyuki Suzuki
浩之 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008271876A priority Critical patent/JP4655135B2/ja
Priority to US12/587,599 priority patent/US8300134B2/en
Priority to CN2009102077346A priority patent/CN101729788B/zh
Publication of JP2010103676A publication Critical patent/JP2010103676A/ja
Application granted granted Critical
Publication of JP4655135B2 publication Critical patent/JP4655135B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0442Handling or displaying different aspect ratios, or changing the aspect ratio
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/02Graphics controller able to handle multiple formats, e.g. input or output formats

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

【課題】複数のアスペクト比の画像を同時撮影する際のユーザビリティを高めることが可能な撮像装置を提供する。
【解決手段】被写体の映像から、第1のアスペクト比で構成される第1撮像領域に対応する画像と、異なる第2のアスペクト比で構成される第2撮像領域に対応する画像と、を抽出して記録する画像記録範囲抽出部と、被写体の映像から、ディスプレイの表示可能領域のアスペクト比で構成される画像を、第1撮像領域が最大限に表示される範囲で抽出する画像表示範囲抽出部と、第2撮像領域が画像表示範囲抽出部により抽出された画像の領域外に存在する場合に、第2撮像領域がディスプレイの表示可能領域外に存在することを示す領域通知画像を生成する領域通知画像生成部と、画像表示範囲抽出部により抽出された画像に領域通知画像を合成して表示画像を生成する画像合成部と、生成された表示画像をディスプレイに表示させる表示制御部と、を備えた。
【選択図】図1

Description

本発明は、撮像装置、撮像領域表示方法および撮像領域表示プログラムに関する。
近年のデジタルビデオカメラ等の撮像装置は、撮影する画像のアスペクト比を、例えば、4:3や16:9といった複数のアスペクト比に切り替えて撮影することができる。また、撮像装置には、例えば、16:9のアスペクト比の動画像を撮影しながら、4:3のアスペクト比の静止画を同時に撮影する機能が備えられることもある。このように、複数のアスペクト比の画像を同時に撮影可能な機能を備える場合には、ディスプレイなどを介して複数のアスペクト比に対応する適切な撮影領域をユーザに示す必要がある。
例えば、特許文献1においては、同時に撮影する画像のアスペクト比に応じて、各アスペクト比に対応するガイドフレームを動的に切り替えて、液晶ディスプレイなどの表示器に表示させる技術が開示されている。このような特許文献1に記載された技術を利用することにより、ユーザは、表示器に表示されたガイドフレームを参考にして、それぞれのアスペクト比に対応する画像がどのような範囲で記録されるかを視覚的に認識することができる。
特開2006−180152号公報
しかし、上記特許文献1に記載の技術では、表示器に対して複数のアスペクト比の撮影領域をガイドフレームで示すため、表示器の表示可能領域にそれぞれのガイドフレームを表示させる必要がある。したがって、各アスペクト比に対応するガイドフレームは、必ず表示器の表示可能領域よりも小さい範囲で表示されることとなる。この結果、表示器の表示可能領域の画像と比較して実際に記録される撮影領域が小さいため、ユーザビリティが悪いという問題があった。
これは、例えば、複数のアスペクト比の画像を撮影する場合において、1のアスペクト比の画像を主として撮影し、他のアスペクト比の画像を参考として撮影する場合などに特に顕著となる問題である。すなわち、表示器には、主として撮影するアスペクト比の画像に対応するガイドフレームと、参考として撮影するアスペクト比の画像に対応するガイドフレームと、が同時に表示される。したがって、例えば、参考として撮影するアスペクト比の画像が、主として撮影するアスペクト比の画像よりも大きい場合、主として撮影するアスペクト比の画像に対応するガイドフレームが表示器の表示可能領域において小さく表示されてしまう。この結果、ユーザは、小さく表示されたガイドフレーム内の画像を見て、フレーミング、フォーカシングなどの調整・操作をして主となるアスペクト比の画像を撮影する必要があり、ユーザビリティに優れていないという問題が発生する。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数のアスペクト比の画像を同時撮影する際のユーザビリティを高めることが可能な、新規かつ改良された撮像装置、撮像領域表示方法および撮像領域表示プログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、撮像対象となる被写体の映像から、所定の第1のアスペクト比で構成される第1撮像領域に対応する画像と、前記第1のアスペクト比とは異なる所定の第2のアスペクト比で構成される第2撮像領域に対応する画像と、を抽出して記録する画像記録範囲抽出部と、前記撮像対象となる被写体の映像から、前記第1撮像領域および前記第2撮像領域に対応する画像を表示するディスプレイの表示可能領域のアスペクト比で構成される画像を、前記第1撮像領域が最大限に表示される範囲で抽出する画像表示範囲抽出部と、前記第2撮像領域が前記画像表示範囲抽出部により抽出された画像の領域外に存在する場合に、前記第2撮像領域が前記ディスプレイの表示可能領域外に存在することを示す領域通知画像を生成する領域通知画像生成部と、前記画像表示範囲抽出部により抽出された画像に、前記領域通知画像生成部により生成された領域通知画像を合成して表示画像を生成する画像合成部と、前記画像合成部により生成された表示画像を前記ディスプレイに表示させる表示制御部と、を備える撮像装置が提供される。
係る構成により、画像記録範囲抽出部は、撮像対象となる被写体の映像から、所定の第1のアスペクト比で構成される第1撮像領域に対応する画像と、前記第1のアスペクト比とは異なる所定の第2のアスペクト比で構成される第2撮像領域に対応する画像と、を抽出して記録することができる。また、画像表示範囲抽出部は、撮像対象となる被写体の映像から、第1撮像領域および第2撮像領域に対応する画像を表示するディスプレイの表示可能領域のアスペクト比で構成される画像を、第1撮像領域が最大限に表示される範囲で抽出することができる。また、領域通知画像生成部は、第2撮像領域が画像表示範囲抽出部により抽出された画像の領域外に存在する場合に、第2撮像領域がディスプレイの表示可能領域外に存在することを示す領域通知画像を生成することができる。また、画像合成部は、画像表示範囲抽出部により抽出された画像に、領域通知画像生成部により生成された領域通知画像を合成して表示画像を生成することができる。さらに、表示制御部は、画像合成部により生成された表示画像をディスプレイに表示させることができる。
また、前記領域通知画像生成部は、前記ディスプレイの表示可能領域外に存在する前記第2撮像領域の方向を示す領域通知アイコンを含む前記領域通知画像を生成することもできる。
また、前記領域通知画像生成部は、前記ディスプレイの表示可能領域内に前記第2撮像領域の境界の一部が存在する場合には、前記第2撮像領域の境界を示すガイドフレームを含む前記領域通知画像を生成することもできる。
また、前記第1のアスペクト比および前記第2のアスペクト比の組み合わせは、ユーザにより任意に選択されるアスペクト比とすることもできる。
また、前記第1のアスペクト比および前記第2のアスペクト比の組み合わせは、ユーザにより選択される撮像モードに応じて自動で切り替えられることもできる。
また、前記領域通知画像生成部は、前記画像記録範囲抽出部が前記第2撮像領域に対応する画像を記録中の場合には、前記画像記録範囲抽出部が前記第2撮像領域に対応する画像を記録していない場合における領域通知画像とは異なる領域通知画像を生成することもできる。
また、前記画像記録範囲抽出部は、前記ディスプレイの表示可能領域外に存在する前記第2撮像領域に、所定のメモ情報を合成して前記第2撮像領域に対応する画像を記録することもできる。
また、前記ディスプレイを一体として備え、前記表示制御部は、前記画像合成部により生成された表示画像を該ディスプレイに表示させることもできる。
また、前記表示制御部は、外部接続される所定の外部機器が備えるディスプレイに、前記画像合成部により生成された表示画像を表示させることもできる
また、上記課題を解決するために、本発明の別の観点によれば、撮像対象となる被写体の映像から、所定の第1のアスペクト比で構成される第1撮像領域に対応する画像と、前記第1のアスペクト比とは異なる所定の第2のアスペクト比で構成される第2撮像領域に対応する画像と、を表示するディスプレイの表示可能領域のアスペクト比で構成される画像を、前記第1撮像領域が最大限に表示される範囲で抽出する画像表示範囲抽出ステップと、前記第2撮像領域が前記画像表示範囲抽出ステップにより抽出された画像の領域外に存在する場合に、前記第2撮像領域が前記ディスプレイの表示可能領域外に存在することを示す領域通知画像を生成する領域通知画像生成ステップと、前記画像表示範囲抽出ステップにより抽出された画像に、前記領域通知画像生成ステップにより生成された領域通知画像を合成して表示画像を生成する画像合成ステップと、前記画像合成ステップにより生成された表示画像を前記ディスプレイに表示させる表示制御ステップと、を含む撮像領域表示方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、撮像対象となる被写体の映像から、所定の第1のアスペクト比で構成される第1撮像領域に対応する画像と、前記第1のアスペクト比とは異なる所定の第2のアスペクト比で構成される第2撮像領域に対応する画像と、を表示するディスプレイの表示可能領域のアスペクト比で構成される画像を、前記第1撮像領域が最大限に表示される範囲で抽出する画像表示範囲抽出処理と、前記第2撮像領域が前記画像表示範囲抽出処理により抽出された画像の領域外に存在する場合に、前記第2撮像領域が前記ディスプレイの表示可能領域外に存在することを示す領域通知画像を生成する領域通知画像生成処理と、前記画像表示範囲抽出処理により抽出された画像に、前記領域通知画像生成処理により生成された領域通知画像を合成して表示画像を生成する画像合成処理と、前記画像合成処理により生成された表示画像を前記ディスプレイに表示させる表示制御処理と、をコンピュータに実行させる撮像領域表示プログラムが提供される。
以上説明したように本発明によれば、複数のアスペクト比の画像を同時撮影する際のユーザビリティを高めることが可能である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、説明は以下の順序で行うものとする。
1.本発明の実施形態の概要
2.実施形態の1つに係る撮像装置100の機能構成
3.フレームモードの種類
4.撮影領域の表示処理フロー
5.画像データ記録時の撮影領域の表示処理フロー
6.撮像装置100による同時撮影の利用例
7.撮像装置100のハードウェア構成
8.まとめ
(1.本発明の実施形態の概要)
本発明の実施形態の1つに係る撮像装置100の詳細を説明するにあたり、まず従来技術と比較しながら本実施形態の概要について説明する。
上述したように、従来のデジタルスチルカメラ、デジタルビデオカメラなどの撮像装置には、例えば、4:3や16:9といった複数のアスペクト比の画像を同時に撮影する機能を備えていることがある。このように、複数のアスペクト比の画像を同時に撮影可能な機能を備える場合には、ディスプレイなどを介して複数のアスペクト比に対応する適切な撮影領域をユーザに示す必要がある。
同時に複数の撮影領域をユーザに示す方法としては、上述した特許文献1に記載の技術が知られている。特許文献1においては、同時に撮影する画像のアスペクト比に応じて、各アスペクト比に対応するガイドフレームを動的に切り替えて、液晶ディスプレイなどの表示器に表示させる技術が記載されている。
図14は、特許文献1に記載の技術を利用した撮像装置において、複数のアスペクト比に対応する撮影領域を表示する表示器の表示例を示す説明図である。ここで、図14に示す例は、ユーザが16:9のアスペクト比の動画を撮影しながら、当該動画よりも画像サイズの大きい4:3のアスペクト比の静止画を同時に撮影する場合の表示例である。図14に示すように、表示器の表示可能領域10には、撮影用の撮像素子などにより捉えられた被写体の映像(以下、スルー画像という)が画像表示領域に表示される。また、表示器の表示可能領域10には、16:9のアスペクト比の動画の撮影領域を表す動画ガイドフレーム14が破線で表示されている。さらに、表示器の表示可能領域10には、4:3のアスペクト比の静止画の撮影領域を表す静止画ガイドフレーム12が実線で表示されている。これにより、ユーザは、表示器を見ることにより、16:9の動画および4:3の静止画がどのような範囲で記録されるかを視覚的に認識することができる。
図15は、特許文献1に記載の技術を利用した撮像装置において、16:9のアスペクト比の表示可能領域10を有する表示器に表示させる、複数のアスペクト比に対応する撮影領域のガイドフレームの組み合わせ例を示す説明図である。図15を参照すると、4:3または16:9のアスペクト比の動画を撮影しながら4:3または16:9のアスペクト比の静止画を同時に撮影する場合における、両アスペクト比の撮影領域のガイドフレームの表示例が示されている。
例えば、図15の(a)には、16:9のアスペクト比の動画を撮影しながら、当該動画よりも画像サイズの大きい16:9のアスペクト比の静止画を同時に撮影する場合のガイドフレームの表示例が示されている。また、図15の(b)には、16:9の動画と4:3の静止画のように異なるアスペクト比の画像を同時に撮影する場合の表示器の表示例が示されている。同様に、図15の(c)は4:3の動画と16:9の静止画、(d)は4:3の動画と4:3の静止画を同時に撮影する場合のガイドフレームの表示例が示されている。これによりユーザは、表示器に表示されたガイドフレームを見ることで、動画および静止画がどのような範囲で記録されるかを確認しながら、動画および静止画を同時に撮影することができる。
しかし、特許文献1に記載の技術を利用した撮像装置では、表示器に複数の撮影領域に対応するガイドフレームが表示されるため、少なくとも1のガイドフレームは必ず表示器の表示可能領域10よりも小さい範囲で表示されることとなる。この結果、表示器の表示器の表示可能領域10と比較して実際に記録される撮影領域を示すガイドフレームが小さいため、ユーザビリティが悪いという問題があった。
このような問題は、例えば、複数のアスペクト比の画像を撮影する場合において、1のアスペクト比の画像を主として撮影し、他のアスペクト比の画像を参考として撮影する場合などに特に顕著となる問題である。すなわち、表示器には、主として撮影するアスペクト比の画像に対応するガイドフレームと、参考として撮影するアスペクト比の画像に対応するガイドフレームと、が同時に表示される。したがって、例えば、参考として撮影するアスペクト比の画像が、主として撮影するアスペクト比の画像よりも大きい場合、主として撮影するアスペクト比の画像に対応するガイドフレームが表示器の表示可能領域10において小さく表示されてしまう。この結果、ユーザは、小さく表示されたガイドフレーム内の画像を見て、フレーミング、フォーカシングなどの調整・操作をして主となるアスペクト比の画像を撮影する必要があり、ユーザビリティに優れていないという問題が発生する。
この問題点について、ユーザが、16:9のアスペクト比の動画を主として撮影しながら、当該動画よりも画像サイズの大きい4:3のアスペクト比の静止画を参考画像として同時に撮影する場合を例に以下説明する。図16は、従来の撮像装置において、16:9のアスペクト比の動画撮影と、当該動画よりも画像サイズの大きい4:3のアスペクト比の静止画撮影と、を同時に撮影する場合の表示器の表示例を示す説明図である。
図16に示すように、16:9のアスペクト比の表示サイズに対応する表示器には、より大きな画像サイズの4:3の静止画の撮影領域を最大限に表示するスルー画像が表示されている。さらに、当該スルー画像の中には、16:9の動画撮影領域に対応する動画ガイドフレーム14が表示されている。この結果、ユーザは、4:3のアスペクト比の参考画像を撮影する際に、表示器に表示されている画像を見て撮影することができる。また、ユーザは、主として撮影を希望する16:9の動画については、表示器に表示されている動画ガイドフレーム14を参考にしてフレーミング、フォーカシングなどの調整・操作を行って撮影することができる。なお、図16に示す例では、説明の便宜上4:3の撮影領域外についてはスルー画像を表示させていないが、表示器の表示可能領域10全体にスルー画像が表示され、スルー画像の中に静止画ガイドフレーム12が表示されることもある。
しかしながら、表示器には、主として撮影する16:9の動画撮影領域に対応する動画ガイドフレーム14は、参考として撮影する4:3の静止画撮影領域よりも小さく表示されている。すなわち、ユーザが実際に詳細な撮影状況を確認したい16:9の動画撮影領域に対応する動画ガイドフレーム14が、表示器の表示可能領域10内で小さく表示されることとなる。この結果、ユーザは、16:9の動画撮影時には、より細かくフレーミングやフォーカシング等の調整・操作を行いたいにも関わらず、動画ガイドフレーム14が表示器の表示可能領域10に大きく表示されないため、ユーザビリティが悪いという問題があった。
このような問題に対しては、例えば、図17に示すように、単純に主として撮影する16:9のアスペクト比の動画撮影領域30を表示器の表示可能領域10に最大限に表示させることも考えられる。しかしながら、このような場合、参考として撮影する4:3のアスペクト比の静止画撮影領域32が表示器の表示可能領域10には一切表示されないこととなる。この結果、ユーザは、表示器に表示されているスルー画像を見ても、4:3のアスペクト比の静止画がどのように記録されるのかを一切認識することができず、ユーザビリティを改善することはできない。
本発明の実施形態の1つに係る撮像装置100は、以上のような従来の撮像装置の問題点を解決するものである。
具体的には、撮像装置100は、主として撮影するアスペクト比の画像(以下、メイン画像という)の撮影領域(以下、メイン画像撮影領域という)を表示器の表示可能領域に最大限に表示させる。さらに撮像装置100は、メイン画像のアスペクト比とは異なるアスペクト比の画像(以下、サブ画像という)の撮影領域(以下、サブ画像撮影領域という)の大きさに応じて、サブ画像撮影領域の表示器への表示切替えを制御する。具体的には、撮像装置100は、サブ画像撮影領域の大きさに応じて、サブ画像撮影領域の境界や位置をユーザに認識させることが可能な領域通知画像(アイコン、ガイドフレーム等)を表示器に表示させる。撮像装置100は、サブ画像のサイズやアスペクト比などに応じて、サブ画像撮影領域に対応する領域通知画像を適宜更新することができる。
この結果、ユーザは、主として撮影を希望するメイン画像については、常に表示器の表示可能領域に最大限に表示されたメイン画像撮影領域の画像を参考にして、フレーミングやフォーカシングといった調整・操作を行いながら撮影を実行することができる。また、参考として撮影するサブ画像については、サブ画像撮影領域の大きさに応じて適切なガイドフレームやアイコンが表示されるため、適宜サブ画像撮影領域を確認しながら撮影を実行することもできる。
このように、本実施形態に係る撮像装置100は、複数のアスペクト比の画像を同時に撮影する場合に、ユーザビリティの高い表示方法で、それぞれの撮影領域を表示器に表示させることができる。
以下、このような特徴を有する本発明の実施形態の1つに係る撮像装置100の詳細について説明する。なお、以下の説明においては、撮像装置100によりユーザが所定の被写体を記録することを説明の便宜上「撮影」と表現するが、被写体の映像をそのまま記録する「撮像」の意味も含むものである。
(2.実施形態の1つに係る撮像装置100の機能構成)
まず、本発明の実施形態の1つに係る撮像装置100の機能構成について説明する。図1は、本実施形態に係る撮像装置100の機能構成の一例を示すブロック図である。
図1に示すように、撮像装置100は主に、画像入力部102と、画像表示範囲抽出部104と、領域通知画像生成部106と、画像合成部108と、表示制御部110と、表示部112と、画像記録範囲抽出部114と、記憶部115と、操作入力部120と、を含んで構成される。また撮像装置100を構成するこれらの各機能構成部は、制御部122によって制御されることにより各種機能を実行する。以下、本実施形態に係る撮像装置100を構成するこれらの機能構成部の詳細について説明する。
(画像入力部102)
画像入力部102には、撮影レンズや撮像素子などを介して被写体の画像データが連続的に入力される。撮影レンズは、被写体を結像するためのものであり、ズーム機能を実現するためのズームレンズや、被写体に合焦させるためのフォーカスレンズなどから構成される。撮像素子は、CCD(Charge Coupled Device)やCMOS (Complementary Metal Oxide Semiconductor)などから構成される。撮像素子は、撮影レンズにより結像された被写体像を電気信号に変換して、アナログの画像データを生成する。その後、撮像素子からの出力された画像データは、ゲイン調整やA/D(Analogue/Digital)変換された後、画像入力部102に入力される。
このようにして画像入力部102に入力される画像データは、後述する画像表示範囲抽出部104などへ転送されて所定の処理が施された後、表示部112に表示される。また、ユーザが画像データの記録を指示した場合には、画像入力部102に入力された画像データは、後述する画像記録範囲抽出部114へ転送された後に、所定のモード(画質、アスペクト比等)により記憶部115に記録される。
(画像表示範囲抽出部104)
画像表示範囲抽出部104は、画像入力部102から転送された画像データのうち、表示部112に表示させる領域の画像のみを抽出する。画像表示範囲抽出部104は、表示部112の表示性能、ユーザによって設定されたアスペクト比、画像サイズ、撮影モードなどに基づく制御部122からの指示に応じて画像領域を抽出することができる。画像表示範囲抽出部104により抽出された画像は、後述する画像合成部108へ転送されて、ガイドフレームやアイコンなどを含む領域通知画像と合成された後、表示部112に表示される。なお、画像表示範囲抽出部104による画像抽出の例については、後述する処理フローおよび表示例において説明する。
(領域通知画像生成部106)
領域通知画像生成部106は、表示部112に表示される画像のうち、撮影可能な領域を表すガイドフレーム132や、表示部112の表示可能領域外に存在する撮影領域を表す領域通知アイコン130を含む領域通知画像を生成する。ユーザが撮影を希望する画像サイズやアスペクト比によっては、必ずしも表示部112に表示される画像と、撮影可能な領域が一致するとは限らない。したがって、撮像装置100は、ユーザが撮影領域を確認するために見る表示部112の画像に、撮影可能な領域を示す必要がある。領域通知画像生成部106は、表示部112に表示される画像のうち、撮影により記録可能な領域をユーザに示すために、撮影領域を表すガイドフレーム132を生成する。領域通知画像生成部106は、例えば、ユーザによって設定されたアスペクト比、画像サイズ、撮影モードなどに基づく制御部122からの指示に応じてガイドフレーム132を生成することができる。
また、上述したように、撮像装置100は、複数のアスペクト比の画像を同時に撮影することもできる。このような場合、一方のアスペクト比の画像の撮影可能な領域を表示部112の表示可能領域に最大限に表示させた場合、他方のアスペクト比の画像の撮影可能な領域が表示部112に表示される画像よりも大きくなってしまうこともある。この結果、ユーザは、表示部112に表示された画像を見ても他方のアスペクト比の画像の撮影領域を一切把握することができない。そこで、領域通知画像生成部106は、表示部112に表示される画像領域(表示可能領域)よりも広い範囲に撮影可能領域が存在する場合には、撮影可能領域が表示部112の表示可能領域外に存在していることを示す領域通知アイコン130を生成する。領域通知画像生成部106は、例えば、ユーザによって設定されたアスペクト比、画像サイズ、撮影モードなどに基づく制御部122からの指示に応じて領域通知アイコン130を生成することができる。
領域通知画像生成部106によって生成されたガイドフレーム132や領域通知アイコンを含む領域通知画像は、後述する画像合成部108へ転送されて、画像表示範囲抽出部104によって抽出された画像と合成された後、表示部112に表示される。なお、領域通知画像生成部106によって生成されるガイドフレーム132や領域通知アイコン130の例については、後述する処理フローおよび表示例において説明する。
(画像合成部108)
画像合成部108は、画像表示範囲抽出部104によって抽出された画像データに、領域通知画像生成部106によって生成された領域通知画像を合成し、表示部112に表示させる画像データを生成する。画像合成部108によって生成された画像データは、後述する表示制御部110へ転送された後、表示部112に表示される。
(表示制御部110)
表示制御部110は、表示部112の表示を制御する。表示制御部110は、例えば、メニュー画面表示、詳細設定画面表示、画像編集画面表示、撮影画面表示、メッセージ表示など、表示部112への種々の表示を制御する。例えば、ユーザが操作入力部120を介してメニュー画面の表示を指示した場合、表示制御部110は、所定のメニュー画面を表示部112に表示させる。この結果、ユーザは、表示部112に表示されたメニュー画面を見ながら、初期設定、撮影モードの選択、画質設定、画像サイズ設定、アスペクト比設定、表示設定、画像編集などの種々の設定に関する操作を行うことができる。このようなユーザの操作に応じて、表示制御部110は、表示部112に表示されるメニュー画面を適宜変更することができる。
また、例えば、ユーザが操作入力部120を介して画像の撮影モードへの切り替えを指示した場合、表示制御部110は、画像合成部108によって生成された画像データを表示部112に表示させる。この結果、ユーザは、表示部112に表示されたガイドフレーム132や領域通知アイコン130などを見て、撮影可能な領域を確認しながら撮影を実行することができる。
表示制御部110は、操作入力部120から入力されたユーザの指示や、ROM(Read Only Memoly)などに格納されている設定情報などに基づく制御部122からの指示に応じて表示部112への表示を制御することができる。なお、画像撮影モードにおける、表示制御部110による表示部112の表示制御の例については、後述する処理フローおよび表示例において説明する。
また、表示制御部110は、上述した以外にも表示部112の表示制御に関する各種機能を追加的に備えることもできる。例えば、表示制御部110は、画像合成部108によって生成された画像データを、表示部112の表示性能に適合するような画像ファイルに圧縮したり、表示部112の表示形式に適合するような画像フォーマットに変換したりすることなども当然に可能である。このように、表示制御部110は、表示部112への種々の表示を制御するものであるが、本実施形態に係る撮像装置100は、画像撮影モード時における表示部112の表示方法に特徴を有するものであるため、以下の説明においてはこの点を中心に説明する。
(表示部112)
表示部112は、例えば、LCD(Liquid Crystal Display;液晶ディスプレイ)や有機EL(ElectroLuminescence display)ディスプレイなどからなり、撮像装置100上に備えられる。表示部112には、上述した画像合成部108により生成された画像、すなわち、画像表示範囲抽出部104により抽出された画像に、領域通知画像生成部106により生成された領域通知画像が合成された画像が表示されることとなる。また、表示部112は、記憶部115に記録されている画像データや、ユーザに対する通知メッセージ(例えば、撮影モード、空き容量通知、エラー通知)、詳細設定画面などを表示することもできる。表示部112を構成するディスプレイは、例えば、16:9、4:3などのアスペクト比の表示可能領域を有するものであるが、特定のアスペクト比に限定されるものではない。
なお、表示部112は、必ずしも撮像装置100上に備えられる必要はない。表示部112は、例えば、撮像装置100と接続される(無線・有線問わず)外部装置に備えられてもよい。この場合、画像合成部108により生成された画像は、表示制御部110により外部機器が備える表示部112に転送される。この結果、ユーザは、外部装置が備える表示部112に表示される画像を見ながら撮像装置100の撮像機能を実行することもできる。
(画像記録範囲抽出部114)
画像記録範囲抽出部114は、画像入力部102に入力された画像データのうち、録画可能な領域の画像のみを抽出する。例えば、ユーザが操作入力部120を介して動画の撮影開始を指示した場合、画像記録範囲抽出部114は、画像入力部102に入力された画像データから撮影領域の画像データのみを連続的に抽出し、所定の形式の動画ストリームとして記憶部115に記録する。このとき、画像記録範囲抽出部114は、ユーザにより指定された画像サイズやアスペクト比、または撮影モードに応じて自動的に決定される画像サイズやアスペクト比などに基づいて、画像データを抽出することができる。
また、例えば、ユーザが操作入力部120を介して静止画の撮影を指示した場合、画像記録範囲抽出部114は、画像入力部102に入力された1フレーム分の画像データから撮影領域の画像データのみを抽出し、静止画ファイルとして記憶部115に記録する。このとき、画像記録範囲抽出部114は、ユーザにより指定された画像サイズやアスペクト比、または撮影モードに応じて自動的に決定される画像サイズやアスペクト比などに基づいて、画像データを抽出することができる。
また、上述したように、撮像装置100は、複数のアスペクト比の画像を同時に記録することもできる。したがって、ユーザが複数のアスペクト比の画像の撮影開始を指示した場合、画像記録範囲抽出部114は、画像入力部102に入力された画像データから、それぞれのアスペクト比に対応する撮影領域の画像データを抽出することもできる。例えば、ユーザが16:9のアスペクト比に対応する動画の撮影中に、4:3のアスペクト比に対応する静止画の撮影を指示した場合を仮定する。この場合、画像記録範囲抽出部114は、画像入力部102に入力された画像データから16:9の撮影領域の画像データを連続的に抽出し、所定の形式の動画ストリームとして記憶部115に継続的に記録する。さらに、画像記録範囲抽出部114は、上記動画ストリームの記録と並行して、画像入力部102に入力された1フレーム分の画像データから4:3の撮影領域の画像データを抽出し、所定の形式の静止画ファイルとして記憶部115に記録する。この結果、撮像装置100は、画像入力部102に入力された画像データに対して、16:9のアスペクト比に対応する動画データを記録しながら、4:3のアスペクト比に対応する静止画を記録することができる。
このように、画像記録範囲抽出部114は、ユーザが撮影開始を指示した場合に、画像入力部102に入力された画像データから、撮影領域の画像データのみを抽出して記憶部115に記録する。画像記録範囲抽出部114は、例えば、ユーザによって設定されたアスペクト比、画像サイズ、撮影モードなどに基づく制御部122からの指示に応じて画像データを抽出することができる。なお、画像記録範囲抽出部114が抽出可能な画像は特定の画像サイズやアスペクト比に限定されるものではない。すなわち、本明細書におけるアスペクト比は本実施形態を説明する上での一例であり、画像記録範囲抽出部114は、ユーザや撮影モードなどによって設定される種々のアスペクト比の画像を抽出することができる。また、上記例では、動画撮影中に静止画を同時に撮影する場合を例に説明したが、本発明はこれに限定されるものではない。すなわち、撮像装置100は、あるアスペクト比の動画の記録中に異なるアスペクト比の動画を同時に記録したり、異なるアスペクト比の静止画を同時に記録したりすることもできる。なお、画像記録範囲抽出部114による画像データの抽出処理の流れについては、後述する処理フローにおいて説明する。
(記憶部115)
記憶部115は、画像記録範囲抽出部114によって抽出された画像データが記録される不揮発性の記憶領域として機能する。記憶部115は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成され、複数の画像データを保存可能な不揮発性の記憶装置であれば特定の構成に限定されるものではない。また、記憶部115は、必ずしも撮像装置100に内蔵されている必要はない。記憶部115は、例えば、撮像装置100に備えられる記録媒体挿入部(図示せず)などに挿入された、メモリスティック(登録商標)やSDメモリーカードなどの記録媒体に備えられてもよい。
また、記憶部115は、図1に示すように、所定の録画形式に応じた画像データを記憶する複数の記憶領域によって構成されてもよい。図1に示す例では、記憶部115は、アスペクト比16:9の画像データを記憶する第1記憶部116と、アスペクト比4:3の画像データを記憶する第2記憶部118と、を含んで構成されている。したがって、例えば、ユーザが操作入力部120を介して16:9の画像データの撮影を指示した場合、撮影された16:9の画像データが第1記憶部116に記録される。また、ユーザが操作入力部120を介して4:3の画像データの撮影を指示した場合、撮影された4:3の画像データは、第2記憶部118に記録される。ユーザは、第1記憶部116に記録されている16:9の画像データや、第2記憶部118に記録されている4:3の画像データを、表示部112に表示させたり、撮像装置100と接続される外部機器に転送したりすることができる。なお、図1に示した記憶部115の構成は、本実施形態を説明する上での一例であり、本発明はこれに限定されるものではない。すなわち、記憶部115は、1の記憶領域や、3以上の記憶領域から構成されてもよい。
(操作入力部120)
操作入力部120は、例えば、タッチパネル、ボタン、スイッチ、レバー、ダイヤルなどの操作部を含んで構成される。ユーザは、これらの操作部を操作することにより、撮像装置100に対して処理動作(モード変更、アスペクト比設定、画質調整、撮影動作、ズーム・フォーカス・絞り・シャッタースピード変更、再生動作など)を指示することができる。操作入力部120は、操作部を介してユーザから受け付けた指示情報を制御部122へ伝送する。これを受けて、制御部122は、操作入力部120から伝送された指示情報に基づいて、撮像装置100が備える各機能構成部を制御し、ユーザが所望する各種機能を実行する。
(制御部122)
制御部122は、撮像装置100全体を制御する演算処理装置および制御装置であり、例えばCPU(Central Processing Unit)などである。制御部122は、操作入力部120からの指示に応じて、撮像装置100の上述した各機能構成部に対して所定の処理の実行を指示する。なお、制御部122によって上述した各機能構成部が実行する処理の流れについては後述する。
以上、本実施形態に係る撮像装置100の機能構成の一例について説明した。なお、図1に示した機能構成は、本実施形態の特徴である撮影領域の表示を実現するための機能を中心に示したものであり、これらに限定されるものではない。例えば、撮像装置100は、図1に示した機能構成部の他に、音声入出力機能、通信機能、画像編集機能、画像再生機能などのように、通常の撮像装置に備えられる各種機能を追加的に備えてもよい。
(2.フレームモードの種類)
上述したように、本実施形態に係る撮像装置100は、複数のアスペクト比の画像データを同時に記録することができる。また、複数のアスペクト比の画像データを同時に記録する際には、表示部112には、それぞれのアスペクト比の撮影可能領域を示すガイドフレーム132や領域通知アイコン130などが表示される。したがって、同時に記録する画像のアスペクト比や画像サイズなどによって、表示部112に表示されるガイドフレーム132や領域通知アイコン130などは異なってくる。本実施形態に係る撮像装置100は、同時に記録する画像のアスペクト比や画像サイズなどに応じた表示部112の表示モード(以下、フレームモードという)を、ROMなどの不揮発性の記憶領域にあらかじめ登録しておくことができる。ユーザは、表示部112に表示されるメニュー画面などを参照し、操作入力部120を介して、任意のフレームモードを選択することができる。
図2は、ユーザが任意に選択可能なフレームモードの種類の一例を示す説明図である。なお、図2に示した6つのフレームモードは、本実施形態を説明する上での一例であり、本発明はこれらに限定されるものではない。すなわち、図2に示した例とは異なるアスペクト比、表示部112の種類、フレームモード数であってもよい。以下、図2に示したフレームモードの例について説明する。
図2に示すように、フレームモードNo.1〜3は、16:9のアスペクト比の表示可能領域を有する表示部112に対応するフレームモードである。また、フレームモードNo.4〜6は、4:3のアスペクト比の表示可能領域を有する表示部112に対応するフレームモードである。このように、撮像装置100は、複数のアスペクト比の表示可能領域を有する表示部112に対応するフレームモードを有することもできる。これにより、表示部112として機能するディスプレイが撮像装置100と接続される外部機器に備えられる場合においても、ユーザは、表示部112の表示可能領域のアスペクト比に応じて適切なフレームモードを選択することができる。
フレームモードNo.1〜3は、メイン画像として16:9のアスペクト比の画像を記録し、サブ画像として4:3のアスペクト比の画像を記録する場合のフレームモードである。図2に示すように、フレームモードNo.1〜3では、16:9のアスペクト比の表示部112に16:9のアスペクト比のメイン画像を表示させるため、表示部112の表示可能領域にはメイン画像撮影領域が最大限に表示される。
一方、サブ画像撮影領域については、4:3のアスペクト比の画像サイズによって異なる。例えば、フレームモードNo.1は、サブ画像とメイン画像の横方向の画像サイズを統一して記録する場合に対応している。すなわち、サブ画像撮影領域の横方向の境界は、表示部112の表示可能領域内に最大限に表示され、サブ画像撮影領域の縦方向の境界は、表示部112の表示可能領域外に存在することとなる。また、フレームモードNo.2は、サブ画像とメイン画像の画像サイズが横方向および縦方向共に異なる場合に対応している。すなわち、サブ画像撮影領域の縦方向の境界は、表示部112の表示可能領域外に存在し、サブ画像撮影領域の横方向の境界は、表示部112の表示可能領域内に存在することとなる。また、フレームモードNo.3は、サブ画像とメイン画像の縦方向の画像サイズを統一して記録する場合に対応している。すなわち、サブ画像撮影領域の縦方向の境界は、表示部112の表示可能領域内に最大限に表示され、サブ画像撮影領域の横方向の境界は、表示部112の表示可能領域内に存在することとなる。
また、フレームモードNo.4〜5は、メイン画像として4:3のアスペクト比の画像を記録し、サブ画像として16:9のアスペクト比の画像を記録する場合のフレームモードである。図2に示すように、フレームモードNo.4〜5では、4:3のアスペクト比の表示部112に4:3のアスペクト比のメイン画像を表示させるため、表示部112の表示可能領域にはメイン画像撮影領域が最大限に表示される。
一方、サブ画像撮影領域については、16:9のアスペクト比の画像サイズによって異なる。例えば、フレームモードNo.4は、サブ画像とメイン画像の縦方向の画像サイズを統一して記録する場合に対応している。すなわち、サブ画像撮影領域の縦方向の境界は、表示部112の表示可能領域内に最大限に表示され、サブ画像撮影領域の横方向の境界は、表示部112の表示可能領域外に存在することとなる。また、フレームモードNo.5は、サブ画像とメイン画像の画像サイズが横方向および縦方向共に異なる場合に対応している。すなわち、サブ画像撮影領域の横方向の境界は、表示部112の表示可能領域外に存在し、サブ画像撮影領域の縦方向の境界は、表示部112の表示可能領域内に存在することとなる。
また、フレームモードNo.6は、メイン画像として16:9のアスペクト比の画像を記録し、サブ画像として4:3のアスペクト比の画像を記録する場合のフレームモードである。図2に示すように、フレームモードNo.6では、あくまでメイン画像は16:9のアスペクト比の画像であるため、4:3のアスペクト比の表示部112の表示可能領域に16:9のアスペクト比のメイン画像撮影領域が最大限に表示される。
一方、サブ画像撮影領域については、4:3のアスペクト比の画像サイズによって異なるが、図2に示す例では、サブ画像とメイン画像の横方向の画像サイズを統一して記録する場合に対応している。すなわち、サブ画像撮影領域は表示部112の表示可能領域と一致するため、表示部112の表示可能領域に最大限に表示されることとなる。
ユーザは、複数のアスペクト比の画像を同時に撮影する場合において、あらかじめ設定された複数のフレームモードの中から任意のフレームモードを、操作入力部120を介して選択することができる。制御部122は、ユーザにより選択されたフレームモードに基づいて、画像表示範囲抽出部104に対して適切な範囲の画像抽出を指示し、領域通知画像生成部106に対して適切なガイドフレーム132や領域通知アイコン130の生成を指示することができる。なお、サブ画像撮影領域を示すガイドフレーム132や領域通知アイコン130の表示例については後述する。
ここで、本実施形態におけるフレームモードは、必ずしもユーザによる操作により選択されるものではない。例えば、撮像装置100は、撮影モードやズーム機能などに連動して自動的にフレームモードを切り替えることもできる。例えば、ユーザは、動画または静止画を撮影する際に、撮像装置100が有するHDモード、SDモード、パノラマモード、シネマモードなどの種々の撮影モード機能を選択して撮影することができる。また、撮影中にデジタルズーム機能などを利用することにより、撮影する画像サイズを任意に変更することもできる。したがって、撮像装置100は、各撮影モードに対応するフレームモードをあらかじめ登録しておくことにより、ユーザが所定の撮影モードを選択した際に、選択された撮影モードに対応するフレームモードに自動で切り替えることができる。また、ユーザが撮影中にズーム機能を利用した場合、変更された画像サイズに応じてフレームモードを適宜変更することもできる。
図2に示したフレームモードを例に説明すると、例えば、16:9のHD動画を撮影しながら、参考データとして、16:9の撮影領域から外れた領域に文字列などを含めて4:3の静止画を同時に記録する場合などが想定される。したがって、16:9のHD動画を撮影中に4:3の静止画を同時撮影する撮影モードが選択された場合、撮像装置100は、フレームモードNo.1に自動で切り替えてもよい。また、フレームモードNo.1で16:9のHD動画と4:3の静止画を同時に撮影する際に、4:3の静止画の画像サイズがズーム機能などにより変更された場合、撮像装置100は、フレームモードをフレームモードNo.2、3などに自動で切り替えてもよい。
また、4:3のSD動画を撮影しながら、参考画像として16:9のパノラマ静止画を同時に撮影する場合なども想定される。したがって、4:3のSD動画を撮影中に16:9のパノラマ静止画を同時撮影する撮影モードが選択された場合、撮像装置100は、フレームモードをフレームモードNo.4に自動で切り替えてもよい。また、フレームモードNo.4で4:3のSD動画と16:9の静止画を同時に撮影する際に、16:9の静止画の画像サイズがズーム機能などにより変更された場合、撮像装置100は、フレームモードをフレームモードNo.5に自動で切り替えてもよい。
また、4:3の表示部112を利用する場合においても、ユーザがメイン画像として16:9のパノラマ画像の撮影モードを選択する場合も想定される。このような撮影モードがユーザにより選択された場合、撮像装置100は、フレームモードをフレームモードNo.6に自動で切り替えてもよい。
このように、本実施形態に係る撮像装置100は、撮影モードやズーム機能と連動してフレームモードを自動で変更することができる。制御部122は、このようにして自動で変更されたフレームモードに基づいて、画像表示範囲抽出部104により抽出される画像の範囲や、領域通知画像生成部106により生成される領域通知画像の変更を適宜指示することができる。この結果、ユーザが希望する撮影モードを選択すれば自動で適切なフレームモードが選択されるため、ユーザは、撮影モードの選択後にフレームモードを毎回指定するといった煩雑な操作が必要ない。
なお、上述した撮影モードや、当該撮影モードに対応するフレームモードの種類は本実施形態を説明する上での一例であり、本発明はこれらに限定されるものではない。すなわち、撮像装置100は、所定の撮影モードに応じた所定のフレームモードをあらかじめ登録しておくことができ、撮影モードの種類や、対応するフレームモードの種類、組み合わせなどは任意に変更することができるものである。
(4.撮影領域の表示処理フロー)
次に、上記のように構成される撮像装置100が、複数のアスペクト比の画像を同時に記録する際に、図2に示した各フレームモードに基づいて、各画像の撮影領域を表示部112に表示させる処理の流れの一例について説明する。図3は、本実施形態に係る撮像装置100が、複数のアスペクト比の画像を同時に記録する際に、各画像の撮影領域を表示部112の表示可能領域に表示させる処理の流れの一例を示す説明図である。
図3に示すように、ステップ300において、撮像装置100の制御部122は、ユーザにより撮影モードの変更指示があったか否かを判断する。上述したように、本実施形態に係る撮像装置100は、変更された撮影モードに対応するフレームモードが登録されている場合には、撮影モードの変更に連動してフレームモードを自動で切り替えることができる場合もある。したがって、制御部122は、撮影モードの変更指示の有無を判断する。なお、制御部122は、操作入力部120から伝送されたユーザ操作に関する情報に基づいて、ユーザが撮影モードの変更を指示したか否かを判断することができる。
ステップ300により撮影モードの変更指示がないと判断された場合、ステップ302において、制御部122は、ユーザによりフレームモードの変更指示があったか否かを判断する。上述したように、ユーザは、あらかじめ撮像装置100に登録されている複数のフレームモードから任意のフレームモードを選択することができる。したがって、制御部122は、フレームモードの変更指示の有無を判断し、フレームモードの変更指示があった場合には、選択されたフレームモードに対応した表示をするように各機能構成部に指示する。なお、制御部122は、操作入力部120から伝送されたユーザ操作に関する情報に基づいて、ユーザがフレームモードの変更を指示したか否かを判断することができる。
ステップ302によりフレームモードの変更指示があったと判断された場合、ステップ304において、制御部122は、変更されたフレームモードがフレームモードNo.1であるか否かを判断する。
ステップ304によりフレームモードNo.1に変更されたと判断された場合、ステップ306において、制御部122は、各機能構成部にフレームモードNo.1に対応した撮影領域の表示処理の実行を指示する。具体的には、画像表示範囲抽出部104は、制御部122からの指示に応じて、画像入力部102に入力された画像から、16:9の表示部112に対応した画像を、メイン画像撮像領域が最大限に表示される範囲で抽出する。また、図2に示したように、フレームモードNo.1に対応するサブ画像撮影領域の縦方向の境界は、表示部112の表示可能領域外に存在している。したがって、領域通知画像生成部106は、制御部122からの指示に応じて、4:3のサブ画像撮影領域が表示部112の表示可能領域外に存在していることをユーザに通知するための領域通知アイコン130を含む領域通知画像を生成する。さらに、画像合成部108は、画像表示範囲抽出部104によって抽出された画像と、領域通知画像生成部106によって生成された領域通知アイコン130を含む領域通知画像と、を合成した画像を生成する。
その後、ステップ326において、表示制御部110は、制御部122からの指示に応じて、画像合成部108によって生成された画像を表示部112に表示させる。図4は、フレームモードNo.1に対応する表示部112の表示例を示す説明図である。図4に示すように、16:9の表示可能領域を有する表示部112には、16:9のアスペクト比のメイン画像撮影領域が最大限に表示されている。また、4:3のアスペクト比のサブ画像撮影領域の縦方向の境界は、表示部112の表示可能領域の上下方向にはみだして存在している。したがって、図4に示すように、表示部112の表示可能領域には、上下方向にサブ画像撮影領域が存在することをユーザに通知するための領域通知アイコン130が表示されている。この結果、ユーザは、表示部112に最大限に表示された画像に基づいてメイン画像の撮影を実行することができると同時に、表示部112の表示可能領域に表示されていないサブ画像撮影領域がどの位置に存在するかもあわせて認識することができる。なお、領域通知アイコン130は、表示部112の表示可能領域からはみ出した位置にサブ画像撮影領域が存在していることを表すため、図4に示したような方向性をユーザに認識させることが可能な形状であることが望ましい。
一方、ステップ304によりフレームモードNo.1に変更されていないと判断された場合、ステップ308において、制御部122は、変更されたフレームモードがフレームモードNo.2であるか否かを判断する。
ステップ308によりフレームモードNo.2に変更されたと判断された場合、ステップ310において、制御部122は、各機能構成部にフレームモードNo.2に対応した撮影領域の表示処理の実行を指示する。具体的には、画像表示範囲抽出部104は、制御部122からの指示に応じて、画像入力部102に入力された画像から、16:9の表示部112に対応した画像を、メイン画像撮像領域が最大限に表示される範囲で抽出する。また、図2に示したように、フレームモードNo.2に対応するサブ画像撮影領域の縦方向の境界は、表示部112の表示可能領域外に存在し、サブ画像撮影領域の横方向の境界は表示部112の表示可能領域内に存在している。したがって、領域通知画像生成部106は、制御部122からの指示に応じて領域通知画像を生成する。すなわち、領域通知画像生成部106は、4:3のサブ画像撮影領域が表示部112の表示可能領域の上下方向にはみ出して存在していることをユーザに通知するための領域通知アイコン130を生成する。さらに、領域通知画像生成部106は、制御部122からの指示に応じて、表示部112の表示可能領域におけるサブ画像撮影領域の横方向の境界をユーザに通知するためのガイドフレーム132を生成する。また、画像合成部108は、画像表示範囲抽出部104によって抽出された画像と、領域通知画像生成部106によって生成された領域通知アイコン130およびガイドフレーム132を含む領域通知画像と、を合成した画像を生成する。
その後、ステップ326において、表示制御部110は、制御部122からの指示に応じて、画像合成部108によって生成された画像を表示部112に表示させる。図5は、フレームモードNo.2に対応する表示部112の表示例を示す説明図である。図5に示すように、16:9の表示可能領域を有する表示部112には、16:9のアスペクト比のメイン画像撮影領域が最大限に表示されている。また、4:3のアスペクト比のサブ画像撮影領域は、表示部112の表示可能領域の上下方向にはみだして存在している。したがって、図5に示すように、表示部112の表示可能領域には、上下方向にサブ画像撮影領域が存在することをユーザに通知するための領域通知アイコン130が表示されている。さらに、表示部112の表示可能領域には、サブ画像撮影領域の横方向の境界を表すガイドフレーム132が表示されている。この結果、ユーザは、表示部112の表示可能領域に最大限に表示された画像に基づいてメイン画像の撮影を実行することができる。また、ユーザは、表示部112の表示可能領域内に存在するサブ画像撮影領域の境界、および表示可能領域外に存在するサブ画像撮影領域がどの位置に存在するかもあわせて認識することができる。
一方、ステップ308によりフレームモードNo.2に変更されていないと判断された場合、ステップ312において、制御部122は、変更されたフレームモードがフレームモードNo.3であるか否かを判断する。
ステップ312によりフレームモードNo.3に変更されたと判断された場合、ステップ314において、制御部122は、各機能構成部にフレームモードNo.3に対応した撮影領域の表示処理の実行を指示する。具体的には、画像表示範囲抽出部104は、制御部122からの指示に応じて、画像入力部102に入力された画像から、16:9の表示部112に対応した画像を、メイン画像撮像領域が最大限に表示される範囲で抽出する。また、図2に示したように、フレームモードNo.3に対応するサブ画像撮影領域の横方向の境界は、表示部112の表示可能領域内に存在している。したがって、領域通知画像生成部106は、制御部122からの指示に応じて、表示部112の表示可能領域におけるサブ画像撮影領域の横方向の境界をユーザに通知するためのガイドフレーム132を含む領域通知画像を生成する。また、画像合成部108は、画像表示範囲抽出部104によって抽出された画像と、領域通知画像生成部106によって生成されたガイドフレーム132を含む領域通知画像と、を合成した画像を生成する。
その後、ステップ326において、表示制御部110は、制御部122からの指示に応じて、画像合成部108によって生成された画像を表示部112に表示させる。図6は、フレームモードNo.3に対応する表示部112の表示例を示す説明図である。図6に示すように、16:9の表示可能領域を有する表示部112には、16:9のアスペクト比のメイン画像撮影領域が最大限に表示されている。また、4:3のアスペクト比のサブ画像撮影領域の横方向の境界は、表示部112の表示可能領域内に存在している。したがって、図6に示すように、表示部112の表示可能領域には、サブ画像撮影領域の横方向の境界を表すガイドフレーム132が表示されている。この結果、ユーザは、表示部112の表示可能領域内に最大限に表示された画像に基づいてメイン画像の撮影を実行することができると同時に、表示部112の表示可能領域内に存在するサブ画像撮影領域の境界もあわせて認識することができる。
また、撮像装置100が備える表示部112の他に、撮像装置100と接続される外部機器に4:3のディスプレイからなる表示部112が備えられている場合もある。このような場合、ユーザは、フレームモードNo.4〜6を選択し、外部装置のディスプレイに撮影領域を表示させることもできる。したがって、ステップ312によりフレームモードNo.3に変更されていないと判断された場合、ステップ316において、制御部122は、変更されたフレームモードがフレームモードNo.4であるか否かを判断する。
ステップ316によりフレームモードNo.4に変更されたと判断された場合、ステップ318において、制御部122は、各機能構成部にフレームモードNo.4に対応した撮影領域の表示処理の実行を指示する。具体的には、画像表示範囲抽出部104は、制御部122からの指示に応じて、画像入力部102に入力された画像から、4:3の表示部112に対応した画像を、メイン画像撮像領域が最大限に表示される範囲で抽出する。また、図2に示したように、フレームモードNo.4に対応するサブ画像撮影領域の横方向の境界は、表示部112の表示可能領域外に存在している。したがって、領域通知画像生成部106は、制御部122からの指示に応じて、16:9のサブ画像撮影領域が表示部112の表示可能領域外に存在していることをユーザに通知するための領域通知アイコン130を含む領域通知画像を生成する。また、画像合成部108は、画像表示範囲抽出部104によって抽出された画像と、領域通知画像生成部106によって生成された領域通知アイコン130を含む領域通知画像と、を合成した画像を生成する。
その後、ステップ326において、表示制御部110は、制御部122からの指示に応じて、画像合成部108によって生成された画像を表示部112に表示させる。
一方、ステップ316によりフレームモードNo.4に変更されていないと判断された場合、ステップ320において、制御部122は、変更されたフレームモードがフレームモードNo.5であるか否かを判断する。
ステップ320によりフレームモードNo.5に変更されたと判断された場合、ステップ322において、制御部122は、各機能構成部にフレームモードNo.5に対応した撮影領域の表示処理の実行を指示する。具体的には、画像表示範囲抽出部104は、制御部122からの指示に応じて、画像入力部102に入力された画像から、4:3の表示部112に対応した画像を、メイン画像撮像領域が最大限に表示される範囲で抽出する。また、図2に示したように、フレームモードNo.5に対応するサブ画像撮影領域の横方向の境界は、表示部112の表示可能領域外に存在し、サブ画像撮影領域の縦方向の境界は表示部112の表示可能領域内に存在している。したがって、領域通知画像生成部106は、制御部122からの指示に応じて領域通知画像を生成する。すなわち、領域通知画像生成部106は、16:9のサブ画像撮影領域が表示部112の表示可能領域の左右方向にはみ出して存在していることをユーザに通知するための領域通知アイコン130を生成する。さらに、領域通知画像生成部106は、制御部122からの指示に応じて、表示部112の表示可能領域におけるサブ画像撮影領域の縦方向の境界をユーザに通知するためのガイドフレーム132を生成する。また、画像合成部108は、画像表示範囲抽出部104によって抽出された画像と、領域通知画像生成部106によって生成された領域通知アイコン130およびガイドフレーム132を含む領域通知画像と、を合成した画像を生成する。
その後、ステップ326において、表示制御部110は、制御部122からの指示に応じて、画像合成部108によって生成された画像を表示部112に表示させる。
一方、ステップ320によりフレームモードNo.5に変更されていないと判断された場合、制御部122は、フレームモードがフレームモードNo.6に変更されたと判断する。したがって、制御部122は、各機能構成部にフレームモードNo.6に対応した撮影領域の表示処理の実行を指示する。具体的には、画像表示範囲抽出部104は、制御部122からの指示に応じて、画像入力部102に入力された画像から、4:3の表示部112に対応した画像を、メイン画像撮像領域が最大限に表示される範囲で抽出する。また、図2に示したように、フレームモードNo.6に対応するサブ画像撮影領域は、表示部112の表示可能領域と一致している。したがって、サブ画像撮影領域に関しては領域通知アイコン130やガイドフレーム132を生成する必要はない。一方、メイン画像撮影領域については、4:3の表示部112に16:9の画像を最大限に表示した場合には、メイン画像撮影領域の上下方向の境界が、表示部112の表示可能領域内に存在することとなる。したがって、領域通知画像生成部106は、制御部122からの指示に応じて、表示部112の表示可能領域におけるメイン画像撮影領域の縦方向の境界をユーザに通知するためのガイドフレーム132を含む領域通知画像を生成する。また、画像合成部108は、画像表示範囲抽出部104によって抽出された画像と、領域通知画像生成部106によって生成されたガイドフレーム132を含む領域通知画像と、を合成した画像を生成する。
その後、ステップ326において、表示制御部110は、制御部122からの指示に応じて、画像合成部108によって生成された画像を表示部112に表示させる。
以上の各ステップにより、ユーザが複数のアスペクト比の画像を同時に撮影する際に、メイン画像撮影領域を表示部112に最大限に表示し、サブ画像撮影領域を設定されたフレームモードに応じて表示部112に表示させることができる。
ここで、ステップ300により撮影モードが変更されたと判断された場合、制御部122は、ステップ328において、変更された撮影モードに対応するフレームモードが登録されているか否かを判断する。
ステップ328により対応するフレームモードが登録されていないと判断された場合、制御部122は、上述したステップ306以降のステップにより、現在設定されているフレームモードに対応する表示処理の実行を各機能構成部に指示する。
一方、ステップ328により対応するフレームモードが登録されていると判断された場合、制御部122は、ステップ330において、変更された撮影モードに対応するフレームモードに対応した撮影領域の表示処理の実行を各機能構成部に指示する。これを受けて、画像表示範囲抽出部104、領域通知画像生成部106、画像合成部108および表示制御部110は、変更された撮影モードに対応するフレームモードに基づいて、表示部112への表示処理を実行することができる。これにより、ユーザは、撮影モードを切り替える際に、フレームモードの設定変更という煩雑な操作を行う必要がなくなる。
なお、図3に示したフロー図では、撮影モードの変更の有無に基づいてフレームモードの自動更新を行う例について説明したが、本発明はこれらに限定されるものではない。例えば、複数の異なるアスペクト比の画像を同時に撮影している最中に、ズーム機能の利用の有無に基づいてフレームモードを自動で更新することもできる。これにより、ユーザは、複数の異なるアスペクト比の画像を同時に撮影している最中に、サブ画像の撮影範囲をズーム機能で拡大/縮小する場合に、フレームモードの設定変更という煩雑な操作を行う必要がなくなる。
また、図3に示したフロー図では、撮像装置100が16:9の表示可能領域を有する表示部112を備え、接続される外部装置に4:3の表示可能領域を有する表示部112がさらに備えられている場合を例に説明したが、これらに限定されるものではない。すなわち、表示可能領域のアスペクト比は特定の値に限定されるものではない。また、表示部112は撮像装置100のみに備えられても、接続される外部装置のみに備えられても、撮像装置100および外部装置の両方に備えられてもよい。
また、図4〜6に示した表示部112の表示例は、上述した図2のフレームモードに対応する表示の一例であり、本発明はこれらに限定されるものではない。すなわち、図2に示したフレームモード以外が登録されている場合には、当該フレームモードに対応する撮影領域が表示部112に表示されることとなる。例えば、サブ画像撮影領域の縦方向および横方向の境界がともに表示部112の表示可能領域外に存在している場合、図7に示すような領域通知アイコン130が表示されてもよい。このように、本実施形態に係る撮像装置100は、複数のアスペクト比の画像を同時記録する場合に、サブ画像撮影領域と表示部112の表示可能領域との関係に基づいて適切なガイドフレーム132や領域通知アイコン130を表示させることができる。
(5.画像データ記録時の撮影領域の表示処理フロー)
次に、ユーザが実際に撮影を実行するとき、すなわち画像記録時における表示部112への表示処理の流れについて説明する。上述したように、撮像装置100は、ユーザが複数のアスペクト比の画像を同時撮影するモードを選択した際に、表示部112にメイン画像撮影領域を最大限に表示し、サブ画像撮影領域を通知するガイドフレーム132や領域通知アイコン130などを表示する。また、本実施形態に係る撮像装置100は、例えば、ユーザが実際にサブ画像として動画ファイルの撮影開始を指示した場合に、表示中の領域通知アイコン130を変化させることにより、サブ画像が現在録画中であることをユーザに認識させることもできる。
図8は、ユーザが複数のアスペクト比の画像を同時撮影するモードを選択している場合において、サブ画像として動画ファイルの録画開始を指示した際の撮像装置100による表示部112への表示処理の流れの一例を示すフロー図である。なお、ユーザが複数のアスペクト比の画像を同時撮影するモードを選択した際の表示部112への表示処理については、図3に示した処理フローと同様であるため詳細は省略する。また、図8に示す処理フローでは、説明の便宜上、フレームモードNo.1〜3のみが設定されている場合を例に説明するが、これらに限定されるものではなく、これらとは異なるフレームモードが設定されることも当然に可能である。
図8に示すように、撮像装置100は、表示部112に所定のガイドフレーム132や領域通知アイコン130を表示した後、ユーザがサブ画像の録画開始を指示したか否かによって領地通知アイコン130の表示を切り替える。具体的には、制御部122は、複数のアスペクト比の画像を同時撮影するモードにおいて、モード変更およびフレームモードの変更がない場合には、ステップ700において、ユーザがサブ画像の録画開始を指示したか否かを判断する。制御部122は、操作入力部120から伝送されたユーザ操作に関する情報に基づいて、ユーザがサブ画像の録画開始を指示したか否かを判断することができる。
ステップ700によりユーザがサブ画像の録画開始を指示したと判断された場合、制御部122は、ステップ702において、各機能構成部に対して、サブ画像が録画中であることをユーザに通知可能な録画中領域通知アイコン134への更新処理の実行を指示する。具体的には、領域通知画像生成部106は、制御部122からの指示に応じて、録画待機中のサブ画像の領域通知アイコン130とは異なる録画中領域通知アイコン134を含む領域通知画像を生成する。さらに、画像合成部108は、画像表示範囲抽出部104によって抽出された画像と、領域通知画像生成部106によって生成された録画中領域通知アイコン134を含む領域通知画像と、を合成した画像を生成する。
その後、ステップ326において、表示制御部110は、制御部122からの指示に応じて、画像合成部108によって生成された画像を表示部112に表示させる。図9は、サブ画像としての動画が録画中における表示部112の表示例を示す説明図である。図9に示すように、図4に示した録画待機中の領域通知アイコン130とは異なる形状の録画中領域通知アイコン134が表示されていることがわかる。この結果、ユーザは、表示部112に最大限に表示された画像に基づくメイン画像の撮影と同時に、サブ画像撮影領域の境界と、サブ画像が録画中であることを認識することができる。
なお、図9に示した録画中領域通知アイコン134は、本実施形態を説明する上での一例であり、本発明はこれらに限定されるものではない。すなわち、図9に示した例とは異なる大きさ、形状の録画中領域通知アイコン134であってもよい。また、例えば、録画待機中の領域通知アイコン130と、録画中領域通知アイコン134の色を変更することによりユーザにサブ画像が録画中であることを認識させてもよい。また、録画中領域通知アイコン134を点滅表示させることによりユーザにサブ画像が録画中であることを通知させてもよい。このように、本実施形態に係る撮像装置100は、録画待機中と録画中で領域通知アイコン130の表示を変化させることができれば、録画中領域通知アイコン134の形状、大きさ、色などは特定のものに限定されるものではない。
一方、ステップ700によりユーザがサブ画像の録画開始を指示したと判断されなかった場合、制御部122は、ステップ704において、ユーザがサブ画像の録画終了を指示したか否かを判断する。制御部122は、操作入力部120から伝送されたユーザ操作に関する情報に基づいて、ユーザがサブ画像の録画終了を指示したか否かを判断することができる。
ステップ704によりユーザがサブ画像の録画終了を指示したと判断された場合、制御部122は、ステップ706において、各機能構成部に対して、サブ画像が録画待機状態であることをユーザに通知可能な領域通知アイコン130への更新処理の実行を指示する。具体的には、領域通知画像生成部106は、制御部122からの指示に応じて、録画待機中のサブ画像の領域通知アイコン130を含む領域通知画像を生成する。さらに、画像合成部108は、画像表示範囲抽出部104によって抽出された画像と、領域通知画像生成部106によって生成された録画待機中の領域通知アイコン130を含む領域通知画像と、を合成した画像を生成する。
その後、ステップ326において、表示制御部110は、制御部122からの指示に応じて、画像合成部108によって生成された画像を表示部112に表示させる。すなわち、表示制御部110は、図9に示した録画中における表示部112の表示から、図4に示した録画待機中における表示部112への表示切り替えを実行する。この結果、ユーザは、表示部112に最大限に表示された画像に基づくメイン画像の撮影と同時に、録画待機中のサブ画像撮影領域の境界を領域通知アイコン130やガイドフレーム132に基づいて認識することができる。
このように、本実施形態に係る撮像装置100は、複数のアスペクト比の画像を同時記録するモードにおいて、サブ画像が録画待機中である場合と、録画中である場合とで、領域通知アイコン130の表示を適宜更新することができる。この結果、ユーザは、表示部112に最大限に表示された画像に基づくメイン画像の撮影と同時に、サブ画像撮影領域の境界、およびサブ画像が録画中であるか否かを認識することができる。すなわち、本実施形態に係る撮像装置100は、複数のアスペクト比の画像を同時に撮影する際のユーザビリティを高めることが可能である。
(6.撮像装置100による同時撮影の利用例)
ここで、上述したような特徴を有する本実施形態に係る撮像装置100を利用して、複数のアスペクト比の画像を同時に撮影する利用例について説明する。上述したように、撮像装置100は、複数のアスペクト比の画像を同時撮影する際に、メイン画像撮影領域を表示部112に最大限に表示し、サブ画像撮影領域の境界をガイドフレーム132や領域通知アイコン130を用いてユーザに認識させることができる。このような特徴を利用して、ユーザは、例えば、定点観測や実験撮影などに本実施形態に係る撮像装置100を利用することができる。
図10は、定点観測や実験撮影などに本実施形態に係る撮像装置100を利用する際の概念を示す説明図である。図10に示す例は、ユーザが、メイン画像として16:9の動画の撮影を行うと同時に、参考データとして4:3の動画(または静止画)のサブ画像を撮影する際の撮像装置100の利用例である。ユーザは、あくまで16:9の動画をメイン画像として撮影するため、上述したように、表示部112の表示可能領域には16:9のメイン画像撮影領域が最大限に表示されることとなる。この結果、ユーザは、表示部112の表示可能領域に最大限に表示されたメイン画像撮影領域を見ながら、主として撮影を希望する画像のフレーミングやフォーカシングなどといった撮影に必要な調整や操作を行うことができる。
さらに、4:3のサブ画像撮影領域の境界が、表示部112に画像表示領域から上下方向にはみ出して存在しているため、表示部112には領域通知アイコン130が表示されることとなる。したがって、ユーザは、表示部112の表示可能領域に表示されている画像の範囲外に4:3のサブ画像撮影領域が存在することを視覚的に認識することができる。
定点観測や実験撮影などを行う際には、観測位置や撮影時刻などを画像ファイルに同時に記録することが要求されることが多い。このような場合、ユーザは、図10に示すように、観測位置や撮影時刻などが記載された撮影データプレートを治具などにより固定することにより、4:3のサブ画像のみにプレートに記載された情報を重ねて記録させることができる。ユーザは、表示部112の表示を一時的にサブ画像撮影領域が映るように切り替えて、撮影データプレートが4:3のサブ画像撮影領域に含まれていることを確認する。その後は、上述したように表示部112にメイン画像撮影領域を最大限に表示させて撮影を実行することができる。ユーザは、撮影中においても、領域通知アイコン130が表示部112に表示されていることにより、4:3のサブ画像撮影領域が表示部112の表示可能領域外に存在し、撮影データプレートが同時に記録されていることを認識することができる。
このようにして同時に記録されたメイン画像としての16:9の動画データと、サブ画像としての4:3の動画(または静止画)データは、図11および図12のようになる。図11に示すようなメイン画像として16:9の動画データが記録されると同時に、図12に示すようなサブ画像としての4:3の動画(または静止画)データが記録されることとなる。図12を参照すると、サブ画像の上部には、表示部112の表示可能領域には表示されていなかった撮影データプレートが映っていることがわかる。
上述した利用例のように、ユーザは、複数のアスペクト比の画像を同時に撮影する際には、必ずしも副次的に録画するサブ画像の撮影領域を常に確認する必要はない。むしろユーザは、主として撮影を要望するメイン画像の撮影領域を常に確認し、適切なフレーミングやフォーカシングなどの調整・操作を希望することが多い。本実施形態に係る撮像装置100は、上述した特徴を利用することでこのようなユーザの要望にこたえることができ、ユーザビリティの高い撮影機能を提供することができる。
なお、図10に示した撮像装置100の利用例は、本実施形態に係る撮像装置100の利用例の1つであり、本実施形態に係る撮像装置100は、その他種々の撮影態様に利用することも当然に可能である。また、上述した図10の例では、撮影データプレートを治具に固定したが、撮像装置100自体が観測位置、撮影時刻、撮影者などに関する所定のプレート情報を管理し、自動的にサブ画像に重ねて記録することもできる。撮像装置100は、サブ画像に記録するプレート情報をROMなどの記憶部に記憶しておき、サブ画像の記録時に、表示部112の表示可能領域外に存在するサブ画像撮影領域にプレート情報を重ねて記録することができる。これにより、ユーザは、例えば、操作入力部120を介して任意の文字や記号などをプレート情報として設定することにより、サブ画像に希望するプレート情報を重ねて記録することもできる。
(7.撮像装置100のハードウェア構成について)
次に、図13を参照しながら、本実施形態に係る撮像装置100のハードウェア構成について、詳細に説明する。図13は、本実施形態に係る撮像装置100のハードウェア構成を説明するためのブロック図である。
撮像装置100は主に、CPU901と、ROM903と、RAM905と、ブリッジ909と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、を含んで構成される。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、撮像装置100内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよい。ユーザは、入力装置915を操作することにより、上述した操作入力部120や制御部122などを介して、撮像装置100に対して各種処理動作を指示することができる。
出力装置917は、例えば、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置などの表示装置や、スピーカおよびヘッドホンなどの音声出力装置など、各種情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、上述した表示部112による処理に応じて、撮影画像やメニュー画面などを表示することができる。
ストレージ装置919は、撮像装置100の記憶部の一例として構成されたデータ格納用の装置であり、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および撮影された画像データなどを格納する。
ドライブ921は、記録媒体用リーダライタであり、撮像装置100に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に画像データなどを書き込むことも可能である。
接続ポート923は、例えば、USBポート、光オーディオ端子、HDMI(High−Definition Multimedia Interface)ポート等の、外部接続機器929に直接接続するためのポートである。この接続ポート923に外部接続機器929を接続することで、撮像装置100は、外部接続機器929から画像データを取得したり、外部接続機器929に録画した画像データを転送したりすることができる。また、撮像装置100は、例えば、外部接続機器929とHDMI接続されることにより、外部接続機器929が備える表示装置に関して、アスペクト比を含む詳細仕様を取得することもできる。
以上、本発明の各実施形態に係る撮像装置100の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
(8.まとめ)
以上説明したように、撮像装置100は、複数のアスペクト比の画像を同時撮影する際に、ユーザが主として撮影を希望するメイン画像の撮影領域(メイン画像撮影領域)を表示部112の表示可能領域に最大限に表示させることができる。これにより、ユーザは、表示部112に最大限に表示されているメイン画像撮影領域を見て、メイン画像のフレーミングやフォーカシングなどの調整や操作を行うことができる。また、撮像装置100は、ユーザが副次的に撮影を希望するサブ画像の撮影領域(サブ画像撮影領域)が表示部112の表示可能領域外に存在する場合には、ガイドフレーム132や領域通知アイコン130を表示させることができる。これにより、ユーザは、サブ画像撮影領域が表示部112の表示可能領域外に存在していることを視覚的に認識できる。したがって、ユーザは、サブ画像の撮影領域を一度決定した後は、表示部112の表示可能領域にメイン画像撮影領域を最大限に表示させて同時撮影を実行することができる。このように、本実施形態に係る撮像装置100は、複数のアスペクト比の画像を同時撮影する際のユーザビリティを高めることが可能である。
また、撮像装置100は、サブ画像に対する録画機能の待機中と実行中とで、領域通知アイコン130の表示を適宜更新することにより、ユーザにサブ画像に対する録画機能の実行の有無を視覚的に認識させることもできる。また、撮像装置100は、所定の文字や記号などが記録されたプレート情報を、表示部112の表示可能領域外に存在するサブ画像撮影領域に重ねて記録することもできる。このように、本実施形態に係る撮像装置100は、表示させる領域通知アイコン130の更新機能や、サブ画像へのプレート情報の記録機能などを追加的に備えることにより、複数のアスペクト比の画像を同時撮影する際のユーザビリティをさらに高めることも可能である。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態の説明において示した添付図面の表示部112の表示例は、上記実施形態を説明する上での一例であり、本発明はかかる例に限定されない。例えば、領域通知アイコン130の形状、大きさなどは、各図面に示した例に限定されるものではなく、表示部112の表示可能領域外にサブ画像撮影領域が存在することを示すことが可能なものであれば、特定の形状や大きさなどに限定されるものではない。
また、上記実施形態において例示したフレームモードの種類や組み合わせは、上記実施形態を説明する上での一例であり、本発明はかかる例に限定されない。例えば、撮像装置100は、上述した例以外のアスペクト比の画像も撮影することができ、上述した例以外のアスペクト比のディスプレイを有する表示部112を備えることも当然に可能である。また、撮像装置100が管理するフレームモードの数も上記例に限定されるものではなく、撮像装置100は、撮影モードの種類、数、性能などに応じて、任意の数のフレームモードを管理することができる。
また、本明細書において、フロー図に記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
本発明の実施形態の1つに係る撮像装置100の機能構成の一例を示すブロック図である。 同実施形態において、ユーザが任意に選択可能なフレームモードの種類の一例を示す説明図である。 同実施形態に係る撮像装置100が、複数のアスペクト比の画像を同時に撮影する際に、各画像の撮影領域を表示部112に表示させる処理の流れの一例を示す説明図である。 同実施形態において、フレームモードNo.1に対応する表示部112の表示例を示す説明図である。 同実施形態において、フレームモードNo.2に対応する表示部112の表示例を示す説明図である。 同実施形態において、フレームモードNo.3に対応する表示部112の表示例を示す説明図である。 同実施形態において、表示部112への撮影領域の表示例を示す説明図である。 同実施形態において、ユーザがサブ画像として動画ファイルの録画開始を指示した際の撮像装置100による表示部112への表示処理の流れの一例を示すフロー図である。 同実施形態において、サブ画像としての動画が録画中における表示部112の表示例を示す説明図である。 定点観測や実験撮影などに同実施形態に係る撮像装置100を利用する際の概念を示す説明図である。 同実施形態に係る撮像装置100を利用して録画された16:9のメイン画像の一例を示す説明図である。 同実施形態に係る撮像装置100を利用して録画された4:3のメイン画像の一例を示す説明図である。 同実施形態に係る撮像装置100のハードウェア構成の一例を示すブロック図である。 従来の撮像装置において、複数のアスペクト比に対応する撮影領域を表示する表示器の表示例を示す説明図である。 従来の撮像装置において、16:9のアスペクト比の表示可能領域10を有する表示器に表示させるガイドフレームの組み合わせ例を示す説明図である。 従来の撮像装置において、16:9の動画撮影と、当該動画よりも画像サイズの大きい4:3の静止画撮影と、を同時に撮影する場合の表示器の表示例を示す説明図である。 従来の撮像装置において、16:9の動画撮影と、当当該動画よりも画像サイズの大きい4:3のアスペクト比の静止画撮影と、を同時に撮影する場合の表示器10の別の表示例を示す説明図である。
符号の説明
100 撮像装置
102 画像入力部
104 画像表示範囲抽出部
106 領域通知画像生成部
108 画像合成部
110 表示制御部
112 表示部
114 画像記録範囲抽出部
115 記憶部
116 第1記憶部
118 第2記憶部
120 操作入力部
122 制御部
130 領域通知アイコン
132 ガイドフレーム
134 録画中領域通知アイコン

Claims (11)

  1. 撮像対象となる被写体の映像から、所定の第1のアスペクト比で構成される第1撮像領域に対応する画像と、前記第1のアスペクト比とは異なる所定の第2のアスペクト比で構成される第2撮像領域に対応する画像と、を抽出して記録する画像記録範囲抽出部と、
    前記撮像対象となる被写体の映像から、前記第1撮像領域および前記第2撮像領域に対応する画像を表示するディスプレイの表示可能領域のアスペクト比で構成される画像を、前記第1撮像領域が最大限に表示される範囲で抽出する画像表示範囲抽出部と、
    前記第2撮像領域が前記画像表示範囲抽出部により抽出された画像の領域外に存在する場合に、前記第2撮像領域が前記ディスプレイの表示可能領域外に存在することを示す領域通知画像を生成する領域通知画像生成部と、
    前記画像表示範囲抽出部により抽出された画像に、前記領域通知画像生成部により生成された領域通知画像を合成して表示画像を生成する画像合成部と、
    前記画像合成部により生成された表示画像を前記ディスプレイに表示させる表示制御部と、
    を備える撮像装置。
  2. 前記領域通知画像生成部は、前記ディスプレイの表示可能領域外に存在する前記第2撮像領域の方向を示す領域通知アイコンを含む前記領域通知画像を生成する、請求項1に記載の撮像装置。
  3. 前記領域通知画像生成部は、前記ディスプレイの表示可能領域内に前記第2撮像領域の境界の一部が存在する場合には、前記第2撮像領域の境界を示すガイドフレームを含む前記領域通知画像を生成する、請求項2に記載の撮像装置。
  4. 前記第1のアスペクト比および前記第2のアスペクト比の組み合わせは、ユーザにより任意に選択されるアスペクト比である、請求項3に記載の撮像装置。
  5. 前記第1のアスペクト比および前記第2のアスペクト比の組み合わせは、ユーザにより選択される撮像モードに応じて自動で切り替えられる、請求項4に記載の撮像装置。
  6. 前記領域通知画像生成部は、前記画像記録範囲抽出部が前記第2撮像領域に対応する画像を記録中の場合には、前記画像記録範囲抽出部が前記第2撮像領域に対応する画像を記録していない場合における領域通知画像とは異なる領域通知画像を生成する、請求項5に記載の撮像装置。
  7. 前記画像記録範囲抽出部は、前記ディスプレイの表示可能領域外に存在する前記第2撮像領域に、所定のメモ情報を合成して前記第2撮像領域に対応する画像を記録する、請求項6に記載の撮像装置。
  8. 前記ディスプレイを一体として備え、前記表示制御部は、前記画像合成部により生成された表示画像を該ディスプレイに表示させる、請求項1〜7に記載の撮像装置。
  9. 前記表示制御部は、外部接続される所定の外部機器が備えるディスプレイに、前記画像合成部により生成された表示画像を表示させる、請求項1〜8に記載の撮像装置。
  10. 撮像対象となる被写体の映像から、所定の第1のアスペクト比で構成される第1撮像領域に対応する画像と、前記第1のアスペクト比とは異なる所定の第2のアスペクト比で構成される第2撮像領域に対応する画像と、を表示するディスプレイの表示可能領域のアスペクト比で構成される画像を、前記第1撮像領域が最大限に表示される範囲で抽出する画像表示範囲抽出ステップと、
    前記第2撮像領域が前記画像表示範囲抽出ステップにより抽出された画像の領域外に存在する場合に、前記第2撮像領域が前記ディスプレイの表示可能領域外に存在することを示す領域通知画像を生成する領域通知画像生成ステップと、
    前記画像表示範囲抽出ステップにより抽出された画像に、前記領域通知画像生成ステップにより生成された領域通知画像を合成して表示画像を生成する画像合成ステップと、
    前記画像合成ステップにより生成された表示画像を前記ディスプレイに表示させる表示制御ステップと、
    を含む撮像領域表示方法。
  11. 撮像対象となる被写体の映像から、所定の第1のアスペクト比で構成される第1撮像領域に対応する画像と、前記第1のアスペクト比とは異なる所定の第2のアスペクト比で構成される第2撮像領域に対応する画像と、を表示するディスプレイの表示可能領域のアスペクト比で構成される画像を、前記第1撮像領域が最大限に表示される範囲で抽出する画像表示範囲抽出処理と、
    前記第2撮像領域が前記画像表示範囲抽出処理により抽出された画像の領域外に存在する場合に、前記第2撮像領域が前記ディスプレイの表示可能領域外に存在することを示す領域通知画像を生成する領域通知画像生成処理と、
    前記画像表示範囲抽出処理により抽出された画像に、前記領域通知画像生成処理により生成された領域通知画像を合成して表示画像を生成する画像合成処理と、
    前記画像合成処理により生成された表示画像を前記ディスプレイに表示させる表示制御処理と、
    をコンピュータに実行させる撮像領域表示プログラム。
JP2008271876A 2008-10-22 2008-10-22 撮像装置、撮像領域表示方法および撮像領域表示プログラム Active JP4655135B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008271876A JP4655135B2 (ja) 2008-10-22 2008-10-22 撮像装置、撮像領域表示方法および撮像領域表示プログラム
US12/587,599 US8300134B2 (en) 2008-10-22 2009-10-09 Image-taking apparatus, image-taking region displaying method, and image-taking region displaying program
CN2009102077346A CN101729788B (zh) 2008-10-22 2009-10-22 摄像装置、摄像区域显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008271876A JP4655135B2 (ja) 2008-10-22 2008-10-22 撮像装置、撮像領域表示方法および撮像領域表示プログラム

Publications (2)

Publication Number Publication Date
JP2010103676A true JP2010103676A (ja) 2010-05-06
JP4655135B2 JP4655135B2 (ja) 2011-03-23

Family

ID=42108346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008271876A Active JP4655135B2 (ja) 2008-10-22 2008-10-22 撮像装置、撮像領域表示方法および撮像領域表示プログラム

Country Status (3)

Country Link
US (1) US8300134B2 (ja)
JP (1) JP4655135B2 (ja)
CN (1) CN101729788B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012160966A (ja) * 2011-02-01 2012-08-23 Nikon Corp 撮像装置
DE102014209623A1 (de) 2013-05-22 2014-11-27 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung, Steuerverfahren, und Programm

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5610860B2 (ja) * 2009-08-07 2014-10-22 キヤノン株式会社 撮像装置及び情報処理装置
KR101723642B1 (ko) * 2011-01-31 2017-04-19 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
JP5767715B2 (ja) * 2011-09-30 2015-08-19 富士フイルム株式会社 撮像装置、撮像方法及びプログラム
FR3016989B1 (fr) 2014-01-29 2016-01-15 St Microelectronics Grenoble 2 Procede de transformation combinee de l'echelle et du rapport d'aspect d'une image
KR20170065926A (ko) * 2015-12-04 2017-06-14 삼성전자주식회사 디스플레이 장치 및 그 제어방법
JP6746468B2 (ja) * 2016-11-02 2020-08-26 キヤノン株式会社 撮像装置及びその表示制御方法、並びにプログラム
CN110063054A (zh) * 2016-12-19 2019-07-26 索尼公司 控制设备、控制方法和程序
KR102386398B1 (ko) * 2017-03-17 2022-04-14 삼성전자주식회사 촬영 모드에 따라 이미지에 대한 표시자를 다르게 제공하는 방법 및 그 전자 장치
US10897577B2 (en) * 2018-06-26 2021-01-19 Canon Kabushiki Kaisha Image capturing system, image capturing apparatus, illumination apparatus, and control method
US10965873B1 (en) * 2018-09-24 2021-03-30 Facebook, Inc. Systems and methods for updating camera displays
CN109348276B (zh) * 2018-11-08 2019-12-17 北京微播视界科技有限公司 视频画面调整方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033263A (ja) * 2004-07-14 2006-02-02 Nikon Corp カメラ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6469797B2 (en) * 1998-04-06 2002-10-22 Canon Kabushiki Kaisha Image capturing apparatus
JP2002101393A (ja) * 2000-09-22 2002-04-05 Sony Corp 映像表示装置
US7286160B2 (en) * 2001-04-05 2007-10-23 Nikon Corporation Method for image data print control, electronic camera and camera system
TWI228378B (en) * 2003-06-19 2005-02-21 Primax Electronics Ltd Auxiliary method and device for finding view
JP4114569B2 (ja) * 2003-07-22 2008-07-09 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
US20050146631A1 (en) * 2004-01-07 2005-07-07 Shelton Michael J. In-camera cropping to standard photo sizes
JP4537107B2 (ja) * 2004-04-06 2010-09-01 キヤノン株式会社 映像表示装置、映像表示方法、及びコンピュータプログラム
JP4371049B2 (ja) * 2004-12-22 2009-11-25 ソニー株式会社 撮像装置、およびガイドフレーム表示制御方法、並びにコンピュータ・プログラム
US20100110210A1 (en) * 2008-11-06 2010-05-06 Prentice Wayne E Method and means of recording format independent cropping information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033263A (ja) * 2004-07-14 2006-02-02 Nikon Corp カメラ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012160966A (ja) * 2011-02-01 2012-08-23 Nikon Corp 撮像装置
DE102014209623A1 (de) 2013-05-22 2014-11-27 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung, Steuerverfahren, und Programm
US9826163B2 (en) 2013-05-22 2017-11-21 Canon Kabushiki Kaisha Image processing apparatus, control method, and recording medium
DE102014209623B4 (de) 2013-05-22 2023-03-30 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung, Steuerverfahren, und Programm

Also Published As

Publication number Publication date
CN101729788A (zh) 2010-06-09
CN101729788B (zh) 2012-09-19
US8300134B2 (en) 2012-10-30
US20100097488A1 (en) 2010-04-22
JP4655135B2 (ja) 2011-03-23

Similar Documents

Publication Publication Date Title
JP4655135B2 (ja) 撮像装置、撮像領域表示方法および撮像領域表示プログラム
JP4715913B2 (ja) 撮像装置、画像処理装置、ズーム制御方法およびズーム制御プログラム
JP5006727B2 (ja) 画像処理装置およびデジタルカメラ
JP4250543B2 (ja) 撮像装置及び情報処理装置及びそれらの制御方法
JP4654887B2 (ja) 撮像装置
TW200808044A (en) Imaging apparatus and computer readable recording medium
JP2007221570A (ja) 撮像装置及びそのプログラム
US20090083667A1 (en) Imaging apparatus and method for controlling the same
JP2006303961A (ja) 撮像装置
JP2008167293A (ja) 撮像装置および撮像方法
JP4696614B2 (ja) 画像表示制御装置及びプログラム
JP2011040896A (ja) 撮像装置及びその制御方法
JP5950755B2 (ja) 画像処理装置、制御方法、プログラム及び記憶媒体
JP2007194829A (ja) カメラ、画像処理装置、静止画生成方法、プログラム、および記憶媒体
JP2001028699A (ja) 電子カメラ
CN107295247B (zh) 图像记录装置及其控制方法
WO2018116824A1 (ja) 制御装置、制御方法、並びにプログラム
JP4948011B2 (ja) 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体
JP2010093579A (ja) 撮像装置及びその制御方法及びプログラム
JP2005278003A (ja) 画像処理装置
JP2007019961A (ja) 電子機器とそのメニュー表示方法
JP4513491B2 (ja) 電子カメラ
JP2019041372A (ja) 撮像装置、電子機器及び画像データの転送方法
JP2006094200A (ja) 撮像装置、合焦表示方法及びプログラム
JP5003803B2 (ja) 画像出力装置、および、プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4655135

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250