JP2004336536A - Photographing device, method, and program - Google Patents

Photographing device, method, and program Download PDF

Info

Publication number
JP2004336536A
JP2004336536A JP2003131594A JP2003131594A JP2004336536A JP 2004336536 A JP2004336536 A JP 2004336536A JP 2003131594 A JP2003131594 A JP 2003131594A JP 2003131594 A JP2003131594 A JP 2003131594A JP 2004336536 A JP2004336536 A JP 2004336536A
Authority
JP
Japan
Prior art keywords
image data
photographing
image
shooting
rotation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003131594A
Other languages
Japanese (ja)
Other versions
JP4236986B2 (en
Inventor
Hisanobu Tsubaki
尚宜 椿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2003131594A priority Critical patent/JP4236986B2/en
Publication of JP2004336536A publication Critical patent/JP2004336536A/en
Application granted granted Critical
Publication of JP4236986B2 publication Critical patent/JP4236986B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To reproduce an image acquired by a photographing device like a digital camera or a mobile phone with camera, so that the image can be seen straight regardless of a photographing attitude. <P>SOLUTION: A mobile phone 1 is provided with three release buttons 12A, 17, and 18. Rotation information for rotating image data so as to cause the image data to have a correct vertical direction when reproduced is generated for image data acquired by photographing, in accordance with which release button is depressed at the time of photographing when the release button to be depressed is changed in accordance with the photographing attitude of the mobile phone 1, and the rotation information is given to the image data. When reproduced, the image data is rotated by referring to the rotation information so as to have a correct vertical direction. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、撮影により被写体を表す画像データを取得するデジタルカメラ、例えばカメラ付きの携帯電話機やPDAのような携帯端末装置等の撮影装置および撮影方法並びに撮影方向をコンピュータに実行させるためのプログラムに関するものである。
【0002】
【従来の技術】
デジタルカメラ等の撮影装置は、通常の撮影姿勢においては横長の画像が取得され、この画像がメモリカードや内部メモリ等の記録媒体に記録されて保管される。また、画像を再生するモニタも横長であるため、撮影装置により取得された画像はモニタにおいて横長に再生される。このため、縦長の画像が取得されるような撮影姿勢により撮影を行った場合には、記録媒体に記録される画像は縦横が逆となり、その画像をモニタに再生すると縦横が逆、すなわち縦長で正視することができる画像が横長で表示されてしまい、回転させなければ画像が観察しにくいものとなる。
【0003】
このため、縦横いずれの向きに構えても天地方向が正しい画像を再生することができるように、液体スイッチ等からなる姿勢検出センサを設け、このセンサにより撮影姿勢を検出し、この検出出力を撮影により取得した画像データの向きを指定する情報として画像データとともに記録するようにしたデジタルカメラが提案されている(特許文献1参照)。また、おもりの重力を利用してカメラの向きに応じて接点が切り替わるセンサを設け、このセンサにより撮影姿勢を検出して、記録媒体に記録された画像の読み出し方向を指定する情報を生成し、この情報を利用して天地方向が正しい画像を再生することができるようにしたデジタルカメラも提案されている(特許文献2参照)。
【0004】
一方、携帯電話機の普及には目覚ましいものがあるが、近年、撮影により画像データを取得する撮影手段を有するカメラ付き携帯電話機が普及しつつある。このようなカメラ付き携帯電話機を用いることにより、撮影により取得した自分の好みの画像データを携帯電話機の待ち受け画面に設定したり、撮影により取得した画像データを電子メールに添付して友人に送信したりできるため、友人とのコミュニケーションを図るのに便利である。
【0005】
【特許文献1】
特公昭4−12673号公報
【0006】
【特許文献2】
特許第273153号公報
【0007】
【発明が解決しようとする課題】
しかしながら、上記特許文献1,2に記載されたデジタルカメラにおいては、液体センサやおもりを利用したセンサのような姿勢検出センサをカメラに内蔵させる必要があるため、カメラが大型化するという問題がある。
【0008】
ところで、カメラ付きの携帯電話機においても、撮影姿勢に応じて再生される画像の縦横が逆となってしまうという問題が生じる。このため、上記特許文献1,2に記載されたデジタルカメラにおいて行われる処理をカメラ付き携帯電話機において行うことにより、縦横が逆でない、すなわち天地方向が正しい画像を再生することができる。
【0009】
しかしながら、携帯電話機は、カメラに設けられているCCD等の撮像素子の取り付け方向や撮像素子からの画像データの読み出し方向が機種によって異なるため、携帯電話機の撮影姿勢に応じた天地方向と再生時の画像の天地方向とが必ずしも一致しない場合がある。例えば、図17(a)に示すようにCCD200が縦長に内蔵された携帯電話機において、図17(b)に示すように、CCD200の下から上に向けて左のラインから右へ向けて順次画像データを読み出して、図17(c)に示すように画像の左上隅を原点として読み出した順に画像データを横長に生成する場合を考える。このような場合において、携帯電話機を図18(a)に示すように縦に構えた通常の撮影姿勢により撮影を行った場合、得られる画像を再生すると、通常の撮影姿勢により撮影したにも拘わらず、再生される画像は縦横が逆となって天地方向が撮影時とは異なるものとなる。一方、図18(b)に示すように携帯電話機を横長に構えた撮影姿勢により撮影を行った場合には、得られる画像を再生すると天地方向は正しいものとなる。このため、とくに携帯電話機においては撮像素子が内蔵された方向を考慮しなければ正しい天地方向の画像を再生することができない。
【0010】
本発明は上記事情に鑑みなされたものであり、デジタルカメラ、カメラ付き携帯電話機等の撮影装置により取得した画像を、正しい天地方向となるように再生できるようにすることを目的とする。
【0011】
【課題を解決するための手段】
本発明による撮影装置は、撮像素子により被写体を撮影して該被写体の画像を表す画像データを取得する撮影手段を備えた撮影装置において、
撮影姿勢に応じた複数の位置にそれぞれ設けられた、前記撮影手段に撮影動作を行わせる複数のレリーズ手段と、
前記複数のレリーズ手段のうち、撮影時に操作された操作レリーズ手段の位置に応じて、前記画像データに再生時に正視可能とする処理を施す処理手段とを備えたことを特徴とするものである。
【0012】
「撮影姿勢に応じた複数位置」とは、本発明による撮影装置を撮影者が種々の撮影姿勢となるように構えた際に、各撮影姿勢において撮影動作を比較的容易に行うことが可能な位置をいう。例えば、どのような撮影姿勢であっても、右手により操作が可能な位置を「撮影姿勢に応じた複数位置」として用いることができるが、これに限定されるものではない。
【0013】
「再生時に正視可能とする処理」とは、画像データを正しい天地方向となるように再生することを可能とする処理をいう。
【0014】
なお、本発明による撮影装置においては、前記処理手段を、前記操作レリーズ手段の位置を検出する検出手段と、
該検出手段が検出した位置に基づいて、再生時に正視可能とするために必要な前記画像データの回転に関する回転情報を生成する回転情報生成手段と、
前記正視可能とする処理として、前記回転情報を前記画像データに付与する付与手段とを備えるものとしてもよい。
【0015】
この場合、前記回転情報生成手段を、前記撮像素子の向き、すなわち通常の撮影姿勢において撮像素子が撮影装置に縦長となるように設けられているか横長となるように設けられているかに応じて前記回転情報を生成する手段としてもよい。
【0016】
また、本発明による撮影装置においては、前記処理手段を、前記操作レリーズ手段の位置を検出する検出手段と、
前記正視可能とする処理として、該検出手段が検出した位置に基づいて、再生時に正視可能なように前記画像データを回転する回転処理手段とを備えるものとしてもよい。
【0017】
この場合、前記回転処理手段を、前記撮像素子の向きに応じて前記画像データを回転する手段としてもよい。
【0018】
「画像データを回転する」処理とは、撮像素子から読み出した画像データを回転する処理のみならず、撮像素子からデータを回転させつつ読み出して、生成された時にはすでに回転されている画像を表す画像データを得る処理も含む。
【0019】
また、本発明による撮影装置においては、種々の操作を受け付けるタッチパネルをさらに備え、
前記複数のレリーズ手段がタッチパネルに表示されてなるものとしてもよい。
【0020】
この場合、前記複数のレリーズ手段を、前記撮影姿勢を表す記号、文字、画像等のマークにより前記タッチパネルに表示してもよい。
【0021】
また、本発明による撮影装置を携帯端末装置に適用してもよく、デジタルカメラに適用してもよい。
【0022】
本発明による撮影方法は、撮像素子により被写体を撮影して該被写体の画像を表す画像データを取得する撮影方法において、
撮影時において、撮影姿勢に応じた複数の位置にそれぞれ設けられた、前記撮影手段に撮影動作を行わせる複数のレリーズ手段のうちのいずれかのレリーズ手段の操作を受け付け、
前記複数のレリーズ手段のうち、撮影時に操作された操作レリーズ手段の位置に応じて、前記画像データに再生時に正視可能とする処理を施すことを特徴とするものである。
【0023】
なお、本発明による撮影方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【0024】
【発明の効果】
本発明によれば、撮影姿勢に応じた複数の位置のそれぞれに、撮影手段に撮影動作を行わせる複数のレリーズ手段が設けられており、撮影時に操作された操作レリーズ手段の位置に応じて、画像データに再生時に正視可能とする処理を施すようにしたものである。このため、特許文献1,2に記載されたデジタルカメラのように、液体センサやおもりを利用したセンサのような大がかりなセンサを設けなくても、撮影姿勢に拘わらず天地方向が正しい正視可能な画像を再生することができる。
【0025】
とくに、操作レリーズ手段の位置に基づいて、再生時に画像データを正視可能とするために必要な回転に関する回転情報を生成し、正視可能とする処理として、回転情報を画像データに付与する処理とすれば、回転情報を参照することにより天地方向が正しい画像を再生することが可能となる。
【0026】
この場合、撮像素子の向きに応じて回転情報を生成することにより、撮像素子の向きに拘わらず再生時に正視可能なように回転情報に基づいて画像データを回転することができる。
【0027】
また、操作レリーズ手段の位置に基づいて、再生時に正視可能なように画像データを回転することにより、再生時において画像データに対して何ら処理を施さなくても天地方向が正しい画像を再生することが可能となる。
【0028】
また、撮像素子の向きに応じて画像データを回転することにより、撮像素子の向きに拘わらず再生時に正視可能なように画像データを回転することができる。
【0029】
また、タッチパネルをさらに備えるものとし、複数のレリーズ手段をタッチパネルに表示することにより、視覚的に撮影動作を行うことができる。
【0030】
この場合、複数のレリーズ手段を撮影姿勢を表すマークによりタッチパネルに表示すれば、どのレリーズ手段を操作すれば天地方向が正しい画像を再生可能なように撮影を行うことができるかを一見して認識できる。したがって、撮影動作を行いやすくすることができる。
【0031】
また、本発明による撮影装置を、携帯電話機やPDA等の携帯端末装置とすることにより、携帯端末装置の撮影姿勢に拘わらず、画像データを再生時に正視可能とすることができる。
【0032】
また、本発明による撮影装置を、デジタルカメラとすることにより、デジタルカメラの撮影姿勢に拘わらず、画像データを再生時に正視可能とすることができる。
【0033】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図1は本発明の第1の実施形態による撮影装置を適用したカメラ付きの携帯電話機の構成を示す図であり、(a)は正面図、(b)は左側面図、(c)は背面図、(d)は右側面図である。図1に示すように本発明の第1の実施形態による携帯電話機1は、正面側に、液晶モニタ(LCD)等からなる表示部11と、電話番号や文字を入力する数字キーや、通話モード、メールモード、撮影モード等のモードを切り替えるためのスイッチ等からなる複数の操作ボタンを有する操作ボタン群12と、音声を発するスピーカ13と、音声を集音するマイク14とを備える。なお、操作ボタン群12のうちの操作ボタン12Aは後述するように携帯電話機1を撮影モードに切り替えた際に、カメラに撮影動作を行わせるためのレリーズボタンとしても機能する。このため、操作ボタン12Aを第1のレリーズボタンと称するものとする。
【0034】
一方、携帯電話機1の背面側には、時計や着信状態を表示するための液晶表示部15と、被写体を撮影するための撮影部16が設けられており、左側面には撮影部16に撮影動作を行わせる第2のレリーズボタン17が、右側面には撮影部16に撮影動作を行わせる第3のレリーズボタン18がそれぞれ設けられている。
【0035】
図2は、第1の実施形態による携帯電話機1における撮影に関わる部分の構成を示すブロック図である。撮影レンズ22は、1枚または複数枚のレンズで構成される。撮影レンズ22は、単一の焦点距離(固定焦点)のレンズでもよいし、ズームレンズや望遠/広角の二焦点切替式レンズの如く焦点距離可変のものでもよい。撮影レンズ22を通過した光は、絞り24により光量が調節された後、CCDやCMOS等からなる撮像素子26に入射する。撮像素子26の受光面には、フォトセンサが平面的に配列されており、撮像素子26の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。こうして蓄積された信号電荷は、撮像素子駆動部28から与えられるパルスに基づいて信号電荷に応じた電圧信号として順次読み出される。
【0036】
なお、撮像素子26は、表示部11を縦長に観察することができる状態、すなわち通常の使用状態において、図3(a)に示すように縦長となるように携帯電話機1に内蔵されており、撮影時における信号の読み出しは、図3(b)に示すように撮像素子26の下から上に向けて左のラインから右のラインへ向けて順に行われるものとする。そして、図3(c)に示すように、読み出し開始位置を左上隅とする横長の画像として画像データを生成するものとする。
【0037】
撮像素子26から出力された画像データは、アナログ信号処理部30に送られる。アナログ信号処理部30は、サンプリングホールド回路、色分離回路、ゲイン調整回路等を含み、このアナログ処理部30において、相関二重サンプリング(CDS)処理並びにR,G,Bの各色信号に色分離処理され、各色信号の信号レベルの調整(プリホワイトバランス処理)が行われる。
【0038】
アナログ信号処理部30から出力された画像データは、A/D変換器40によりデジタル信号に変換された後、メモリ制御部46により制御されるメインメモリ48に格納される。
【0039】
メインメモリ48に格納された画像データは、バス70を介してデジタル信号処理部50に送られる。デジタル信号処理部50は、輝度・色差信号生成回路、ガンマ補正回路、シャープネス補正回路、コントラスト補正回路、ホワイトバランス補正回路等を含むデジタルシグナルプロセッサ(DSP)で構成された画像処理手段であり、CPU42からのコマンドに従って画像信号を処理する。
【0040】
デジタル信号処理部50に入力された画像データは、輝度信号(Y信号)および色差信号(Cr,Cb 信号)に変換されるとともに、ガンマ補正等の所定の画像処理が施された後、メインメモリ48に格納される。
【0041】
メインメモリ48に記憶された画像データは、CPU42の指令に従って読み出され、表示用メモリを備えた表示制御部60に送られる。表示制御部60に送られたデータは、表示用の所定方式の信号(例えば、NTSC方式のカラー複合映像信号)に変換された後、D/Aされて表示部11に出力される。これにより、当該画像データの画像内容が表示部11に再生される。
【0042】
撮像素子26から出力される画像データによってメインメモリ48の画像データが定期的に書き換えられ、その画像データが表示部11に供給されることにより、撮像素子26が捉える画像がリアルタイムに表示部11に再生される。撮影者は、表示部11に再生される画像により撮影画角を確認することができる。
【0043】
撮影時には、操作部44に含まれる第1から第3のいずれかのレリーズボタン12A、17,18の押下操作により記録開始指示信号が発せられ、これにより記録用の画像データの取り込みが開始される。画像データを圧縮して記録するモードが選択されている場合、CPU42は圧縮伸張処理部52にコマンドを送り、これにより圧縮伸張処理部52は、メインメモリ48上の画像データをJPEGその他の所定の形式に従って圧縮する。圧縮された画像データは、メモリ制御部56を介してメモリカード等の記録媒体58に記録される。なお、非圧縮の画像データを記録するモード(非圧縮モード)が選択されている場合には、圧縮伸張処理部52による圧縮処理を実施せずに、非圧縮のまま画像データが記録媒体58に記録される。
【0044】
この際、いずれのレリーズボタン12A、17,18が押下されたかを画像方向検出部64が検出し、回転情報生成部66がいずれのレリーズボタン12A,17,18が押下されたかに応じて、画像の回転を表す回転情報を生成する。そしてメモリ制御部56が、生成された回転情報を画像データのタグ情報に記述することにより、回転情報を画像データに付与する。
【0045】
ここで、第1の実施形態においては、すべてのレリーズボタン12A,17,18により撮影部16に撮影動作を行わせることが可能であるが、携帯電話機1を構えた時の携帯電話機1の向きすなわち撮影姿勢に応じて、右手の人差し指により押下しやすいレリーズボタンは異なるものとなる。
【0046】
例えば、図4(a)に示すように携帯電話機1を構えた場合は(以下第1の撮影姿勢とする)、第1のレリーズボタン12Aが押下しやすい位置にあるため第1のレリーズボタン12Aを押下することにより撮影動作が行われる。一方、図4(b)に示すように携帯電話機1を構えた場合(以下第2の撮影姿勢とする)、第2のレリーズボタン17が押下しやすい位置にあるため第2のレリーズボタン17を押下することにより撮影動作が行われる。また、図4(c)に示すように携帯電話機1を構えた場合(以下第3の撮影姿勢とする)、第3のレリーズボタン18が押下しやすい位置にあるため第3のレリーズボタン18を押下することにより撮影動作が行われる。
【0047】
また、本実施形態においては、図3(a)に示すように撮像素子26が縦長となるように携帯電話機1に内蔵されており、得られる画像データや図3(c)に示すように横長であるため、第1の撮影姿勢により撮影を行う場合、撮像素子26の撮影面には、図5(a)に示すように被写体像が結像するが、取得された画像データを再生することにより得られる画像は、図5(b)に示すように結像した被写体像が時計回りに90度回転した横長のものとなる。このため、画像データを反時計回りに90度回転させることにより天地方向が正しい画像を再生することができる。したがって、画像方向検出部64が第1のレリーズボタン12Aが押下されて第1の撮影姿勢により撮影が行われたことを検出した場合、回転情報生成部66は画像データを反時計回りに90度回転させる旨を表す回転情報を生成する。
【0048】
一方、第2の撮影姿勢により撮影を行う場合、撮像素子26の撮影面には、図5(c)に示すように被写体像が結像し、得られる画像データを再生することにより得られる画像は、図5(d)に示すように、何ら回転しなくても横長の状態で天地方向が正しいものとなる。このため、画像方向検出部64が第2のレリーズボタン17が押下されて第2の撮影姿勢により撮影が行われたことを検出した場合、回転情報生成部66は画像データを何ら回転させない、すなわち回転が不要である旨を表す回転情報を生成する。
【0049】
また、第3の撮影姿勢により撮影を行う場合、撮像素子26の撮影面には、図5(e)に示すように被写体像が結像するが、得られる画像データを再生することにより得られる画像は、図5(f)に示すように横長で上下が逆の画像となる。このため、得られる画像データを180度回転させることにより天地方向が正しい画像を再生することができる。したがって、画像方向検出部64が第3のレリーズボタン18が押下されて第3の撮影姿勢により撮影が行われたことを検出した場合、回転情報生成部66は画像データを180度回転させる旨を表す回転情報を生成する。
【0050】
図6は、本実施形態において生成される画像データのファイル構造を示す図である。図6に示すように、画像ファイル100には、ファイル種別等を表すヘッダ部102と、撮影情報等が記述されているタグ情報104と、撮影した画像データのサムネイル画像106と、撮影した画像データに基づいて生成された例えば1600×1200画素のサイズの主画像108とが記録されている。なお、サムネイル画像106は、主画像108の見出し等に利用される160×120画素サイズの画像である。
【0051】
タグ情報104には、主画像108の画素数、圧縮の種類、撮影日時、撮影時の露出時間、主画像108の色空間および上述した回転情報等が記述されている。
【0052】
実際には、タグ情報104に記述される情報はあらかじめ定められたタグ番号により特定される。例えば回転情報は274番のタグ番号が割り当てられており、どのように回転させるかが1から3の番号によりあらかじめ設定されている。例えば、「1」は何ら回転させない旨の回転情報を表し、「2」は反時計回りに90度回転させる旨の回転情報を表し、「3」は180度回転させる旨の回転情報を表す。したがって、タグ情報104の回転情報にはこのような番号が記述される。
【0053】
なお、第1の撮影姿勢により撮影を行った場合には回転情報は「2」となり、第2の撮影姿勢により撮影を行った場合には回転情報は「1」となり、第3の撮影姿勢により撮影を行った場合には回転情報は「3」となる。
【0054】
一方、再生モード時には、操作部44が再生する画像データの選択を受け付けると、メモリ制御部56が記録媒体58から画像データを読み出し、記録媒体58から読み出された画像データが圧縮伸張処理部52によって伸張処理され(圧縮されている場合)、表示制御部60を介して表示部11に出力される。この際、表示制御部60が、画像データのタグ情報に記述された回転情報に基づいて、必要であれば画像データを回転するため、表示部11に再生される画像は天地方向が正しい正視可能なものとなっている。
【0055】
CPU42は、第1の実施形態による携帯電話機1の撮影に関する動作を制御する制御部である。CPU42は、ROM42AおよびRAM42B等の記憶手段を備え、ROM42AにはCPU42が処理するプログラムおよび制御に必要な各種データ等が格納され、RAM42BはCPU42が各種の演算処理等を行う際の作業用エリアとして利用される。CPU42は、操作部44からの入力信号に基づき、対応する回路の動作を制御するとともに、表示部11における表示の制御、オートフォーカス(AF)制御および自動露出(AE)制御等を行う。
【0056】
また、CPU42は、撮像素子26から出力される画像データに基づいて、焦点評価値の演算およびAE演算などの各種演算を行い、その演算結果に基づいてフォーカスモータを含むレンズ駆動部32を制御してレンズを合焦位置に移動させるとともに、アイリスモータを含む絞り駆動部34を制御して適正な絞りに設定し、かつ撮像素子26の電荷蓄積時間を制御する。
【0057】
以下AE、AF処理について説明する。
【0058】
A/D変換器40から出力された信号は、AE/AF演算部54に送信される。AE/AF演算部54は、R、G、B信号を積算し、その積算値をCPU42に送信する。CPU42は、入力された積算値に基づいて被写体の平均的な明るさ(被写体輝度)を検出し、撮影に適した露出値(撮影Ev値)を算出する。レリーズボタン12A,17,18の半押し時に、上述のAE測光動作を複数回繰り返して正確な露出値を求める。求めた露出値と所定のプログラム線図に従い、撮影時の絞り値とシャッタースピードが決定される。そして、レリーズボタン12A,17,18の全押し時に、絞り駆動部34および電子シャッターを制御して最適な露光量を得る。
【0059】
また、AE/AF演算部54は、A/D変換器40から出力されるG信号の高周波成分を抽出し、これの絶対値を求め、画面内(例えば、画面中央部)にあらかじめ設定されているフォーカス対象エリア(AFエリアという。)内の信号を切り出す処理を行う。そして、AFエリア内の絶対値データを積算し、得られた積算値(焦点評価値に相当)をCPU42に送信する。
【0060】
CPU42は、撮影レンズ22を移動させながら、複数のAF検出ポイントでAF演算を行い、各AF検出ポイントで算出された焦点評価値を総合して、焦点評価値が最大となるところを合焦位置として決定する。そして、求めた合焦位置に撮影レンズ22を移動させるようにレンズ駆動部32を制御する。
【0061】
次いで、上記のように構成された第1の実施形態による携帯電話機1の撮影時における動作について説明する。図7は撮影時の動作を示すフローチャートである。第1から第3のレリーズボタン12A,17,18のいずれかが押下されることにより処理が開始されると、撮影部16が画像データを生成し(ステップS1)、メインメモリ48に記録する(ステップS2)。そして、画像方向検出部64が、第1から第3のレリーズボタン12A,17,18のうち、いずれのレリーズボタンが押下されたかを判定する(ステップS3)。
【0062】
画像方向検出部64が第1のレリーズボタン12Aが押下されたと判定した場合には、回転情報生成部66が画像データを反時計回りに90度回転させる旨を表す回転情報を生成する(ステップS4)。また、画像方向検出部64が第2のレリーズボタン17が押下されたと判定した場合には、回転情報生成部66は画像データを何ら回転させない旨を表す回転情報、すなわち回転不要の回転情報を生成する(ステップS5)。画像方向検出部64が第3のレリーズボタン18が押下されたと判定した場合には、回転情報生成部66が画像データを180度回転させる旨を表す回転情報を生成する(ステップS6)。
【0063】
続いて、メモリ制御部56が、回転情報生成部66が生成した回転情報を画像データのタグ情報に記述することにより回転情報を画像データに付与し(ステップS7)、メモリ制御部56が、回転情報が付与された画像データを記録媒体58に記録し(ステップS8)、処理を終了する。
【0064】
次いで、第1の実施形態による携帯電話機1において、記録媒体58に記録された画像データの再生時において行われる処理について説明する。図8は画像データの再生時の動作を示すフローチャートである。撮影者が操作部44を操作することにより、携帯電話機1のモードが再生モードに切り替えられると処理が開始され、CPU42が操作部44により再生する画像データの選択を受け付け(ステップS11)、選択された画像データを記録媒体58から読み出して表示制御部60に入力する(ステップS12)。
【0065】
表示制御部60は画像データのタグ情報に記述された回転情報を参照して、画像データをどのように回転するかを判定する(ステップS13)。回転情報が反時計回りに90度回転する旨を表す場合、表示制御部60は画像データを反時計回りに90度回転し(ステップS14)、回転した画像データを表示部11に再生し(ステップS15)、処理を終了する。
【0066】
回転情報が回転不要である場合には、表示制御部60は画像データを何ら回転することなく表示部11に再生し(ステップS15)、処理を終了する。
【0067】
回転情報が180度回転する旨を表す場合、表示制御部60は画像データを180度回転し(ステップS16)、回転した画像データを表示部11に再生し(ステップS15)、処理を終了する。
【0068】
このように、第1の実施形態においては、撮影時に押下されたレリーズボタンの位置に基づいて、再生時に画像データを正視可能とするために必要な回転に関する回転情報を生成し、この回転情報を画像データに付与しているため、画像データの再生時には回転情報を参照することにより、画像データを正視可能なように再生することが可能となる。このため、液体センサやおもりを利用したセンサのような大がかりなセンサを設けなくても、撮影姿勢に拘わらず、天地方向が正しい画像を再生することができる。
【0069】
また、撮像素子26の向きに応じて回転情報を生成することにより、撮像素子26の向きに拘わらず再生時に正視可能なように回転情報に基づいて画像データを回転することができる。
【0070】
なお、上記第1の実施形態においては、撮影により取得した画像データを記録媒体58に記録しているが、電子メールに添付して送信してもよく、画像サーバに送信して画像データを画像サーバに保管するようにしてもよい。この場合、電子メールの送信先または画像サーバからの画像データのダウンロード先において、画像データに付与された回転情報に基づいて、必要であれば画像データを回転する処理が行われる。
【0071】
次いで、本発明の第2の実施形態について説明する。図9は本発明の第2の実施形態による携帯電話機1における撮影に関わる部分の構成を示すブロック図である。なお、第2の実施形態において第1の実施形態と同一の構成については同一の参照番号を付し、ここでは詳細な説明は省略する。第2の実施形態による携帯電話機1は、第1の実施形態による携帯電話機1の回転情報生成部66に代えて画像回転処理部68を設け、いずれのレリーズボタン12A、17,18が押下されたかを画像方向検出部64が検出し、画像回転処理部68がいずれのレリーズボタン12A,17,18が押下されたかに応じて、画像データを回転するようにした点が第1の実施形態と異なる。
【0072】
画像回転処理部68は、画像方向検出部64が第1のレリーズボタン12Aが押下されて第1の撮影姿勢により撮影が行われたことを検出した場合、画像データを反時計回りに90度回転する処理を行う。
【0073】
また、画像方向検出部64が第2のレリーズボタン17が押下されて第2の撮影姿勢により撮影が行われたことを検出した場合、画像回転処理部68は画像データを何ら回転させない。
【0074】
また、画像方向検出部64が第3のレリーズボタン18が押下されて第3の撮影姿勢により撮影が行われたことを検出した場合、画像回転処理部68は画像データを180度回転させる処理を行う。
【0075】
次いで、上記のように構成された第2の実施形態による携帯電話機1の撮影時における動作について説明する。図10は第2の実施形態による携帯電話機1の撮影時の動作を示すフローチャートである。第1から第3のレリーズボタン12A,17,18のいずれかが押下されることにより処理が開始されると、撮影部16が画像データを生成し(ステップS21)、メインメモリ48に記録する(ステップS22)。そして、画像方向検出部64が、第1から第3のレリーズボタン12A,17,18のうちいずれのレリーズボタンが押下されたかを判定する(ステップS23)。
【0076】
画像方向検出部64が第1のレリーズボタン12Aが押下されたと判定した場合には、画像回転処理部68が画像データを反時計回りに90度回転する(ステップS24)。そして、メモリ制御部56が回転された画像データを記録媒体58に記録し(ステップS25)、処理を終了する。
【0077】
また、画像方向検出部64が第2のレリーズボタン17が押下されたと判定した場合には、画像回転処理部68は画像データを何ら回転させることなくメモリ制御部56に送信し、メモリ制御部56が画像データを記録媒体58に記録し(ステップS25)、処理を終了する。
【0078】
さらに、画像方向検出部64が第3のレリーズボタン18が押下されたと判定した場合には、画像回転処理部68が画像データを180度回転する(ステップS26)。そして、メモリ制御部56が回転された画像データを記録媒体58に記録し(ステップS25)、処理を終了する。
【0079】
このように、第2の実施形態においては、撮影時に押下されたレリーズボタンの位置に基づいて、再生時に画像データを正視可能なように画像データを回転しているため、再生時に画像データに何ら処理を施さなくても、画像データを正視可能なように再生することが可能となる。このため、液体センサやおもりを利用したセンサのような大がかりなセンサを設けなくても、撮影姿勢に拘わらず、天地方向の正しい画像を再生することができる。
【0080】
また、撮像素子26の向きに応じて画像データを回転することにより、撮像素子26の向きに拘わらず再生時に正視可能なように画像データを回転することができる。
【0081】
なお、上記第2の実施形態においては、一旦生成された画像データを回転しているが、撮像素子26から画像データを読み出してメインメモリ48に記録する際に、押下されたレリーズボタン12A,17,18の位置に応じて、画像データを回転させつつメインメモリ48に記録するようにしてもよい。また、押下されたレリーズボタン12A,17,18の位置に応じて、画像データを回転させつつ撮像素子26から読み出すようにしてもよい。
【0082】
次いで、本発明の第3の実施形態について説明する。図11は本発明の第3の実施形態による撮影装置を適用したデジタルカメラの構成を示す背面図である。図11に示すように、第3の実施形態によるデジタルカメラ3には、画像データおよび各種情報を表示する液晶モニタ等からなる表示部111と、上記第1の実施形態による第1から第3のレリーズボタン12A,17,18に対応する第1から第3のレリーズボタン112,117,118と、撮影時に被写体を確認するためのファインダ120と、撮影モード、再生モード等のモードを切り替えるモード切替ボタン121と、各種設定を確定するためのセットボタン122と、表示部111に表示されるコマンドを切り替えたり、再生される画像を切り替えたりするためのカーソルキー123とを備える。なお、図示はしていないがデジタルカメラ3の正面側には撮影レンズが設けられている。
【0083】
ここで、第3の実施形態によるデジタルカメラ3は、図2に示す携帯電話機1の撮影に関わる部分と同一の構成を有し、撮影時においていずれのレリーズボタン112,117,118が押下されたかに応じた回転情報を生成して、撮影により取得した画像データに付与するようにしたものである。
【0084】
なお、デジタルカメラ3においては、撮像素子26は、表示部111を横長に観察することができる状態、すなわち通常の使用状態において、図12(a)に示すようにように横長となるように携帯電話機1に内蔵されており、撮影時における信号の読み出しは、図12(b)に示すように撮像素子26の左から右に向けて上のラインから下側へ向けて順に行われるものとする。そして、図12(c)に示すように、読み出し開始位置を左上隅とする横長の画像として画像データを生成するものとする。
【0085】
そして、図13(a)に示すようにデジタルカメラ3を構えた場合は(以下第1の撮影姿勢とする)、第1のレリーズボタン112が押下しやすい位置にあるため第1のレリーズボタン112を押下することにより撮影動作が行われる。一方、図13(b)に示すようにデジタルカメラ3を構えた場合(以下第2の撮影姿勢とする)、第2のレリーズボタン117が押下しやすい位置にあるため第2のレリーズボタン117を押下することにより撮影動作が行われる。図13(c)に示すようにデジタルカメラ3を構えた場合(以下第3の撮影姿勢とする)、第3のレリーズボタン118が押下しやすい位置にあるため第3のレリーズボタン118を押下することにより撮影動作が行われる。
【0086】
また、本実施形態においては、図12(a)に示すように横長に撮像素子26が配されており、得られる画像データは図12(c)に示すように横長であるため、第1の撮影姿勢より撮影を行う場合、撮像素子26の撮影面には、図14(a)に示すように被写体像が結像し、得られる画像データを再生することにより得られる画像は、図14(b)に示すように何ら回転しなくても横長の状態で天地方向が正しいものとなっている。このため、画像方向検出部64が第1のレリーズボタン112が押下されて第1の撮影姿勢により撮影が行われたことを検出した場合、回転情報生成部66は画像データを何ら回転させない旨を表す回転情報を生成する。
【0087】
一方、第2の撮影姿勢により撮影を行う場合、撮像素子26の撮影面には、図14(c)に示すように被写体像が結像するが、得られる画像データを再生することにより得られる画像は、図14(b)に示すように結像した被写体像が反時計回りに90度回転した横長のものとなる。このため、得られる画像データを時計回りに90度回転させることにより天地方向が正しい画像を再生することができる。したがって、画像方向検出部64が第2のレリーズボタン117が押下されて第2の撮影姿勢により撮影が行われたことを検出した場合、回転情報生成部66は画像データを時計回りに90度回転させる旨を表す回転情報を生成する。
【0088】
また、第3の撮影姿勢により撮影を行う場合、撮像素子26の撮影面には、図14(e)に示すように被写体像が結像するが、得られる画像データを再生することにより得られる画像は、図14(f)に示すように結像した被写体像が時計回りに90度回転した横長のものとなる。このため、得られる画像データを反時計回りに90度回転させることにより天地方向が正しい画像を再生することができる。したがって、画像方向検出部64が第3のレリーズボタン118が押下されて第3の撮影姿勢により撮影が行われたことを検出した場合、回転情報生成部66は画像データを反時計回りに90度回転させる旨を表す回転情報を生成する。
【0089】
そして、第3の実施形態においては上記第1の実施形態による携帯電話機1と同様に、撮影により取得された画像データに回転情報が付与されて記録媒体58に記録される。再生時には画像データに付与された回転情報を参照して画像データを回転することにより、天地方向が正しい正視可能な画像を再生することができる。
【0090】
次いで、本発明の第4の実施形態について説明する。第4の実施形態は上記第3の実施形態によるデジタルカメラ3において、第2の実施形態による携帯電話機1と同様に、いずれのレリーズボタン112A、117,118が押下されたかを画像方向検出部64が検出し、画像回転処理部68がいずれのレリーズボタン112A,117,118が押下されたかに応じて、画像データを回転するようにした点が第3の実施形態と異なる。
【0091】
このように、第4の実施形態によるデジタルカメラ3において、撮影時に押下されたレリーズボタンの位置に基づいて、再生時に画像データを正視可能なように画像データを回転することにより、再生時に画像データに何ら処理を施さなくても、天地方向が正しい画像を再生することができる。
【0092】
次いで、本発明の第5の実施形態について説明する。図15は本発明の第5の実施形態による撮影装置を適用したデジタルカメラの構成を示す背面図である。なお、第5の実施形態において第3および第4の実施形態と同一の構成については同一の参照番号を付し、ここでは詳細な説明は省略する。第5の実施形態によるデジタルカメラ4は、第3および第4の実施形態によるデジタルカメラ3の表示部11をタッチパネル方式の表示部131とし、第1から第3のレリーズボタン112,117,118に代えて、表示部131に第1から第3のレリーズボタン132,137,138を表示して、撮影者がレリーズボタン132,137,138にタッチすることにより、デジタルカメラ4に撮影動作を行わせるようにした点が第3および第4の実施形態のデジタルカメラ3と異なる。
【0093】
第1から第3のレリーズボタン132,137,138は、撮影により取得される画像の天地が分かるような画像となっている。本実施形態においては、人物の上半身の画像となっているが、矢印等の記号や文字を用いてもよい。
【0094】
第1から第3のレリーズボタン132,137,138のそれぞれにタッチする場合の撮影姿勢は、上記第3の実施形態によるデジタルカメラ3の第1から第3のレリーズボタン112,117,118を押下する場合の撮影姿勢にそれぞれ対応している。すなわち、図16(a)に示すように第1の撮影姿勢となるようにデジタルカメラ3を構えた場合は、第1のレリーズボタン132が正視可能となるため第1のレリーズボタン132にタッチすることにより撮影動作が行われる。一方、図16(b)に示すように第2の撮影姿勢となるようにデジタルカメラ3を構えた場合、第2のレリーズボタン137が正視可能となるため第2のレリーズボタン137にタッチすることにより撮影動作が行われる。図16(c)に示すように第3の撮影姿勢となるようにデジタルカメラ3を構えた場合、第3のレリーズボタン138が正視可能となるため第3のレリーズボタン138にタッチすることにより撮影動作が行われる。
【0095】
このように、タッチパネル方式の表示部131にレリーズボタン132,137,138を表示することにより、視覚的に撮影動作を行うことができる。
【0096】
また、レリーズボタン132,137,138を撮影姿勢を表す画像により表示部131に表示しているため、いずれのレリーズボタンにタッチすれば天地方向が正しい画像を再生可能なように撮影を行うことができるかを一見して認識でき、これにより、撮影動作を行いやすくすることができる。
【0097】
なお、上記第5の実施形態におけるタッチパネル式のレリーズボタンを上記第1および第2の実施形態の携帯電話機1にも適用することができる。
【0098】
また、上記第1および第2の実施形態においては、本発明による撮影装置を携帯電話機1に適用しているが、カメラ付きのPDA等の携帯端末装置に対しても本発明による撮影装置を適用できる。
【0099】
また、上記各実施形態においては、3つのレリーズボタンを用いているが、レリーズボタンの数はこれに限定されるものではない。
【0100】
また、上記各実施形態においては、携帯電話機およびデジタルカメラ等の撮影装置における90度単位で回転した撮影姿勢となる位置にレリーズボタンを設け、時計回り90度、反時計回り90度および180度というように90度単位で画像データを回転しているが、撮影姿勢に応じた任意の位置にレリーズボタンを設け、操作されたレリーズボタンの位置に応じた任意の回転角度により画像データを回転してもよい。
【図面の簡単な説明】
【図1】本発明の第1の実施形態による撮影装置を適用したカメラ付きの携帯電話機の構成を示す図
【図2】第1の実施形態による携帯電話機における撮影に関わる部分の構成を示すブロック図
【図3】第1の実施形態における撮像素子の内蔵のされ方、信号の読み出しおよび画像データの生成の仕方を説明するための図
【図4】携帯電話機の撮影姿勢を示す図
【図5】撮像素子への結像および得られる画像の天地方向を説明するための図
【図6】画像データのファイル構造を示す図
【図7】第1の実施形態の撮影時の動作を示すフローチャート
【図8】画像データの再生時の動作を示すフローチャート
【図9】第2の実施形態による携帯電話機における撮影に関わる部分の構成を示すブロック図
【図10】第2の実施形態の撮影時の動作を示すフローチャート
【図11】本発明の第3の実施形態による撮影装置を適用したデジタルカメラの構成を示す背面図
【図12】撮像素子の内蔵のされ方、信号の読み出しおよび画像データの生成の仕方を説明するための図
【図13】第3の実施形態によるデジタルカメラの撮影姿勢を示す図
【図14】撮像素子への結像および得られる画像の天地方向を説明するための図
【図15】本発明の第5の実施形態による撮影装置を適用したデジタルカメラの構成を示す背面図
【図16】第5の実施形態によるデジタルカメラの撮影姿勢を示す図
【図17】従来技術における撮像素子の内蔵のされ方、信号の読み出しおよび画像データの生成の仕方を説明するための図
【図18】従来技術における携帯電話機の撮影姿勢を示す図
【符号の説明】
1 携帯電話機
3,4 デジタルカメラ
11,111,131 表示部
12A、112,132 第1のレリーズボタン
16 撮影部
17,117,137 第2のレリーズボタン
18,118,138 第3のレリーズボタン
26 撮像素子
64 画像方向検出部
66 回転情報生成部
68 画像回転処理部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital camera that acquires image data representing a subject by shooting, such as a mobile phone with a camera or a mobile terminal device such as a PDA, a shooting method, and a program for causing a computer to execute a shooting direction. Is.
[0002]
[Prior art]
A photographing device such as a digital camera acquires a horizontally long image in a normal photographing posture, and the image is recorded and stored in a recording medium such as a memory card or an internal memory. In addition, since the monitor that reproduces the image is also horizontally long, the image acquired by the photographing apparatus is reproduced horizontally on the monitor. For this reason, when shooting is performed with a shooting posture such that a vertically long image is acquired, the image recorded on the recording medium is reversed vertically and horizontally when the image is reproduced on the monitor, that is, vertically long. An image that can be viewed normally is displayed in landscape orientation, and the image is difficult to observe unless rotated.
[0003]
For this reason, an orientation detection sensor consisting of a liquid switch or the like is provided so that an image with the correct vertical orientation can be reproduced regardless of whether it is held vertically or horizontally. There has been proposed a digital camera that is recorded together with image data as information for designating the orientation of the image data acquired by the method (see Patent Document 1). In addition, a sensor that switches the contact point according to the direction of the camera using the gravity of the weight is provided, and the shooting posture is detected by this sensor, and information for specifying the reading direction of the image recorded on the recording medium is generated, There has also been proposed a digital camera that can reproduce an image with the correct top and bottom direction using this information (see Patent Document 2).
[0004]
On the other hand, although there is a remarkable spread of mobile phones, in recent years, mobile phones with cameras that have photographing means for acquiring image data by photographing are becoming popular. By using such a camera-equipped mobile phone, the user's favorite image data acquired by shooting is set on the standby screen of the mobile phone, or the image data acquired by shooting is attached to an e-mail and sent to a friend. It is convenient to communicate with friends.
[0005]
[Patent Document 1]
Japanese Patent Publication No. 4-12673
[0006]
[Patent Document 2]
Japanese Patent No. 273153
[0007]
[Problems to be solved by the invention]
However, in the digital cameras described in Patent Documents 1 and 2, since it is necessary to incorporate a posture detection sensor such as a liquid sensor or a sensor using a weight in the camera, there is a problem that the camera is enlarged. .
[0008]
By the way, even in a mobile phone with a camera, there arises a problem that the vertical and horizontal directions of the reproduced image are reversed depending on the shooting posture. For this reason, by performing the processing performed in the digital camera described in Patent Documents 1 and 2 on the camera-equipped mobile phone, it is possible to reproduce an image in which the vertical and horizontal directions are not reversed, that is, the vertical direction is correct.
[0009]
However, since the mounting direction of an image sensor such as a CCD provided in the camera and the reading direction of image data from the image sensor differ depending on the model of the mobile phone, the vertical direction corresponding to the shooting orientation of the mobile phone and the playback time There are cases where the top-to-bottom direction of the image does not necessarily match. For example, as shown in FIG. 17 (a), in a mobile phone in which the CCD 200 is built vertically, as shown in FIG. 17 (b), images are sequentially displayed from the bottom to the top of the CCD 200 from the left line to the right. Consider a case where data is read out and image data is generated horizontally in the order of reading with the upper left corner of the image as the origin as shown in FIG. In such a case, when shooting is performed in a normal shooting posture in which the mobile phone is held vertically as shown in FIG. 18A, when the obtained image is reproduced, the image is taken in the normal shooting posture. In other words, the image to be reproduced is reversed in the vertical and horizontal directions, and the vertical direction is different from that at the time of shooting. On the other hand, as shown in FIG. 18B, when shooting is performed with a shooting posture in which the mobile phone is held horizontally, when the obtained image is reproduced, the top-to-bottom direction is correct. For this reason, especially in a mobile phone, an image in the correct top-and-bottom direction cannot be reproduced unless the direction in which the image sensor is incorporated is taken into consideration.
[0010]
The present invention has been made in view of the above circumstances, and an object of the present invention is to make it possible to reproduce an image acquired by a photographing device such as a digital camera or a camera-equipped mobile phone so that the image is in the correct vertical direction.
[0011]
[Means for Solving the Problems]
An imaging apparatus according to the present invention is an imaging apparatus including an imaging unit that captures an image of a subject by capturing an image of the subject using an image sensor,
A plurality of release means respectively provided at a plurality of positions according to the photographing posture, and causing the photographing means to perform a photographing operation;
Among the plurality of release means, there is provided a processing means for performing a process of making the image data viewable at the time of reproduction according to the position of the operation release means operated at the time of photographing.
[0012]
“Multiple positions according to the shooting posture” means that the shooting operation according to the present invention can be performed relatively easily in each shooting posture when the photographer holds the shooting device in various shooting postures. Says the position. For example, in any shooting posture, a position that can be operated with the right hand can be used as “a plurality of positions according to the shooting posture”, but is not limited thereto.
[0013]
“Processing that enables normal viewing during reproduction” refers to a process that allows image data to be reproduced so as to be in the correct vertical direction.
[0014]
In the photographing apparatus according to the present invention, the processing means includes detection means for detecting a position of the operation release means,
Rotation information generating means for generating rotation information related to the rotation of the image data necessary to enable normal viewing during reproduction based on the position detected by the detection means;
The processing for enabling the normal viewing may include an adding unit that applies the rotation information to the image data.
[0015]
In this case, the rotation information generation means is provided depending on the orientation of the imaging device, that is, whether the imaging device is provided in the imaging device so as to be vertically long or horizontally long in a normal shooting posture. It is good also as a means to produce | generate rotation information.
[0016]
Further, in the photographing apparatus according to the present invention, the processing means includes detection means for detecting a position of the operation release means,
The processing for enabling normal viewing may include rotation processing means for rotating the image data so that it can be viewed normally during reproduction based on the position detected by the detection means.
[0017]
In this case, the rotation processing means may be means for rotating the image data according to the orientation of the image sensor.
[0018]
The “rotate image data” process is not only a process of rotating image data read from the image sensor, but also an image representing an image that has already been rotated when the data is read from the image sensor while being rotated and generated. The process of obtaining data is also included.
[0019]
In addition, the photographing apparatus according to the present invention further includes a touch panel that accepts various operations,
The plurality of release means may be displayed on a touch panel.
[0020]
In this case, the plurality of release means may be displayed on the touch panel with marks such as symbols, characters, images, etc. indicating the photographing posture.
[0021]
In addition, the photographing apparatus according to the present invention may be applied to a mobile terminal device or a digital camera.
[0022]
A photographing method according to the present invention is a photographing method in which a subject is photographed by an image sensor and image data representing an image of the subject is obtained.
At the time of shooting, an operation of any one of the plurality of release means provided at a plurality of positions according to the shooting posture and causing the shooting means to perform a shooting operation is accepted,
According to the position of the operation release means operated at the time of photographing among the plurality of release means, the image data is subjected to a process of enabling normal viewing at the time of reproduction.
[0023]
In addition, you may provide as a program for making a computer perform the imaging | photography method by this invention.
[0024]
【The invention's effect】
According to the present invention, a plurality of release means for causing the photographing means to perform a photographing operation is provided at each of a plurality of positions according to the photographing posture, and depending on the position of the operation release means operated at the time of photographing, The image data is processed so that it can be viewed normally during reproduction. For this reason, the top-to-bottom direction can be correctly viewed regardless of the shooting posture without providing a large sensor such as a liquid sensor or a sensor using a weight like the digital cameras described in Patent Documents 1 and 2. Images can be played back.
[0025]
In particular, rotation information related to rotation necessary for making the image data viewable at the time of reproduction based on the position of the operation release means is generated, and processing for giving the rotation information to the image data is made possible. For example, by referring to the rotation information, it is possible to reproduce an image with the correct vertical direction.
[0026]
In this case, by generating the rotation information according to the orientation of the image sensor, the image data can be rotated based on the rotation information so that it can be viewed normally during reproduction regardless of the orientation of the image sensor.
[0027]
In addition, by rotating the image data so that it can be viewed at the time of reproduction based on the position of the operation release means, it is possible to reproduce the image with the correct top and bottom direction without performing any processing on the image data at the time of reproduction. Is possible.
[0028]
Further, by rotating the image data in accordance with the orientation of the image sensor, the image data can be rotated so that it can be viewed normally during reproduction regardless of the orientation of the image sensor.
[0029]
In addition, it is possible to perform a photographing operation visually by further providing a touch panel and displaying a plurality of release means on the touch panel.
[0030]
In this case, if a plurality of release means are displayed on the touch panel with marks indicating the shooting posture, it is possible to recognize at a glance which release means can be operated so that an image with the correct top and bottom direction can be reproduced. it can. Therefore, it is possible to facilitate the photographing operation.
[0031]
Further, by using the photographing apparatus according to the present invention as a portable terminal device such as a mobile phone or a PDA, the image data can be viewed normally during reproduction regardless of the photographing posture of the portable terminal device.
[0032]
In addition, when the photographing apparatus according to the present invention is a digital camera, it is possible to view the image data at the time of reproduction regardless of the photographing posture of the digital camera.
[0033]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. 1A and 1B are diagrams showing a configuration of a mobile phone with a camera to which a photographing apparatus according to a first embodiment of the present invention is applied. FIG. 1A is a front view, FIG. 1B is a left side view, and FIG. FIG. 4D is a right side view. As shown in FIG. 1, a mobile phone 1 according to the first embodiment of the present invention includes a display unit 11 including a liquid crystal monitor (LCD) on the front side, numeric keys for inputting telephone numbers and characters, and a call mode. , An operation button group 12 having a plurality of operation buttons composed of switches for switching modes such as a mail mode and a photographing mode, a speaker 13 that emits sound, and a microphone 14 that collects sound. Note that the operation button 12A of the operation button group 12 also functions as a release button for causing the camera to perform a shooting operation when the mobile phone 1 is switched to the shooting mode, as will be described later. For this reason, the operation button 12A is referred to as a first release button.
[0034]
On the other hand, on the back side of the mobile phone 1, a liquid crystal display unit 15 for displaying a clock and an incoming call state and a photographing unit 16 for photographing a subject are provided. A second release button 17 for performing an operation is provided, and a third release button 18 for allowing the photographing unit 16 to perform a photographing operation is provided on the right side.
[0035]
FIG. 2 is a block diagram illustrating a configuration of a part related to photographing in the mobile phone 1 according to the first embodiment. The photographing lens 22 is composed of one or a plurality of lenses. The photographing lens 22 may be a lens having a single focal length (fixed focus), or may be a variable focal length such as a zoom lens or a telephoto / wide-angle bifocal switching lens. The light that has passed through the photographic lens 22 is incident on an image sensor 26 made up of a CCD, a CMOS, or the like after the amount of light is adjusted by the diaphragm 24. Photosensors are arranged in a plane on the light receiving surface of the image pickup device 26, and the subject image formed on the light receiving surface of the image pickup device 26 is converted into signal charges corresponding to the amount of incident light by each photosensor. Is done. The signal charges accumulated in this way are sequentially read out as voltage signals corresponding to the signal charges based on the pulses supplied from the image sensor driving unit 28.
[0036]
Note that the image sensor 26 is built in the mobile phone 1 so as to be vertically long as shown in FIG. 3A in a state where the display unit 11 can be observed vertically, that is, in a normal use state. As shown in FIG. 3B, reading of signals at the time of shooting is performed sequentially from the left line to the right line from the bottom to the top of the image sensor 26. Then, as shown in FIG. 3C, it is assumed that the image data is generated as a horizontally long image having the read start position at the upper left corner.
[0037]
Image data output from the image sensor 26 is sent to the analog signal processing unit 30. The analog signal processing unit 30 includes a sampling hold circuit, a color separation circuit, a gain adjustment circuit, and the like. The analog processing unit 30 performs correlated double sampling (CDS) processing and color separation processing on R, G, and B color signals. Then, the signal level of each color signal is adjusted (pre-white balance processing).
[0038]
The image data output from the analog signal processing unit 30 is converted into a digital signal by the A / D converter 40 and then stored in the main memory 48 controlled by the memory control unit 46.
[0039]
The image data stored in the main memory 48 is sent to the digital signal processing unit 50 via the bus 70. The digital signal processing unit 50 is an image processing means composed of a digital signal processor (DSP) including a luminance / color difference signal generation circuit, a gamma correction circuit, a sharpness correction circuit, a contrast correction circuit, a white balance correction circuit, and the like. The image signal is processed in accordance with the command from
[0040]
The image data input to the digital signal processing unit 50 is converted into a luminance signal (Y signal) and a color difference signal (Cr, Cb signal), and after undergoing predetermined image processing such as gamma correction, the main memory 48.
[0041]
The image data stored in the main memory 48 is read according to a command from the CPU 42 and sent to a display control unit 60 having a display memory. The data sent to the display control unit 60 is converted to a predetermined display signal (for example, an NTSC color composite video signal), then D / A and output to the display unit 11. Thereby, the image content of the image data is reproduced on the display unit 11.
[0042]
The image data in the main memory 48 is periodically rewritten by the image data output from the image sensor 26 and the image data is supplied to the display unit 11, whereby an image captured by the image sensor 26 is displayed on the display unit 11 in real time. Played. The photographer can check the shooting angle of view from the image reproduced on the display unit 11.
[0043]
At the time of shooting, a recording start instruction signal is issued by pressing one of the first to third release buttons 12A, 17 and 18 included in the operation unit 44, thereby starting to capture image data for recording. . When the mode for compressing and recording the image data is selected, the CPU 42 sends a command to the compression / decompression processing unit 52, whereby the compression / decompression processing unit 52 converts the image data on the main memory 48 to JPEG or another predetermined predetermined value. Compress according to format. The compressed image data is recorded on a recording medium 58 such as a memory card via the memory control unit 56. If a mode for recording non-compressed image data (non-compression mode) is selected, the compression / decompression processing unit 52 does not perform compression processing, and the image data remains uncompressed on the recording medium 58. To be recorded.
[0044]
At this time, the image direction detection unit 64 detects which release button 12A, 17, or 18 is pressed, and the rotation information generation unit 66 determines whether the release button 12A, 17, or 18 is pressed. Rotation information representing the rotation of is generated. Then, the memory control unit 56 adds the rotation information to the image data by describing the generated rotation information in the tag information of the image data.
[0045]
Here, in the first embodiment, it is possible to cause the photographing unit 16 to perform a photographing operation with all the release buttons 12A, 17 and 18, but the orientation of the cellular phone 1 when the cellular phone 1 is held. That is, the release button that is easy to press with the index finger of the right hand varies depending on the shooting posture.
[0046]
For example, when the cellular phone 1 is held as shown in FIG. 4A (hereinafter referred to as a first photographing posture), the first release button 12A is in a position where the first release button 12A is easy to be pressed. The shooting operation is performed by pressing. On the other hand, when the cellular phone 1 is held as shown in FIG. 4B (hereinafter, referred to as a second photographing posture), the second release button 17 is placed at a position where the second release button 17 is easy to be pressed. The shooting operation is performed by pressing the button. Further, when the cellular phone 1 is held as shown in FIG. 4C (hereinafter referred to as a third photographing posture), the third release button 18 is placed at a position where the third release button 18 is easy to be pressed. The shooting operation is performed by pressing the button.
[0047]
In the present embodiment, the image pickup device 26 is built in the mobile phone 1 so as to be vertically long as shown in FIG. 3A, and the obtained image data or horizontally long as shown in FIG. Therefore, when shooting with the first shooting posture, a subject image is formed on the shooting surface of the image sensor 26 as shown in FIG. 5A, but the acquired image data is reproduced. As shown in FIG. 5B, the obtained image is a horizontally long image obtained by rotating the formed subject image 90 degrees clockwise. For this reason, an image with the correct top and bottom direction can be reproduced by rotating the image data 90 degrees counterclockwise. Therefore, when the image direction detection unit 64 detects that the first release button 12A is pressed and the first shooting posture is taken, the rotation information generation unit 66 sets the image data 90 degrees counterclockwise. Rotation information representing the effect of rotation is generated.
[0048]
On the other hand, in the case of shooting with the second shooting posture, a subject image is formed on the shooting surface of the image sensor 26 as shown in FIG. 5C, and an image obtained by reproducing the obtained image data. As shown in FIG. 5 (d), the top-to-bottom direction is correct in a horizontally long state without any rotation. Therefore, when the image direction detection unit 64 detects that the second release button 17 is pressed and the second shooting posture is taken, the rotation information generation unit 66 does not rotate the image data at all. Rotation information indicating that rotation is unnecessary is generated.
[0049]
Further, in the case of shooting with the third shooting posture, a subject image is formed on the shooting surface of the image sensor 26 as shown in FIG. 5E, but it is obtained by reproducing the obtained image data. The image is horizontally long and upside down as shown in FIG. For this reason, an image with the correct top and bottom direction can be reproduced by rotating the obtained image data by 180 degrees. Accordingly, when the image direction detection unit 64 detects that the third release button 18 is pressed and the third shooting posture is taken, the rotation information generation unit 66 rotates the image data by 180 degrees. Generate rotation information to represent.
[0050]
FIG. 6 is a diagram showing a file structure of image data generated in the present embodiment. As shown in FIG. 6, the image file 100 includes a header portion 102 indicating a file type, tag information 104 describing shooting information, a thumbnail image 106 of shot image data, and shot image data. The main image 108 having a size of, for example, 1600 × 1200 pixels generated based on the image is recorded. Note that the thumbnail image 106 is an image having a size of 160 × 120 pixels used for the heading of the main image 108 and the like.
[0051]
The tag information 104 describes the number of pixels of the main image 108, the type of compression, the shooting date and time, the exposure time at the time of shooting, the color space of the main image 108, the rotation information described above, and the like.
[0052]
Actually, information described in the tag information 104 is specified by a predetermined tag number. For example, the rotation information is assigned a tag number of 274, and how to rotate is preset by numbers 1 to 3. For example, “1” represents rotation information indicating that no rotation is performed, “2” represents rotation information indicating that the image is rotated 90 degrees counterclockwise, and “3” represents rotation information indicating that the image is rotated 180 degrees. Therefore, such a number is described in the rotation information of the tag information 104.
[0053]
The rotation information is “2” when shooting is performed with the first shooting posture, and the rotation information is “1” when shooting is performed with the second shooting posture. When shooting is performed, the rotation information is “3”.
[0054]
On the other hand, when the operation unit 44 accepts selection of image data to be reproduced in the reproduction mode, the memory control unit 56 reads the image data from the recording medium 58, and the image data read from the recording medium 58 is compressed / expanded processing unit 52. Is decompressed (if compressed) and output to the display unit 11 via the display control unit 60. At this time, since the display control unit 60 rotates the image data if necessary based on the rotation information described in the tag information of the image data, the image reproduced on the display unit 11 can be viewed with the correct vertical direction. It has become a thing.
[0055]
The CPU 42 is a control unit that controls operations related to photographing of the mobile phone 1 according to the first embodiment. The CPU 42 includes storage means such as a ROM 42A and a RAM 42B. The ROM 42A stores programs processed by the CPU 42 and various data necessary for control. The RAM 42B serves as a work area when the CPU 42 performs various arithmetic processes. Used. The CPU 42 controls the operation of the corresponding circuit based on the input signal from the operation unit 44 and performs display control, autofocus (AF) control, automatic exposure (AE) control, and the like on the display unit 11.
[0056]
Further, the CPU 42 performs various calculations such as a focus evaluation value calculation and an AE calculation based on the image data output from the image sensor 26, and controls the lens driving unit 32 including the focus motor based on the calculation result. Then, the lens is moved to the in-focus position, the iris driving unit 34 including the iris motor is controlled to set an appropriate iris, and the charge accumulation time of the image sensor 26 is controlled.
[0057]
Hereinafter, the AE and AF processes will be described.
[0058]
The signal output from the A / D converter 40 is transmitted to the AE / AF calculation unit 54. The AE / AF calculation unit 54 integrates the R, G, and B signals and transmits the integrated value to the CPU 42. The CPU 42 detects the average brightness of the subject (subject brightness) based on the input integrated value, and calculates an exposure value (shooting Ev value) suitable for shooting. When the release buttons 12A, 17 and 18 are half-pressed, the above AE photometry operation is repeated a plurality of times to obtain an accurate exposure value. According to the obtained exposure value and a predetermined program diagram, the aperture value and shutter speed at the time of shooting are determined. When the release buttons 12A, 17 and 18 are fully pressed, the aperture driving unit 34 and the electronic shutter are controlled to obtain an optimum exposure amount.
[0059]
The AE / AF calculation unit 54 extracts a high frequency component of the G signal output from the A / D converter 40, obtains an absolute value thereof, and is preset in the screen (for example, the center of the screen). A process for cutting out a signal within a focus target area (referred to as an AF area) is performed. Then, the absolute value data in the AF area is integrated, and the obtained integrated value (corresponding to the focus evaluation value) is transmitted to the CPU 42.
[0060]
The CPU 42 performs AF calculation at a plurality of AF detection points while moving the photographic lens 22, and combines the focus evaluation values calculated at the respective AF detection points to determine the position where the focus evaluation value is maximized. Determine as. Then, the lens driving unit 32 is controlled so as to move the photographing lens 22 to the obtained in-focus position.
[0061]
Next, an operation at the time of shooting of the mobile phone 1 according to the first embodiment configured as described above will be described. FIG. 7 is a flowchart showing an operation at the time of photographing. When the processing is started by pressing one of the first to third release buttons 12A, 17 and 18, the photographing unit 16 generates image data (step S1) and records it in the main memory 48 (step S1). Step S2). Then, the image direction detection unit 64 determines which of the first to third release buttons 12A, 17, and 18 has been pressed (step S3).
[0062]
When the image direction detection unit 64 determines that the first release button 12A has been pressed, the rotation information generation unit 66 generates rotation information indicating that the image data is rotated 90 degrees counterclockwise (step S4). ). When the image direction detection unit 64 determines that the second release button 17 has been pressed, the rotation information generation unit 66 generates rotation information indicating that the image data is not rotated at all, that is, rotation information that does not require rotation. (Step S5). When the image direction detection unit 64 determines that the third release button 18 has been pressed, the rotation information generation unit 66 generates rotation information indicating that the image data is rotated 180 degrees (step S6).
[0063]
Subsequently, the memory control unit 56 adds the rotation information to the image data by describing the rotation information generated by the rotation information generation unit 66 in the tag information of the image data (step S7), and the memory control unit 56 performs the rotation. The image data to which the information is added is recorded on the recording medium 58 (step S8), and the process is terminated.
[0064]
Next, processing performed at the time of reproducing the image data recorded on the recording medium 58 in the mobile phone 1 according to the first embodiment will be described. FIG. 8 is a flowchart showing the operation during reproduction of image data. When the photographer operates the operation unit 44, the process starts when the mode of the mobile phone 1 is switched to the reproduction mode, and the CPU 42 accepts selection of image data to be reproduced by the operation unit 44 (step S11) and is selected. The read image data is read from the recording medium 58 and input to the display control unit 60 (step S12).
[0065]
The display control unit 60 refers to the rotation information described in the tag information of the image data and determines how to rotate the image data (step S13). When the rotation information indicates that the rotation information is rotated 90 degrees counterclockwise, the display control unit 60 rotates the image data 90 degrees counterclockwise (step S14), and reproduces the rotated image data on the display unit 11 (step S14). S15), the process is terminated.
[0066]
If the rotation information does not require rotation, the display control unit 60 reproduces the image data on the display unit 11 without rotating it at all (step S15), and ends the process.
[0067]
When the rotation information indicates that the image is rotated 180 degrees, the display control unit 60 rotates the image data by 180 degrees (step S16), reproduces the rotated image data on the display unit 11 (step S15), and ends the process.
[0068]
As described above, in the first embodiment, based on the position of the release button pressed at the time of shooting, rotation information related to the rotation necessary to make the image data viewable at the time of reproduction is generated, and this rotation information is generated. Since it is given to the image data, it is possible to reproduce the image data so that it can be viewed normally by referring to the rotation information when reproducing the image data. For this reason, it is possible to reproduce an image in which the top and bottom directions are correct regardless of the photographing posture without providing a large sensor such as a liquid sensor or a sensor using a weight.
[0069]
Further, by generating the rotation information according to the orientation of the image sensor 26, the image data can be rotated based on the rotation information so that it can be viewed normally during reproduction regardless of the orientation of the image sensor 26.
[0070]
In the first embodiment, the image data acquired by photographing is recorded in the recording medium 58. However, the image data may be transmitted as an attachment to an e-mail, or may be transmitted to an image server and the image data is converted into an image. It may be stored in a server. In this case, at the e-mail transmission destination or the image data download destination from the image server, processing for rotating the image data is performed if necessary based on the rotation information given to the image data.
[0071]
Next, a second embodiment of the present invention will be described. FIG. 9 is a block diagram showing a configuration of a part related to photographing in the mobile phone 1 according to the second embodiment of the present invention. In the second embodiment, the same components as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted here. The mobile phone 1 according to the second embodiment is provided with an image rotation processing unit 68 instead of the rotation information generation unit 66 of the mobile phone 1 according to the first embodiment, and which release button 12A, 17, 18 has been pressed. Is different from the first embodiment in that the image direction detection unit 64 detects the image data and the image rotation processing unit 68 rotates the image data depending on which release button 12A, 17 or 18 is pressed. .
[0072]
The image rotation processing unit 68 rotates the image data by 90 degrees counterclockwise when the image direction detection unit 64 detects that the first release button 12A is pressed and the first shooting posture is taken. Perform the process.
[0073]
Further, when the image direction detection unit 64 detects that the second release button 17 is pressed and the second shooting posture is taken, the image rotation processing unit 68 does not rotate the image data at all.
[0074]
Further, when the image direction detection unit 64 detects that the third release button 18 is pressed and shooting is performed in the third shooting posture, the image rotation processing unit 68 performs a process of rotating the image data by 180 degrees. Do.
[0075]
Next, an operation at the time of shooting of the mobile phone 1 according to the second embodiment configured as described above will be described. FIG. 10 is a flowchart showing an operation at the time of photographing of the mobile phone 1 according to the second embodiment. When the processing is started by pressing one of the first to third release buttons 12A, 17 and 18, the photographing unit 16 generates image data (step S21) and records it in the main memory 48 (step S21). Step S22). Then, the image direction detection unit 64 determines which of the first to third release buttons 12A, 17, and 18 has been pressed (step S23).
[0076]
When the image direction detection unit 64 determines that the first release button 12A has been pressed, the image rotation processing unit 68 rotates the image data by 90 degrees counterclockwise (step S24). Then, the rotated image data is recorded on the recording medium 58 by the memory control unit 56 (step S25), and the process is terminated.
[0077]
If the image direction detection unit 64 determines that the second release button 17 has been pressed, the image rotation processing unit 68 transmits the image data to the memory control unit 56 without rotating it at all, and the memory control unit 56 Records the image data on the recording medium 58 (step S25), and ends the process.
[0078]
Further, when the image direction detection unit 64 determines that the third release button 18 has been pressed, the image rotation processing unit 68 rotates the image data by 180 degrees (step S26). Then, the rotated image data is recorded on the recording medium 58 by the memory control unit 56 (step S25), and the process is terminated.
[0079]
As described above, in the second embodiment, the image data is rotated so that the image data can be viewed normally during reproduction based on the position of the release button pressed during shooting. Even without processing, it is possible to reproduce the image data so that it can be viewed normally. For this reason, even if a large sensor such as a liquid sensor or a sensor using a weight is not provided, a correct image in the vertical direction can be reproduced regardless of the photographing posture.
[0080]
Further, by rotating the image data according to the orientation of the image sensor 26, the image data can be rotated so that it can be viewed normally during reproduction regardless of the orientation of the image sensor 26.
[0081]
In the second embodiment, the image data once generated is rotated. However, when the image data is read from the image sensor 26 and recorded in the main memory 48, the release buttons 12A and 17 pressed. , 18 may be recorded in the main memory 48 while rotating the image data. Further, the image data may be read from the image sensor 26 while rotating according to the position of the release button 12A, 17 or 18 that has been pressed.
[0082]
Next, a third embodiment of the present invention will be described. FIG. 11 is a rear view showing a configuration of a digital camera to which the photographing apparatus according to the third embodiment of the present invention is applied. As shown in FIG. 11, the digital camera 3 according to the third embodiment includes a display unit 111 including a liquid crystal monitor that displays image data and various types of information, and the first to third according to the first embodiment. First to third release buttons 112, 117, and 118 corresponding to the release buttons 12A, 17, and 18, a viewfinder 120 for checking a subject at the time of shooting, and a mode switching button for switching modes such as a shooting mode and a playback mode. 121, a set button 122 for confirming various settings, and a cursor key 123 for switching a command displayed on the display unit 111 and switching an image to be reproduced. Although not shown, a photographing lens is provided on the front side of the digital camera 3.
[0083]
Here, the digital camera 3 according to the third embodiment has the same configuration as the part related to photographing of the mobile phone 1 shown in FIG. 2, and which release button 112, 117, 118 was pressed during photographing. Rotation information according to the above is generated and added to image data acquired by photographing.
[0084]
In the digital camera 3, the image pickup device 26 is portable so that the display unit 111 can be observed horizontally, that is, in a normal use state, as shown in FIG. As shown in FIG. 12B, reading of signals at the time of shooting, which is built in the telephone 1, is sequentially performed from the upper line to the lower side from the left to the right of the image sensor 26. . Then, as shown in FIG. 12C, it is assumed that image data is generated as a horizontally long image with the read start position at the upper left corner.
[0085]
Then, when the digital camera 3 is held as shown in FIG. 13A (hereinafter referred to as a first shooting posture), the first release button 112 is in a position where the first release button 112 is easy to be pressed. The shooting operation is performed by pressing. On the other hand, when the digital camera 3 is held as shown in FIG. 13B (hereinafter, referred to as a second shooting posture), the second release button 117 is pressed because the second release button 117 is easily pressed. The shooting operation is performed by pressing the button. When the digital camera 3 is held as shown in FIG. 13C (hereinafter referred to as a third shooting posture), the third release button 118 is pressed because the third release button 118 is in a position where it can be easily pressed. Thus, the photographing operation is performed.
[0086]
Further, in the present embodiment, the image sensor 26 is arranged horizontally as shown in FIG. 12A, and the obtained image data is horizontally long as shown in FIG. When shooting from the shooting posture, a subject image is formed on the shooting surface of the image sensor 26 as shown in FIG. 14A, and an image obtained by reproducing the obtained image data is shown in FIG. As shown in b), the top-to-bottom direction is correct in a horizontally long state without any rotation. Therefore, when the image direction detection unit 64 detects that the first release button 112 is pressed and the first shooting posture is taken, the rotation information generation unit 66 does not rotate the image data at all. Generate rotation information to represent.
[0087]
On the other hand, in the case of shooting with the second shooting posture, a subject image is formed on the shooting surface of the image pickup element 26 as shown in FIG. 14C, but it is obtained by reproducing the obtained image data. As shown in FIG. 14B, the image is a horizontally long image obtained by rotating the formed subject image 90 degrees counterclockwise. For this reason, an image with the correct vertical direction can be reproduced by rotating the obtained image data 90 degrees clockwise. Therefore, when the image direction detection unit 64 detects that the second release button 117 is pressed and the second shooting posture is taken, the rotation information generation unit 66 rotates the image data by 90 degrees clockwise. Rotation information indicating that it is to be generated is generated.
[0088]
Further, in the case of shooting with the third shooting posture, a subject image is formed on the shooting surface of the image sensor 26 as shown in FIG. 14E, but it is obtained by reproducing the obtained image data. As shown in FIG. 14F, the image is a horizontally long image obtained by rotating a subject image formed by 90 degrees clockwise. For this reason, by rotating the obtained image data 90 degrees counterclockwise, it is possible to reproduce an image with the correct vertical direction. Therefore, when the image direction detection unit 64 detects that the third release button 118 is pressed and the third shooting posture is taken, the rotation information generation unit 66 sets the image data 90 degrees counterclockwise. Rotation information representing the effect of rotation is generated.
[0089]
In the third embodiment, as in the mobile phone 1 according to the first embodiment, rotation information is added to the image data acquired by shooting and is recorded on the recording medium 58. By rotating the image data with reference to the rotation information given to the image data during reproduction, it is possible to reproduce an image that can be viewed in the correct vertical direction.
[0090]
Next, a fourth embodiment of the present invention will be described. According to the fourth embodiment, in the digital camera 3 according to the third embodiment, as with the mobile phone 1 according to the second embodiment, which release button 112A, 117, 118 is pressed is determined by the image direction detection unit 64. Is different from the third embodiment in that the image rotation processing unit 68 rotates the image data depending on which release button 112A, 117, 118 is pressed.
[0091]
As described above, in the digital camera 3 according to the fourth embodiment, based on the position of the release button pressed at the time of shooting, the image data is rotated so that the image data can be viewed normally at the time of reproduction. An image with the correct top and bottom direction can be reproduced without any processing.
[0092]
Next, a fifth embodiment of the present invention will be described. FIG. 15 is a rear view showing the configuration of a digital camera to which the photographing apparatus according to the fifth embodiment of the present invention is applied. Note that the same reference numerals in the fifth embodiment denote the same components as those in the third and fourth embodiments, and a detailed description thereof will be omitted here. In the digital camera 4 according to the fifth embodiment, the display unit 11 of the digital camera 3 according to the third and fourth embodiments is a touch panel type display unit 131, and the first to third release buttons 112, 117, 118 are used. Instead, the first to third release buttons 132, 137, and 138 are displayed on the display unit 131. When the photographer touches the release buttons 132, 137, and 138, the digital camera 4 performs a shooting operation. This is different from the digital camera 3 of the third and fourth embodiments.
[0093]
The first to third release buttons 132, 137, and 138 are images that allow the user to know the top and bottom of the image acquired by shooting. In the present embodiment, an image of the upper body of a person is used, but symbols and characters such as arrows may be used.
[0094]
When the first to third release buttons 132, 137, and 138 are touched, the shooting posture is determined by pressing the first to third release buttons 112, 117, and 118 of the digital camera 3 according to the third embodiment. It corresponds to each shooting posture when doing. That is, as shown in FIG. 16A, when the digital camera 3 is held so as to be in the first photographing posture, the first release button 132 can be viewed normally, and the first release button 132 is touched. Thus, the photographing operation is performed. On the other hand, as shown in FIG. 16B, when the digital camera 3 is held so as to be in the second photographing posture, the second release button 137 can be viewed normally, so that the second release button 137 is touched. The shooting operation is performed. As shown in FIG. 16C, when the digital camera 3 is held so as to be in the third shooting posture, the third release button 138 can be viewed normally, so that shooting is performed by touching the third release button 138. Operation is performed.
[0095]
In this way, by displaying the release buttons 132, 137, and 138 on the touch panel type display unit 131, it is possible to perform a photographing operation visually.
[0096]
In addition, since the release buttons 132, 137, and 138 are displayed on the display unit 131 as images indicating the shooting posture, it is possible to perform shooting so that an image with the correct top and bottom direction can be reproduced by touching any release button. It can be recognized at a glance whether it can be performed, thereby making it easier to perform a shooting operation.
[0097]
The touch panel release button in the fifth embodiment can be applied to the mobile phone 1 in the first and second embodiments.
[0098]
In the first and second embodiments, the photographing apparatus according to the present invention is applied to the mobile phone 1. However, the photographing apparatus according to the present invention is also applied to a portable terminal device such as a PDA with a camera. it can.
[0099]
In each of the above embodiments, three release buttons are used, but the number of release buttons is not limited to this.
[0100]
Further, in each of the above embodiments, a release button is provided at a position where the photographing posture is rotated in units of 90 degrees in a photographing apparatus such as a mobile phone and a digital camera, which is called 90 degrees clockwise, 90 degrees counterclockwise, and 180 degrees. The image data is rotated in units of 90 degrees, but a release button is provided at an arbitrary position according to the shooting posture, and the image data is rotated at an arbitrary rotation angle according to the position of the operated release button. Also good.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a mobile phone with a camera to which a photographing apparatus according to a first embodiment of the present invention is applied.
FIG. 2 is a block diagram showing a configuration of a part related to photographing in the mobile phone according to the first embodiment.
FIG. 3 is a diagram for explaining how an image sensor is built in the first embodiment, how to read a signal, and how to generate image data;
FIG. 4 is a diagram showing a photographing posture of a mobile phone
FIG. 5 is a diagram for explaining image formation on an image sensor and a vertical direction of an obtained image;
FIG. 6 is a diagram showing a file structure of image data
FIG. 7 is a flowchart showing an operation at the time of shooting according to the first embodiment.
FIG. 8 is a flowchart showing an operation during reproduction of image data.
FIG. 9 is a block diagram showing the configuration of a part related to shooting in the mobile phone according to the second embodiment;
FIG. 10 is a flowchart showing an operation at the time of shooting according to the second embodiment.
FIG. 11 is a rear view showing a configuration of a digital camera to which a photographing apparatus according to a third embodiment of the present invention is applied.
FIG. 12 is a diagram for explaining how an image sensor is incorporated, how to read signals, and generate image data;
FIG. 13 is a view showing a shooting posture of a digital camera according to a third embodiment.
FIG. 14 is a diagram for explaining image formation on an image sensor and a vertical direction of an obtained image;
FIG. 15 is a rear view showing a configuration of a digital camera to which a photographing apparatus according to a fifth embodiment of the present invention is applied.
FIG. 16 is a view showing the photographing posture of a digital camera according to a fifth embodiment.
FIGS. 17A and 17B are diagrams for explaining a method of incorporating an image sensor in the prior art, a method of reading signals, and a method of generating image data. FIGS.
FIG. 18 is a diagram showing a shooting posture of a mobile phone according to the prior art.
[Explanation of symbols]
1 Mobile phone
3,4 digital camera
11, 111, 131 Display unit
12A, 112, 132 First release button
16 Shooting department
17, 117, 137 Second release button
18, 118, 138 Third release button
26 Image sensor
64 Image direction detector
66 Rotation information generator
68 Image rotation processor

Claims (11)

撮像素子により被写体を撮影して該被写体の画像を表す画像データを取得する撮影手段を備えた撮影装置において、
撮影姿勢に応じた複数の位置にそれぞれ設けられた、前記撮影手段に撮影動作を行わせる複数のレリーズ手段と、
前記複数のレリーズ手段のうち、撮影時に操作された操作レリーズ手段の位置に応じて、前記画像データに再生時に正視可能とする処理を施す処理手段とを備えたことを特徴とする撮影装置。
In a photographing apparatus provided with photographing means for photographing a subject with an imaging element and acquiring image data representing an image of the subject,
A plurality of release means respectively provided at a plurality of positions according to the photographing posture, and causing the photographing means to perform a photographing operation;
An imaging apparatus comprising: a processing unit that performs a process of allowing the image data to be viewed normally during reproduction according to a position of an operation release unit that is operated at the time of shooting among the plurality of release units.
前記処理手段は、前記操作レリーズ手段の位置を検出する検出手段と、
該検出手段が検出した位置に基づいて、再生時に正視可能とするために必要な前記画像データの回転に関する回転情報を生成する回転情報生成手段と、
前記正視可能とする処理として、前記回転情報を前記画像データに付与する付与手段とを備えたことを特徴とする請求項1記載の撮影装置。
The processing means includes detection means for detecting a position of the operation release means,
Rotation information generating means for generating rotation information related to the rotation of the image data necessary to enable normal viewing during reproduction based on the position detected by the detection means;
The photographing apparatus according to claim 1, further comprising: an attaching unit that attaches the rotation information to the image data as the process for enabling the normal viewing.
前記回転情報生成手段は、前記撮像素子の向きに応じて前記回転情報を生成する手段であることを特徴とする請求項2記載の撮影装置。The imaging apparatus according to claim 2, wherein the rotation information generation unit is a unit that generates the rotation information in accordance with an orientation of the imaging element. 前記処理手段は、前記操作レリーズ手段の位置を検出する検出手段と、
前記正視可能とする処理として、該検出手段が検出した位置に基づいて、再生時に正視可能なように前記画像データを回転する回転処理手段とを備えたことを特徴とする請求項1記載の撮影装置。
The processing means includes detection means for detecting a position of the operation release means,
2. The photographing according to claim 1, further comprising: rotation processing means for rotating the image data so that the image can be viewed normally based on the position detected by the detection means. apparatus.
前記回転処理手段は、前記撮像素子の向きに応じて前記画像データを回転する手段であることを特徴とする請求項4記載の撮影装置。The imaging apparatus according to claim 4, wherein the rotation processing unit is a unit that rotates the image data in accordance with a direction of the imaging element. 種々の操作を受け付けるタッチパネルをさらに備え、
前記複数のレリーズ手段がタッチパネルに表示されてなることを特徴とする請求項1から5のいずれか1項記載の撮影装置。
It further includes a touch panel that accepts various operations,
6. The photographing apparatus according to claim 1, wherein the plurality of release means are displayed on a touch panel.
前記複数のレリーズ手段が、前記撮影姿勢を表すマークにより前記タッチパネルに表示されてなることを特徴とする請求項6記載の撮影装置。The photographing apparatus according to claim 6, wherein the plurality of release means are displayed on the touch panel with marks representing the photographing posture. 携帯端末装置であることを特徴とする請求項1から7のいずれか1項記載の撮影装置。The photographing apparatus according to claim 1, wherein the photographing apparatus is a portable terminal device. デジタルカメラであることを特徴とする請求項1から7のいずれか1項記載の撮影装置。The photographing apparatus according to any one of claims 1 to 7, wherein the photographing apparatus is a digital camera. 撮像素子により被写体を撮影して該被写体の画像を表す画像データを取得する撮影方法において、
撮影時において、撮影姿勢に応じた複数の位置にそれぞれ設けられた、前記撮影手段に撮影動作を行わせる複数のレリーズ手段のうちのいずれかのレリーズ手段の操作を受け付け、
前記複数のレリーズ手段のうち、撮影時に操作された操作レリーズ手段の位置に応じて、前記画像データに再生時に正視可能とする処理を施すことを特徴とする撮影方法。
In a photographing method for photographing a subject with an imaging element and obtaining image data representing an image of the subject,
At the time of shooting, an operation of any one of the plurality of release means provided at a plurality of positions according to the shooting posture and causing the shooting means to perform a shooting operation is accepted,
An imaging method, comprising: processing the image data so that it can be viewed at the time of reproduction in accordance with a position of an operation release means operated at the time of shooting among the plurality of release means.
撮像素子により被写体を撮影して該被写体の画像を表す画像データを取得する撮影方法をコンピュータに実行させるためのプログラムにおいて、
撮影時において、撮影姿勢に応じた複数の位置にそれぞれ設けられた、前記撮影手段に撮影動作を行わせる複数のレリーズ手段のうちのいずれかのレリーズ手段の操作を受け付ける手順と、
前記複数のレリーズ手段のうち、撮影時に操作された操作レリーズ手段の位置に応じて、前記画像データに再生時に正視可能とする処理を施す手順とを有することを特徴とするプログラム。
In a program for causing a computer to execute a photographing method for photographing a subject with an image sensor and acquiring image data representing an image of the subject.
A procedure for accepting an operation of any one of a plurality of release means, each of which is provided at a plurality of positions according to a shooting posture, and causes the shooting means to perform a shooting operation at the time of shooting;
And a procedure for performing a process of making the image data viewable at the time of reproduction according to the position of the operation release means operated at the time of photographing among the plurality of release means.
JP2003131594A 2003-05-09 2003-05-09 Imaging apparatus, method, and program Expired - Fee Related JP4236986B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003131594A JP4236986B2 (en) 2003-05-09 2003-05-09 Imaging apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003131594A JP4236986B2 (en) 2003-05-09 2003-05-09 Imaging apparatus, method, and program

Publications (2)

Publication Number Publication Date
JP2004336536A true JP2004336536A (en) 2004-11-25
JP4236986B2 JP4236986B2 (en) 2009-03-11

Family

ID=33506726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003131594A Expired - Fee Related JP4236986B2 (en) 2003-05-09 2003-05-09 Imaging apparatus, method, and program

Country Status (1)

Country Link
JP (1) JP4236986B2 (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005104534A1 (en) * 2004-04-22 2005-11-03 Matsushita Electric Industrial Co., Ltd. Communication apparatus with camera
KR100809255B1 (en) 2007-06-04 2008-02-29 삼성전기주식회사 Apparatus for image processing
JP2008085486A (en) * 2006-09-26 2008-04-10 Casio Comput Co Ltd Voice processor, and program
EP1956719A2 (en) 2007-02-09 2008-08-13 Matsushita Electric Industrial Co., Ltd. Radio receiving apparatus
KR100862521B1 (en) 2007-06-20 2008-10-08 삼성전기주식회사 Camera module
JP2009211159A (en) * 2008-02-29 2009-09-17 Brother Ind Ltd Terminal device
WO2010098087A1 (en) * 2009-02-24 2010-09-02 京セラ株式会社 Portable electronic device and control method therefor
KR101129382B1 (en) * 2004-11-16 2012-03-26 삼성전자주식회사 Apparatus and method for rotating imgae in digital camera
US8237814B2 (en) 2008-07-03 2012-08-07 Ricoh Company, Ltd. Imaging apparatus and stored picture image playback method
JP2013239193A (en) * 2006-09-06 2013-11-28 Apple Inc Image acquisition and management method, portable electronic devices, and storage medium
US10073584B2 (en) 2016-06-12 2018-09-11 Apple Inc. User interfaces for retrieving contextually relevant media content
US10296166B2 (en) 2010-01-06 2019-05-21 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US10324973B2 (en) 2016-06-12 2019-06-18 Apple Inc. Knowledge graph metadata network based on notable moments
US10564826B2 (en) 2009-09-22 2020-02-18 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
US11307737B2 (en) 2019-05-06 2022-04-19 Apple Inc. Media browsing user interface with intelligently selected representative media items
US11334209B2 (en) 2016-06-12 2022-05-17 Apple Inc. User interfaces for retrieving contextually relevant media content
US11334229B2 (en) 2009-09-22 2022-05-17 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US11446548B2 (en) 2020-02-14 2022-09-20 Apple Inc. User interfaces for workout content
US11782575B2 (en) 2018-05-07 2023-10-10 Apple Inc. User interfaces for sharing contextually relevant media content

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005104534A1 (en) * 2004-04-22 2005-11-03 Matsushita Electric Industrial Co., Ltd. Communication apparatus with camera
KR101129382B1 (en) * 2004-11-16 2012-03-26 삼성전자주식회사 Apparatus and method for rotating imgae in digital camera
US11601584B2 (en) 2006-09-06 2023-03-07 Apple Inc. Portable electronic device for photo management
US9459792B2 (en) 2006-09-06 2016-10-04 Apple Inc. Portable electronic device for photo management
US10356309B2 (en) 2006-09-06 2019-07-16 Apple Inc. Portable electronic device for photo management
JP2013239193A (en) * 2006-09-06 2013-11-28 Apple Inc Image acquisition and management method, portable electronic devices, and storage medium
US10904426B2 (en) 2006-09-06 2021-01-26 Apple Inc. Portable electronic device for photo management
JP4735495B2 (en) * 2006-09-26 2011-07-27 カシオ計算機株式会社 Voice processing apparatus and program
JP2008085486A (en) * 2006-09-26 2008-04-10 Casio Comput Co Ltd Voice processor, and program
US8086204B2 (en) 2007-02-09 2011-12-27 Panasonic Corporation Radio receiving apparatus
EP1956719A2 (en) 2007-02-09 2008-08-13 Matsushita Electric Industrial Co., Ltd. Radio receiving apparatus
KR100809255B1 (en) 2007-06-04 2008-02-29 삼성전기주식회사 Apparatus for image processing
KR100862521B1 (en) 2007-06-20 2008-10-08 삼성전기주식회사 Camera module
JP2009211159A (en) * 2008-02-29 2009-09-17 Brother Ind Ltd Terminal device
US8237814B2 (en) 2008-07-03 2012-08-07 Ricoh Company, Ltd. Imaging apparatus and stored picture image playback method
US8676250B2 (en) 2009-02-24 2014-03-18 Kyocera Corporation Portable electronic device and control method therefor
US20110300903A1 (en) * 2009-02-24 2011-12-08 Kyocera Corporation Portable electronic device and control method therefor
WO2010098087A1 (en) * 2009-02-24 2010-09-02 京セラ株式会社 Portable electronic device and control method therefor
US10788965B2 (en) 2009-09-22 2020-09-29 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US11334229B2 (en) 2009-09-22 2022-05-17 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US10564826B2 (en) 2009-09-22 2020-02-18 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US10296166B2 (en) 2010-01-06 2019-05-21 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US10732790B2 (en) 2010-01-06 2020-08-04 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US11099712B2 (en) 2010-01-06 2021-08-24 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US11592959B2 (en) 2010-01-06 2023-02-28 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US11941223B2 (en) 2016-06-12 2024-03-26 Apple Inc. User interfaces for retrieving contextually relevant media content
US10891013B2 (en) 2016-06-12 2021-01-12 Apple Inc. User interfaces for retrieving contextually relevant media content
US10324973B2 (en) 2016-06-12 2019-06-18 Apple Inc. Knowledge graph metadata network based on notable moments
US11334209B2 (en) 2016-06-12 2022-05-17 Apple Inc. User interfaces for retrieving contextually relevant media content
US11681408B2 (en) 2016-06-12 2023-06-20 Apple Inc. User interfaces for retrieving contextually relevant media content
US10073584B2 (en) 2016-06-12 2018-09-11 Apple Inc. User interfaces for retrieving contextually relevant media content
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
US11782575B2 (en) 2018-05-07 2023-10-10 Apple Inc. User interfaces for sharing contextually relevant media content
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
US11775590B2 (en) 2018-09-11 2023-10-03 Apple Inc. Techniques for disambiguating clustered location identifiers
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
US11625153B2 (en) 2019-05-06 2023-04-11 Apple Inc. Media browsing user interface with intelligently selected representative media items
US11307737B2 (en) 2019-05-06 2022-04-19 Apple Inc. Media browsing user interface with intelligently selected representative media items
US11947778B2 (en) 2019-05-06 2024-04-02 Apple Inc. Media browsing user interface with intelligently selected representative media items
US11564103B2 (en) 2020-02-14 2023-01-24 Apple Inc. User interfaces for workout content
US11452915B2 (en) 2020-02-14 2022-09-27 Apple Inc. User interfaces for workout content
US11611883B2 (en) 2020-02-14 2023-03-21 Apple Inc. User interfaces for workout content
US11638158B2 (en) 2020-02-14 2023-04-25 Apple Inc. User interfaces for workout content
US11446548B2 (en) 2020-02-14 2022-09-20 Apple Inc. User interfaces for workout content
US11716629B2 (en) 2020-02-14 2023-08-01 Apple Inc. User interfaces for workout content

Also Published As

Publication number Publication date
JP4236986B2 (en) 2009-03-11

Similar Documents

Publication Publication Date Title
JP4236986B2 (en) Imaging apparatus, method, and program
US8976270B2 (en) Imaging device and imaging device control method capable of taking pictures rapidly with an intuitive operation
CN100389598C (en) Camera and control method for camera
JP4872797B2 (en) Imaging apparatus, imaging method, and imaging program
TW200808044A (en) Imaging apparatus and computer readable recording medium
JP2005128437A (en) Photographing device
JPH10240436A (en) Information processor and recording medium
JP2011019028A (en) Image capturing apparatus, information processor, image capturing apparatus control method, information processor control method, and computer program
JP2005229291A (en) Image recording apparatus and imaging apparatus, and image file storage method
JP4859599B2 (en) Imaging device
JP2006287735A (en) Picture voice recording apparatus and collecting voice direction adjustment method
JP2013251724A (en) Photographing instrument
JP2009260599A (en) Image display apparatus and electronic camera
JP5499754B2 (en) Imaging device
JP2005229290A (en) Imaging apparatus and imaging method
JP4570171B2 (en) Information processing apparatus and recording medium
JP6376753B2 (en) Imaging apparatus, display control apparatus control method, and recording apparatus control method
JP2011172092A (en) Imaging apparatus, image reproducing method, image reproducing program, recording medium with image reproducing program recorded, and image reproducing apparatus
JP2008065851A (en) Information processing apparatus and recording medium
JP3913046B2 (en) Imaging device
JP4828486B2 (en) Digital camera, photographing method and photographing program
JP2005026889A (en) Electronic camera
JP4423681B2 (en) Information processing apparatus and recording medium
JP4492890B2 (en) Digital camera
JP2012029119A (en) Display control device, camera and display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060303

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081217

R150 Certificate of patent or registration of utility model

Ref document number: 4236986

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131226

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees