JP2008072410A - 撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体 - Google Patents

撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体 Download PDF

Info

Publication number
JP2008072410A
JP2008072410A JP2006248834A JP2006248834A JP2008072410A JP 2008072410 A JP2008072410 A JP 2008072410A JP 2006248834 A JP2006248834 A JP 2006248834A JP 2006248834 A JP2006248834 A JP 2006248834A JP 2008072410 A JP2008072410 A JP 2008072410A
Authority
JP
Japan
Prior art keywords
shooting
mode
imaging
environment condition
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006248834A
Other languages
English (en)
Other versions
JP4910584B2 (ja
Inventor
Takao Mishima
孝夫 三島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Saitama Ltd
Original Assignee
NEC Saitama Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Saitama Ltd filed Critical NEC Saitama Ltd
Priority to JP2006248834A priority Critical patent/JP4910584B2/ja
Publication of JP2008072410A publication Critical patent/JP2008072410A/ja
Application granted granted Critical
Publication of JP4910584B2 publication Critical patent/JP4910584B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)

Abstract

【課題】撮像装置の撮影モードの選択操作における使い勝手を向上させ、各撮影環境条件に最適な撮影モードで撮影可能な撮像装置を提供する。
【解決手段】設定されている現在の撮影モードに基づいて、撮影した被写体の撮影画像を撮像部11bにて取得して、DSP13にて信号処理を施して表示部20に画面表示する撮像装置100を起動した際に、あるいは、DSP13にて撮影環境条件の変化を検出する都度、画像を撮影した際の撮影環境条件に最適な撮影モードをメモリ40に登録されている複数の撮影モードの中から検索して、現在の撮影モードの変更が必要か否かを判定し、変更が必要であると判定した場合、撮影モードの変更の有無をユーザに確認するための確認メッセージを表示部20に表示する。ユーザから撮影モードを変更する旨の指示があった場合、現在の撮影モードを、DSP13にて検出された撮影環境条件に最適な撮影モードに切り替えて設定する。
【選択図】図1

Description

本発明は、撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体に関し、特に、簡易な操作で現在の撮影環境条件に最適な撮影モードを自動的に選択して設定することが可能な撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体に関する。
近年のデジタル技術の進歩は目覚ましく、撮像装置の分野においても、従来の銀塩カメラやビデオカメラは、デジタルカメラやデジタルビデオカメラに置き換わりつつある。ここで、デジタルカメラやデジタルビデオカメラ等の撮像装置は、単体の機器として販売、使用されることもあれば、携帯電話やPCなどの携帯端末に組み込まれた形で販売、使用されることもある。また、最近では、自動車や玄関のドアフォンに組み込まれている場合も多い。
さらには、撮像装置は、現在、世の中に広く普及しているが、この撮像装置の販路をさらに拡大するために、より一層の多機能化・高機能化が図られてきている。この高機能化の一例として、例えば、特許文献1の特開2003−264738号公報「デジタルカメラ」に記載のように、デジタルカメラなどの撮像装置として、被写体の輝度状態に応じて適切なダイナミックレンジの拡大処理を行うことを可能とし、輝度差に基づいて、ダイナミックレンジ拡大手段を利用した撮影を行うダイナミックレンジ拡大撮影モードとダイナミックレンジ拡大手段を利用しない通常撮影モードとのいずれかを選択する撮影モード選択手段を備えているものも登場してきている。
あるいは、ホワイトバランス設定の自動選択機能を有するデジタルカメラも提案されている。すなわち、デジタルカメラ起動時における撮影画像の色温度が通常のオートモードの調整範囲内であれば、オートモードのままプレビュー表示の動作に移行し、オートモードの調整範囲外であれば、代替の調整モードの固定値モードに切り替えて、被写体の色温度に適合した固定値にホワイトバランスを設定するようにしている。
特開2003−264738号公報(第4−5頁)
しかしながら、従来の撮像装置においては、高機能化が進んでいるものの、撮像装置に備えられた撮像機能を満足に使いこなしているユーザはそれ程多くない。その理由として、撮像装置に備えられた撮像機能の複雑さや煩雑さが挙げられる。例えば、撮像機能の一つである「撮影モード機能」については、撮像装置自身が自動的に撮影条件を決定するオートモードの他に、夜間撮影用のナイトモードや人物撮影用のポートレートモードや風景撮影用の風景モードなど、各撮影環境条件に応じてそれぞれに適した撮影モードが設けられており、ユーザによるマニュアル操作で任意の撮影モードに切り替えて設定することが可能とされてはいるものの、多くのユーザは、機能の複雑さや煩雑さから、このような撮影環境条件に応じた各種の撮影モード機能を使いこなすことができないのが現状である。
本発明は、かかる事情に鑑みてなされたものであり、撮像装置の撮影モードの選択操作における使い勝手を向上させ、各撮影環境条件に最適な撮影モードに設定してユーザが撮影することができる撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体を提供することを目的としている。
前述の課題を解決するため、本発明による撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体は、次のような特徴的な構成を採用している。
(1)設定されている現在の撮影モードに基づいて撮影された被写体の撮影画像を取得する撮像手段と、前記撮影画像を表示部に画面表示する画像表示手段と、当該撮像装置に備えられている複数の撮影モードを記憶するメモリと、前記撮影画像を撮影時の撮影環境条件を検出する撮影環境条件検出手段と、を少なくとも備えた撮像装置であって、当該撮像装置の起動時に、前記撮影環境条件検出手段によって検出された撮影環境条件に最適な撮影モードを前記メモリから検索して、前記現在の撮影モードの変更が必要であるか否かを判定し、変更が必要であると判定した場合、撮影モードの変更の有無をユーザに確認するための確認メッセージを前記表示部に表示する確認メッセージ表示手段を備えている撮像装置。
(2)前記撮影環境条件検出手段が、撮影時の撮影環境条件をリアルタイムに監視し、該撮影環境条件の変化を検出した場合、前記確認メッセージ表示手段は、変化が検出された該撮影環境条件に最適な撮影モードをリアルタイムに前記メモリから検索して、前記現在の撮影モードの変更が必要であると判定した場合、前記確認メッセージを前記表示部に表示する上記(1)の撮像装置。
(3)前記メモリに記憶された撮影モードとして、撮像装置自身が自動的に撮影条件を決定するオートモードと、暗所における撮影用に用いるナイトモードとを少なくとも有し、前記確認メッセージ表示手段は、前記撮影環境条件が検出した画像撮影時のシャッタースピードが、暗所か否かを判別するためにあらかじめ設定されたシャッタースピード閾値よりも遅いか否かを判定した結果に基づいて、前記オートモードと前記ナイトモードとのいずれが最適な撮影モードかを判別することにより、前記現在の撮影モードの変更が必要であると判定した場合、前記確認メッセージを前記表示部に表示する上記(1)または(2)の撮像装置。
(4)前記メモリに記憶された撮影モードとして、撮像装置自身が自動的に撮影条件を決定するオートモードと、風景の撮影用に用いる風景モードとを少なくとも有し、前記確認メッセージ表示手段は、前記撮影環境条件が画像撮影時に人肌を検出しているか否かを判定した結果に基づいて、前記オートモードと前記風景モードとのいずれが最適な撮影モードかを判別することにより、前記現在の撮影モードの変更が必要であると判定した場合、前記確認メッセージを前記表示部に表示する上記(1)または(2)の撮像装置。
(5)ユーザからの指示を入力する入力手段をさらに備え、前記表示部に表示された前記確認メッセージに応じて、ユーザから、前記入力手段を介して、前記現在の撮影モードを変更する旨の指示を受け取った場合、前記現在の撮影モードを、前記撮影環境条件検出手段によって検出された撮影環境条件に最適な撮影モードに切り替えて設定する撮影モード切替手段を備えている上記(1)ないし(4)のいずれかの撮像装置。
(6)画像を撮影する撮影機構を有する携帯電話において、前記撮影機構として請求項1ないし5のいずれかに記載の撮像装置を内蔵している携帯電話。
(7)設定されている現在の撮影モードに基づいて撮影された被写体の撮影画像を取得する撮像ステップと、前記撮影画像を表示部に画面表示する画像表示ステップと、撮像装置に備えられている複数の撮影モードを記憶するメモリと、前記撮影画像を撮影時の撮影環境条件を検出する撮影環境条件検出ステップと、を少なくとも有する撮像制御方法であって、前記撮像装置の起動時に、前記撮影環境条件検出ステップによって検出された撮影環境条件に最適な撮影モードを前記メモリから検索して、前記現在の撮影モードの変更が必要であるか否かを判定し、変更が必要であると判定した場合、撮影モードの変更の有無をユーザに確認するための確認メッセージを前記表示部に表示する確認メッセージ表示ステップを有している撮像制御方法。
(8)前記撮影環境条件検出ステップが、撮影時の撮影環境条件をリアルタイムに監視し、該撮影環境条件の変化を検出した場合、前記確認メッセージ表示ステップは、変化が検出された該撮影環境条件に最適な撮影モードをリアルタイムに前記メモリから検索して、前記現在の撮影モードの変更が必要であると判定した場合、前記確認メッセージを前記表示部に表示する上記(7)の撮像制御方法。
(9)前記表示部に表示された前記確認メッセージに応じて、ユーザから前記現在の撮影モードを変更する旨の指示を受け取った場合、前記現在の撮影モードを、前記撮影環境条件検出ステップによって検出された撮影環境条件に最適な撮影モードに切り替えて設定する撮影モード切替ステップを有している上記(7)または(8)の撮像制御方法。
(10)上記(7)ないし(9)のいずれかの撮像制御方法を、コンピュータによって実行可能なプログラムとして実施している撮像制御プログラム。
(11)上記(10)の撮像制御プログラムを、コンピュータによって読み取り可能な記録媒体に記録しているプログラム記録媒体。
本発明の撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体によれば、次のような効果を奏することができる。
第1に、撮像装置の起動時における撮影環境条件や、移動しながら撮影している場合のように、リアルタイムな撮影環境条件の変化に応じて、最適な撮影モードを自動的に判定して、撮影モードの変更の有無をユーザに確認する確認メッセージを表示するとともに、ユーザからの変更の指示を受け取った際に、撮影モードを撮影環境条件に最適なものに自動的に変更して設定することを可能としているので、ユーザが現在の撮影環境条件を一々判断し、その撮影環境条件に適した撮影モードを選択して、選択した撮影モードに切り替えるという操作を行う必要はなく、撮影モードの選択および設定に当たっての使い勝手を向上させることができる。
また、第2に、複数の撮影モードを有する撮像装置であっても、ユーザからの切り替え指示という簡易な操作だけで、撮影環境条件に最適な撮影モードを自動的に選択して設定することが可能となる。
また、第3に、撮影環境条件に最適な撮影モードに簡易な操作で切り替えて設定することができるので、オートモードの設定可能範囲(フレームレート等)を必要以上に広げ過ぎることもなく、簡易な付加機能により、個々の撮影環境条件に対してより適切な撮影モードを選択することが可能である。
以下、本発明による撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体の好適実施形態例について添付図を参照して説明する。
(本発明の特徴)
まず、本発明に係わる撮像装置の主要な特徴について簡単に説明する。従来、デジタルカメラやデジタルビデオカメラ等の撮像装置の場合は、「撮影モード選択操作」として、撮影環境条件すなわち撮影シーンに応じてそれぞれの撮影シーンごとに適合する撮影モードをユーザ自身が一々判別して、該撮影モードにユーザがマニュアルで設定するという操作が必要であった。
これに対して、本発明においては、撮像装置起動時に、または、撮影環境条件の変化を検出した時に、撮像装置側で撮影環境条件を自動的に読み取って、該撮影環境条件に最適な撮影モードを自動的に選択し、これに基づいて、撮影モードを現在のモードから変更する必要があるか否かを自動的に判定して、変更する必要があると判定した場合には、ユーザへ変更の有無を確認する確認メッセージを表示させる機能を有していることを、その主要な特徴としている。さらに、ユーザから撮影モードの変更を指示する入力があった場合には、現在の撮影環境条件に最適な撮影モードに自動的に切り替えて設定する機能を有することを、その特徴としている。而して、本発明を導入することにより、撮像装置の操作に不慣れなユーザであっても、それぞれの撮影環境条件下で最適な撮影モードを用いて撮影することが簡単に可能になる。
なお、ここで、本発明における「撮影モードの選択機能」とは、シャッタースピードやフレームレートなどの設定に関する最適なモードを自動的に選択する場合にも適用することが可能であり、例えば、以下のような各種の機能を有している点に、その特徴がある。
まず、シャッタースピード検出機能を有しており、撮影シーンの明るさの如何を自動的に判別して、撮像装置自身が自動的に撮影条件を決定するオートモードと、夜間など暗所における撮影に適するナイトモードと、のいずれか最適な撮影モードへの設定切り替えが可能であり、読み取った撮影環境条件に応じて切り替えの有無をユーザに確認するための確認メッセージが自動的に表示される。表示された確認メッセージに応じてユーザが切り替え指示の操作を行うことにより、撮影環境条件として暗い場所で撮影しようとしている場合は、ナイトモードに自動的に切り替えて設定することを可能とし、もって、ユーザがオートモードのまま撮影して、真っ暗な画像を撮影してしまうことを防止し、最適な撮影モードで撮影することができる。
また、肌色検出機能を有しており、被写体として人物が含まれているか否かを自動的に判別して、オートモードと風景の撮影に適する風景モードとのいずれか最適な撮影モードへの設定切り替えが可能であり、読み取った撮影環境条件に応じて切り替えの有無をユーザに確認するための確認メッセージが自動的に表示される。表示された確認メッセージに応じてユーザが切り替え指示の操作を行うことにより、例えば、ユーザが風景を撮影しようとしている場合は、風景モードに自動的に切り替えて設定することを可能とし、もって、空などの明るい部分を含む風景の場合であっても白飛びした画像を撮影することなく、最適な画像を得ることが可能となる。
また、移動しながら撮影している場合、リアルタイムに変化する撮影環境条件を自動的に判別する機能を有しており、プレビュー画像の表示中に撮影環境条件が変化した場合、すぐさま、適正な撮影モードを検索して、設定していた撮影モードの変更が必要か否かを自動的に判定し、変更が必要と判定した場合は、切り替えの有無をユーザに確認するための確認メッセージが表示される。表示された確認メッセージに応じてユーザが切り替え指示の操作を行うことにより、リアルタイムに変化する撮影環境条件にただちに対応して撮影モードを切り替えて設定することが可能である。
(実施例の構成)
次に、本発明に係わる撮像装置の構成の一例について説明する。図1は、本発明に係わる撮像装置の構成の一例を示すブロック構成図である。図1に示すように、撮像装置100は、カメラモジュール10、表示部20、入力部30、メモリ40、および、CPU50を、少なくとも備えており、カメラモジュール10は、撮影レンズ11aと撮像部11bとを含むカメラ部11、A/Dコンバータ12、DSP13、および、画像処理用メモリ14を、少なくとも含んで構成される。
ここで、カメラ部11の撮影レンズ11aは、被写体からの反射光を撮像部11bに集光するためのレンズであり、撮像部11bは、CCDやCMOSセンサなどによって構成され、撮影レンズ11aからの光信号を、設定されている撮影モードに基づいて電気信号に変換して被写体の撮影画像を取得する撮像手段を提供するものである。また、A/Dコンバータ12は、カメラ部11から入力されたアナログ信号をデジタル信号に変換して、DSP13に入力するものである。
DSP13は、画像処理用メモリ14に蓄積されている種々のデータを用いて、各種の入力デジタル信号に関する信号処理を施すための演算装置であり、CPU50からの制御信号によって設定された撮影モードに基づいて、A/Dコンバータ12によりデジタル信号に変換されて入力されてくる撮影画像に信号処理を施して補正する画像補正手段を提供している。また、DSP13は、入力されてくる撮影画像に基づいて、該撮影画像の撮影時における現在の撮影環境条件をリアルタイムに検出して、CPU50に通知する撮影環境条件検出手段も提供している。
ここで、DSP13における撮影環境条件検出手段の演算処理の一例として、例えば、シャッタースピードやフレームレートの設定に関する最適な撮影モードを自動的に選択することを可能とするために、前述したように、読み取った撮影画像に応じて、暗い撮影環境か否かを判定してナイトモードへの切り替えの必要性を判定したり、あるいは、人物の肌色を検出したか否かを判定して風景モードへの切り替えの必要性を判定したりする。なお、かかる演算処理は、あくまでも例示に過ぎず、DSP13における演算処理は、かかる場合に限るものではない。
表示部20は、LCDまたは有機ELなどからなり、DSP13によって補正された撮影画像の表示や各種のメッセージ、制御用のアイコンなどの表示を行うディスプレイである。また、入力部30は、ボタンやキーパッド、キーボードなどからなり、撮像装置100に対する操作を行うためにユーザが指示を入力するためのものである。
また、メモリ40は、CPU50が動作するための撮像制御プログラムや撮影画像を記憶したり、当該撮像装置100に備えられている複数の撮影モードや各撮影モードの選択用とするための撮影環境条件に関するデータや各種の判定条件に関するデータを登録して記憶したりするための記憶装置である。また、メモリ40には、撮影モードの選択用のメニュー画面やユーザに対する確認メッセージなどの表示データを含む各種の制御用データなども保存されている。さらには、例えば撮像装置100を携帯電話に撮影機構として内蔵させる場合には、携帯電話用のメモリと共用するような構成として、電話番号やメールアドレスなどのデータもメモリ40に保存するようにしても良い。
また、CPU50は、入力部30からの入力に基づいて、カメラモジュール10、表示部20、メモリ40など撮像装置100全体の動作を制御するプロセッサであり、メモリ40に蓄積された撮像制御プログラムを読み出して実行することにより、現在設定されている撮影モードを変更する旨の指示をユーザから受け取った際に、現在の撮影環境条件に最適な撮影モードに自動的に切り替えて設定したり、あるいは、ユーザから指定された撮影モードに切り替えて設定したりするために、カメラモジュール10の撮影モードの切り替え設定動作を制御する撮影モード切替手段を提供している。
また、CPU50は、撮像制御プログラムを実行することにより、撮影画像に関するデータを表示部20に伝達して画面表示させる画像表示手段を提供したり、撮影モードの変更の有無をユーザに確認するための確認メッセージに関するデータを表示部20に伝達して画面表示させる確認メッセージ表示手段を提供したりする。
さらに、CPU50は、撮像制御プログラムを実行することにより、各種のメッセージや撮影モード選択用のメニューや制御用のアイコンなどに関するデータを表示部20に伝達して画面表示させる各種データ表示手段を提供したり、撮影画像データや画像撮影時の撮影条件のデータをメモリ40に登録する画像登録手段を提供したり、撮影環境条件の判定用に用いるデータや撮影条件に関するデータなどを含む各種の制御用データをメモリ40に読み書きしたり、あるいは、ユーザから入力部30を介して入力されてくる指示に関するデータを解釈したりする動作を制御している。
(本実施例の動作の説明)
次に、本実施例における撮像装置100の動作の一例についてさらに説明する。まず、本発明に係わる動作を理解し易くするために、本発明の一実施例である撮像装置100の動作の説明に先立って、従来の撮像装置の動作について図2を用いて説明する。図2は、従来の撮像装置の動作を説明するためのフローチャートである。ここで、従来の撮像装置においては、起動時にあらかじめ設定されているデフォルトの撮影モードとして、撮像装置自身が自動的に撮影条件を決定する「オートモード」が設定されているものとする。
まず、撮像装置を起動させると(ステップS101)、カメラモジュールによりオートモードで撮像された画像が、プレビュー画面上に表示される(ステップS102)。ユーザは、プレビュー画像を確認して、撮影モードを変更するか否かを判断して、変更しない場合は(ステップS102の「変更無し」の場合)、そのままシャッタの押下操作をして撮影を行った後(ステップS103)、撮影画像の確認をして画像の登録を行うか否かを判断する(ステップS104)。
この時点で撮り直しをしたいと判断した場合は(ステップS104の「再撮影」の場合)、ステップS103に戻って、再度、シャッタを押下し直す。一方、撮影した画像を撮像装置内に登録する手順に進む場合は(ステップS104の「登録」の場合)、撮影画像を撮像装置内のメモリに登録して保存する操作を行う(ステップS105)。
また、ステップS102のプレビュー画像確認動作において、撮影モードの設定を変更したい場合は(ステップS102の「変更」の場合)、ユーザの操作によって表示したメニュー画面の中から、ユーザが変更したい撮影モードを選択し(ステップS106)、現在の撮影モードから選択した撮影モードにマニュアルで切り替えて設定した後、ステップS102に復帰して、選択した撮影モードで撮像された画像をプレビュー表示して確認するという手順を繰り返す。
以上のように、従来の撮像装置では、ユーザが、プレビュー表示画像を確認しながら、メニュー画面の中から最適と思われる撮影モードを一々選択してマニュアルで設定するという手順を踏むことが必要となっている。一方、本発明においては、例えば、本実施例を示す図1の撮像装置100を起動時に、撮像装置100側において撮影環境条件を自動的に確認するとともに、該撮影環境条件に最適な撮影モードを自動的に検索することによって、現在の撮影モードを変更する必要があるか否かを自動的に判定し、撮影モードの変更が必要であると判定した場合には、撮影モードの変更の有無をユーザへ確認する確認メッセージを自動的に表示させる機能を盛り込んだ構成となっている。
以下に、本発明に係わる撮像装置の動作の一例について、図1に示す撮像装置100の構成例の場合を例にとって、図3のフローチャートを用いて説明する。図3は、本発明に係わる撮像装置の動作の一例を説明するためのフローチャートである。ここで、本実施例の撮像装置100においても、起動時にあらかじめ設定されているデフォルトの撮影モードとして、撮像装置100自身が自動的に撮影条件を決定する「オートモード」が設定されているものとする。
まず、ユーザが入力部30を操作して撮像装置100を起動させると(ステップS201)、メモリ40に蓄積されている撮像制御プログラムが起動され、カメラモジュール10によりオートモードで撮像された画像がDSP13にて画像補正された後、CPU50に取り込まれるとともに、DSP13にてリアルタイムに検出されて通知されてきている撮影環境条件の確認が実施される(ステップS202)。次いで、確認された現在の撮影環境条件に基づいて、当該撮像装置100に備えられている撮影モードとしてメモリ40に登録されている複数の撮影モードを検索することによって、最適な撮影モードとして代替の撮影モードが存在しているか否かが検索される(ステップS203)。
代替の撮影モードが存在していないか、あるいは、現在の撮影モードを変更する必要がないと判定した場合は(ステップS203の「無し」の場合)、そのまま、図2にて説明した従来の撮像装置の動作の場合と同様に、カメラモジュール10により現在の撮影モードで撮像された画像を、表示部20のプレビュー画面上に表示させる(ステップS204)。ユーザは、プレビュー画像を確認して、撮影モードを変更する必要はなく、そのまま撮影して登録したいと判断して、その旨を示す指示を入力部30から入力した場合は(ステップS204の「変更無し」の場合)、ステップS205に移行して、現在設定されている撮影モードのまま、シャッタの押下操作をして撮影を行った後(ステップS205)、撮影画像の確認をして画像の登録を行うか否かを判断する(ステップS206)。
この時点で撮り直しをしたいと判断した場合は(ステップS206の「再撮影」の場合)、ステップS205に戻って、再度、シャッタを押下し直す。一方、撮影した画像を撮像装置100内のメモリ40に登録する手順に進む場合は(ステップS206の「登録」の場合)、撮影画像を撮像装置100内のメモリ40に登録して保存する操作を行う(ステップS207)。
また、ステップS204のプレビュー画像確認動作において、ユーザが、プレビュー画像を確認して、撮影モードの設定を変更して撮影したいと判断して、その旨を示す指示を入力部30から入力した場合は(ステップS204の「変更」の場合)、図2にて説明した従来の撮像装置の動作の場合と同様に、ユーザの操作によって表示したメニュー画面の中から、ユーザが変更したい撮影モードを選択し(ステップS210)、現在の撮影モードから選択した撮影モードにマニュアルで切り替えて設定した後、ステップS204に復帰して、選択した撮影モードで撮像された画像をプレビュー表示して確認するという手順を繰り返す。すなわち、本実施例においても、ユーザが任意の撮影モードを選択してマニュアルで設定したい場合も想定して、従来の撮像装置の場合と同様に、撮影モードに関するマニュアル選択機能が撮影モード切替手段の一つとして備えられている。
また、ステップS203において、代替の撮影モードが存在していて、現在の撮影モードを変更する必要があるとCPU50(すなわち撮像制御プログラムの確認メッセージ表示手段の実施ステップ)が判定した場合は(ステップS203の「有り」の場合)、ユーザに撮影モードの変更の有無を確認するための確認メッセージを表示部20に画面表示する(ステップS208)。ここで、この確認メッセージとは、検索された撮影モードが実際の撮影環境条件と合致した最適な状態で撮影することができることをユーザに確認するためのメッセージとして、現在の撮影モードから、現在の撮影環境条件に最適と判断される代替の撮影モードに、撮影モードを変更するか否かを、ユーザに問い合わせる問い合わせ応答形式のメッセージであり、撮影モードを変更するか否かはユーザの判断に任せている。
表示部20に表示された確認メッセージを確認したユーザが、撮影モードの変更をしない旨の指示を入力部30より入力した場合は(ステップS208のNoの場合)、ステップS204に移行して、現在設定されている撮影モードのまま、カメラモジュール10により撮像された画像を、表示部20のプレビュー画面上に表示させる。一方、ユーザが、撮影モードを変更する旨の指示を入力部30より入力した場合は(ステップS208のYesの場合)、CPU50(すなわち撮像制御プログラムの撮影モード切替手段の実施ステップ)は、現在の撮影環境条件に基づいて検索された代替の撮影モードすなわち現在の撮影環境条件に最適な撮影モードを自動的に選択して、撮影モードを切り替えて設定する(ステップS209)。しかる後、ステップS204に移行して、切り替えた代替の撮影モードを用いてカメラモジュール10により撮像された画像を、表示部20のプレビュー画面上に表示させる。
以上のように、本実施例における撮像装置100においては、撮像装置100の起動時における撮影環境条件に応じて、あるいは、移動しながら撮影している場合のように、リアルタイムな撮影環境条件の変化に応じて、最適な撮影モードを自動的に判定して、撮影モードの変更の有無をユーザに確認する確認メッセージを表示するとともに、ユーザからの変更の指示を受け取った際に、撮影モードを撮影環境条件に最適なものに自動的に変更して設定することを可能としているので、ユーザが現在の撮影環境条件を一々判断し、その撮影環境条件に適した撮影モードを選択して、選択した撮影モードに切り替えるという操作を行う必要はなく、撮影モードの選択および設定に当たっての使い勝手を向上させることができる。
また、複数の撮影モードを有する撮像装置100であっても、ユーザからの撮影モードの切り替え指示という極めて簡易な操作だけで、現在の撮影環境条件に最適な撮影モードを自動的に選択して設定することが可能である。
さらに、ユーザは極めて簡易な操作を行うだけで、現在の撮影環境条件に最適な撮影モードに自動的に切り替えて設定することができるので、オートモードの設定可能範囲(フレームレート等)を必要以上に広げ過ぎることもなく、簡易な付加機能により、個々の撮影環境条件に対してより適切な撮影モードを選択することが可能である。
なお、図3に示す動作例においては、撮像装置100の起動時における撮影モードの選択をユーザがあらかじめ行っていない場合を想定して、デフォルト設定モードとしてオートモードが起動時に設定されているものとしたが、撮像装置100の起動時にユーザによって他の撮影モードがあらかじめ選択されて設定された状態にされていても良い。
また、図3に示す動作例においては、代替の撮影モードが一度設定されると、当該撮像装置100を再起動しない限り、ステップS203に示す撮影モードの代替検索動作を実行しない例を示しているが、本発明は、かかる形態に制限されるものではない。
例えば、仮に、ステップS204におけるプレビュー画像表示中において、撮影環境条件が変わったことが検出された場合、あるいは、ユーザが現在の撮影環境条件に最適な撮影モードの検索を指示した場合、その時点で選択されている撮影モードに代わるべき代替の撮影モードが存在しているか否かをリアルタイムに調べるために、ステップS204からステップS203に戻って、より適切な代替の撮影モードの検索を行い、代替の撮影モードが存在していた場合には、当該代替の撮影モードに切り替えるべきか否かをユーザに確認するための確認メッセージの表示、代替の撮影モードへの変更の順に、図3のステップS203、S208、S209と同様な処理を実施しても良い。
このように、撮影環境条件の変化に応じて、リアルタイムに最適な撮影モードの選択設定処理を行うことによって、ユーザが撮像装置100を持ち歩きながら撮影を実施している場合のように、リアルタイムに変化する撮影環境条件下であっても、ユーザは変化する撮影環境条件に対応した最適な撮影モードに切り替えて設定しながら撮影を行うことが可能である。
(代替の撮影モードの検索方法)
次に、本発明に係わる撮像装置の起動時において、あるいは、本撮影環境条件の変化の検出時において、CPU50(すなわち撮像制御プログラムの確認メッセージ表示手段の実施ステップ)が、メモリ40に登録されている複数の撮影モードの中から、代替の撮影モードを検索する具体的な検索方法の一例について説明する。ただし、以下の実施例については、あくまでも具体的な検索方法の一例を示すものであって、以下の実施例が、本発明の技術的範囲を制限するものではない。
(シャッタースピードによる判定)
まず、シャッターを開閉する際の速度であるシャッタースピードを用いて、代替の撮影モードの検索を行うか否かを判定する場合について説明する。シャッタースピードにより代替の撮影モードとの切り替えの可否を判定するための閾値としてシャッタースピード閾値をあらかじめ設定しておき、撮像装置の起動時あるいは撮影環境条件の変化の検出時におけるプレビュー用の画像撮影時のシャッタースピードを、あらかじめ設定した前記シャッタースピード閾値と比較して、例えば、該シャッタースピード閾値以上に速かった場合は、現在のシャッタースピードのままで、撮影を行っても構わないものと判定する。一方、該シャッタースピード閾値よりも遅かった場合は、撮影環境条件が暗所における撮影環境であるものと推定して、代替用として備えられている「ナイトモード」などの暗所用の撮影モードに変更するか否かをユーザに確認するための確認メッセージを表示部20に表示させる。
(肌色検出による判定)
次に、プレビュー撮影時において被写体から人物の肌色を検出しているか否かという情報を用いて、代替の撮影モードの検索を行うか否かを判定する場合について説明する。撮像装置の起動時あるいは撮影環境条件の変化の検出時におけるプレビュー用の画像撮影時において、被写体から人物の肌色を検出したか否かを判定し、仮に、肌色を検出した場合は、人物撮影用に設定されている現在の撮影モードのまま、撮影を行っても構わないものと判定する。一方、肌色が検出されなかった場合には、被写体には人物が含まれていなく、風景を撮影しているものと推定して、代替用として備えられている「風景モード」などの撮影モードに変更するか否かをユーザに確認するための確認メッセージを表示部20に表示させる。
このような風景モードへの撮影モードの変更による利点は、測光モードを変更することができるという点である。ユーザが通常使用しているオートモードにおいては、測光モードとして「中央測光」に設定されている場合が多い。かくのごとき「中央測光」の測光モードを用いて明るい空を含む風景を撮影した場合は、画面上部の空などの撮影画像が白飛びを起こしてしまう場合が少なくない。これは、「中央測光」の測光モードでは画面中央の被写体にAE(自動露光)の重み付けが置かれて、中央の被写体に露光が合わせ込まれてしまう結果として、通常の中央被写体よりも明るい箇所となる空は露出過多となって白飛びを起こしてしまうためである。
一方、風景モードにおいては、通常、測光モードとして「平均測光」に設定されている場合が多いので、被写体から肌色が検出されなかった場合には、前述のように、撮影モードを風景モードに変更すれば、空の白飛び等も防ぐことが可能となる。なお、人物撮影用の撮影モードとして「ポートレートモード」が備えられている場合には、被写体から肌色が検出された場合は、「オートモード」の代替の撮影モードとして、「ポートレートモード」への変更の有無を確認する確認メッセージを表示部20に表示させるようにしても良い。
(本実施例における効果)
本発明に係わる前述のような実施例の撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体によれば、撮像装置100の起動時における撮影環境条件や、移動しながら撮影している場合のように、リアルタイムな撮影環境条件の変化に応じて、最適な撮影モードを自動的に判定して、撮影モードの変更の有無をユーザに確認する確認メッセージを表示部20に表示し、ユーザから入力部30を介した変更の指示を受け取った際に、撮影モードを現在の撮影環境条件に最適なものに自動的に変更して設定することを可能としているので、ユーザが撮影環境条件を判断し、かつ、ユーザ自身がかかる撮影環境条件下で最適と思われる撮影モードを一々選択して、選択した撮影モードにマニュアルで切り替えるという操作を行う必要はなく、撮影モードの選択および設定に当たっての使い勝手を向上させることができる。
また、本発明に係わる前述のような実施例の撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体によれば、複数の撮影モードを有する撮像装置100であっても、ユーザからの入力部30を介した切り替え指示という簡易な操作だけで、撮影環境条件に最適な撮影モードを自動的に選択して設定することが可能となる。
また、本発明に係わる前述のような実施例の撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体によれば、ユーザからの入力部30を介した切り替え指示という簡易な操作だけで、現在の撮影環境条件に最適な撮影モードに切り替えることができるので、オートモードの設定可能範囲(フレームレート等)を必要以上に広げ過ぎることもなく、簡易な付加機能により、個々の撮影環境条件に対してより適切な撮影モードを選択することが可能である。
以上、本発明の好適実施例の構成を説明した。しかし、斯かる実施例は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意されたい。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であることは、当業者には容易に理解できよう。
本発明に係わる撮像装置の構成の一例を示すブロック構成図である。 従来の撮像装置の動作を説明するためのフローチャートである。 本発明に係わる撮像装置の動作の一例を説明するためのフローチャートである。
符号の説明
10 カメラモジュール
11 カメラ部
11a 撮影レンズ
11b 撮像部
12 A/Dコンバータ
13 DSP
14 画像処理用メモリ
20 表示部
30 入力部
40 メモリ
50 CPU
100 撮像装置

Claims (11)

  1. 設定されている現在の撮影モードに基づいて撮影された被写体の撮影画像を取得する撮像手段と、前記撮影画像を表示部に画面表示する画像表示手段と、当該撮像装置に備えられている複数の撮影モードを記憶するメモリと、前記撮影画像を撮影時の撮影環境条件を検出する撮影環境条件検出手段と、を少なくとも備えた撮像装置であって、当該撮像装置の起動時に、前記撮影環境条件検出手段によって検出された撮影環境条件に最適な撮影モードを前記メモリから検索して、前記現在の撮影モードの変更が必要であるか否かを判定し、変更が必要であると判定した場合、撮影モードの変更の有無をユーザに確認するための確認メッセージを前記表示部に表示する確認メッセージ表示手段を備えていることを特徴とする撮像装置。
  2. 前記撮影環境条件検出手段が、撮影時の撮影環境条件をリアルタイムに監視し、該撮影環境条件の変化を検出した場合、前記確認メッセージ表示手段は、変化が検出された該撮影環境条件に最適な撮影モードをリアルタイムに前記メモリから検索して、前記現在の撮影モードの変更が必要であると判定した場合、前記確認メッセージを前記表示部に表示することを特徴とする請求項1に記載の撮像装置。
  3. 前記メモリに記憶された撮影モードとして、撮像装置自身が自動的に撮影条件を決定するオートモードと、暗所における撮影用に用いるナイトモードとを少なくとも有し、前記確認メッセージ表示手段は、前記撮影環境条件が検出した画像撮影時のシャッタースピードが、暗所か否かを判別するためにあらかじめ設定されたシャッタースピード閾値よりも遅いか否かを判定した結果に基づいて、前記オートモードと前記ナイトモードとのいずれが最適な撮影モードかを判別することにより、前記現在の撮影モードの変更が必要であると判定した場合、前記確認メッセージを前記表示部に表示することを特徴とする請求項1または2に記載の撮像装置。
  4. 前記メモリに記憶された撮影モードとして、撮像装置自身が自動的に撮影条件を決定するオートモードと、風景の撮影用に用いる風景モードとを少なくとも有し、前記確認メッセージ表示手段は、前記撮影環境条件が画像撮影時に人肌を検出しているか否かを判定した結果に基づいて、前記オートモードと前記風景モードとのいずれが最適な撮影モードかを判別することにより、前記現在の撮影モードの変更が必要であると判定した場合、前記確認メッセージを前記表示部に表示することを特徴とする請求項1または2に記載の撮像装置。
  5. ユーザからの指示を入力する入力手段をさらに備え、前記表示部に表示された前記確認メッセージに応じて、ユーザから、前記入力手段を介して、前記現在の撮影モードを変更する旨の指示を受け取った場合、前記現在の撮影モードを、前記撮影環境条件検出手段によって検出された撮影環境条件に最適な撮影モードに切り替えて設定する撮影モード切替手段を備えていることを特徴とする請求項1ないし4のいずれかに記載の撮像装置。
  6. 画像を撮影する撮影機構を有する携帯電話において、前記撮影機構として請求項1ないし5のいずれかに記載の撮像装置を内蔵していることを特徴とする携帯電話。
  7. 設定されている現在の撮影モードに基づいて撮影された被写体の撮影画像を取得する撮像ステップと、前記撮影画像を表示部に画面表示する画像表示ステップと、撮像装置に備えられている複数の撮影モードを記憶するメモリと、前記撮影画像を撮影時の撮影環境条件を検出する撮影環境条件検出ステップと、を少なくとも有する撮像制御方法であって、前記撮像装置の起動時に、前記撮影環境条件検出ステップによって検出された撮影環境条件に最適な撮影モードを前記メモリから検索して、前記現在の撮影モードの変更が必要であるか否かを判定し、変更が必要であると判定した場合、撮影モードの変更の有無をユーザに確認するための確認メッセージを前記表示部に表示する確認メッセージ表示ステップを有していることを特徴とする撮像制御方法。
  8. 前記撮影環境条件検出ステップが、撮影時の撮影環境条件をリアルタイムに監視し、該撮影環境条件の変化を検出した場合、前記確認メッセージ表示ステップは、変化が検出された該撮影環境条件に最適な撮影モードをリアルタイムに前記メモリから検索して、前記現在の撮影モードの変更が必要であると判定した場合、前記確認メッセージを前記表示部に表示することを特徴とする請求項7に記載の撮像制御方法。
  9. 前記表示部に表示された前記確認メッセージに応じて、ユーザから前記現在の撮影モードを変更する旨の指示を受け取った場合、前記現在の撮影モードを、前記撮影環境条件検出ステップによって検出された撮影環境条件に最適な撮影モードに切り替えて設定する撮影モード切替ステップを有していることを特徴とする請求項7または8に記載の撮像制御方法。
  10. 請求項7ないし9のいずれかに記載の撮像制御方法を、コンピュータによって実行可能なプログラムとして実施していることを特徴とする撮像制御プログラム。
  11. 請求項10に記載の撮像制御プログラムを、コンピュータによって読み取り可能な記録媒体に記録していることを特徴とするプログラム記録媒体。
JP2006248834A 2006-09-14 2006-09-14 撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体 Expired - Fee Related JP4910584B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006248834A JP4910584B2 (ja) 2006-09-14 2006-09-14 撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006248834A JP4910584B2 (ja) 2006-09-14 2006-09-14 撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体

Publications (2)

Publication Number Publication Date
JP2008072410A true JP2008072410A (ja) 2008-03-27
JP4910584B2 JP4910584B2 (ja) 2012-04-04

Family

ID=39293607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006248834A Expired - Fee Related JP4910584B2 (ja) 2006-09-14 2006-09-14 撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体

Country Status (1)

Country Link
JP (1) JP4910584B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100011936A (ko) * 2008-07-25 2010-02-03 후지필름 가부시키가이샤 촬상 장치 및 방법
JP2010045613A (ja) * 2008-08-13 2010-02-25 Ntt Docomo Inc 画像識別方法および撮像装置
JP2012191427A (ja) * 2011-03-10 2012-10-04 Nec Saitama Ltd 撮像装置およびその制御方法
WO2012140884A1 (ja) * 2011-04-11 2012-10-18 パナソニック株式会社 撮影装置、撮影方法及び撮影プログラム
JP2013016928A (ja) * 2011-06-30 2013-01-24 Casio Comput Co Ltd 撮影装置、撮影条件制御方法、プログラム
US8514296B2 (en) 2008-07-25 2013-08-20 Fujifilm Corporation Imaging apparatus capable of recognizing photographic scene and method for the same
JP2014042168A (ja) * 2012-08-22 2014-03-06 Canon Inc 撮像装置及びその制御方法、プログラム、並びに記憶媒体
CN103826062A (zh) * 2014-02-27 2014-05-28 北京百纳威尔科技有限公司 拍摄模式切换处理方法及装置
KR101542436B1 (ko) 2008-07-29 2015-08-06 후지필름 가부시키가이샤 촬상 장치 및 촬상 방법
JP2015186118A (ja) * 2014-03-25 2015-10-22 アイホン株式会社 インターホン装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018433A (ja) * 2001-07-04 2003-01-17 Minolta Co Ltd 撮像装置及び撮像方法
JP2003262786A (ja) * 2002-03-08 2003-09-19 Casio Comput Co Ltd 撮像装置及びその自動合焦方法
JP2004120202A (ja) * 2002-09-25 2004-04-15 Sony Corp 撮像装置,撮像モード切替方法
JP2005110097A (ja) * 2003-10-01 2005-04-21 Sony Corp 撮像装置および撮像方法
JP2005159708A (ja) * 2003-11-26 2005-06-16 Fuji Photo Film Co Ltd デジタルカメラ及び画像処理装置
JP2006217413A (ja) * 2005-02-04 2006-08-17 Nikon Corp 電子カメラ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018433A (ja) * 2001-07-04 2003-01-17 Minolta Co Ltd 撮像装置及び撮像方法
JP2003262786A (ja) * 2002-03-08 2003-09-19 Casio Comput Co Ltd 撮像装置及びその自動合焦方法
JP2004120202A (ja) * 2002-09-25 2004-04-15 Sony Corp 撮像装置,撮像モード切替方法
JP2005110097A (ja) * 2003-10-01 2005-04-21 Sony Corp 撮像装置および撮像方法
JP2005159708A (ja) * 2003-11-26 2005-06-16 Fuji Photo Film Co Ltd デジタルカメラ及び画像処理装置
JP2006217413A (ja) * 2005-02-04 2006-08-17 Nikon Corp 電子カメラ

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100011936A (ko) * 2008-07-25 2010-02-03 후지필름 가부시키가이샤 촬상 장치 및 방법
JP2010050962A (ja) * 2008-07-25 2010-03-04 Fujifilm Corp 撮像装置および方法
US8514296B2 (en) 2008-07-25 2013-08-20 Fujifilm Corporation Imaging apparatus capable of recognizing photographic scene and method for the same
KR101590190B1 (ko) 2008-07-25 2016-01-29 후지필름 가부시키가이샤 촬상 장치 및 방법
KR101542436B1 (ko) 2008-07-29 2015-08-06 후지필름 가부시키가이샤 촬상 장치 및 촬상 방법
JP2010045613A (ja) * 2008-08-13 2010-02-25 Ntt Docomo Inc 画像識別方法および撮像装置
JP2012191427A (ja) * 2011-03-10 2012-10-04 Nec Saitama Ltd 撮像装置およびその制御方法
WO2012140884A1 (ja) * 2011-04-11 2012-10-18 パナソニック株式会社 撮影装置、撮影方法及び撮影プログラム
JP2013016928A (ja) * 2011-06-30 2013-01-24 Casio Comput Co Ltd 撮影装置、撮影条件制御方法、プログラム
JP2014042168A (ja) * 2012-08-22 2014-03-06 Canon Inc 撮像装置及びその制御方法、プログラム、並びに記憶媒体
CN103826062A (zh) * 2014-02-27 2014-05-28 北京百纳威尔科技有限公司 拍摄模式切换处理方法及装置
JP2015186118A (ja) * 2014-03-25 2015-10-22 アイホン株式会社 インターホン装置

Also Published As

Publication number Publication date
JP4910584B2 (ja) 2012-04-04

Similar Documents

Publication Publication Date Title
JP4910584B2 (ja) 撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体
JP4761146B2 (ja) 撮像装置及びそのプログラム
JP4288612B2 (ja) 画像処理装置および方法、並びにプログラム
JP4884417B2 (ja) 携帯型電子装置及びその制御方法
KR101793183B1 (ko) 촬영 파라미터 설정 방법, 장치, 프로그램 및 기록매체
JPWO2009013850A1 (ja) 撮像装置
JP2007202016A (ja) 撮影装置、表示制御方法、並びにプログラム
KR20110004085A (ko) 촬영 장치 및 촬영 방법
JP2009171220A (ja) 撮像装置及びその制御方法
CN115134505B (zh) 预览画面生成方法及装置、电子设备、存储介质
JP2010287919A (ja) 撮像装置
JP2010252074A (ja) デジタルカメラ及びその制御方法
US20130167089A1 (en) Electronic device
JP2008017513A (ja) モニタ付きカメラ
JP5914829B2 (ja) 撮像装置
JP4652243B2 (ja) 撮像装置及びその制御方法
US11445116B2 (en) Imaging apparatus and display control method
JP2012049841A (ja) 撮像装置およびプログラム
JP4828486B2 (ja) デジタルカメラ、撮影方法及び撮影プログラム
JP6688086B2 (ja) 撮像装置およびその制御方法ならびにプログラム
JP2005091659A (ja) カメラ装置、カメラ制御プログラム及びカメラシステム
JP2007233135A (ja) 撮影装置及びその操作子設定方法
JP2010288030A (ja) 撮像装置及び撮像方法
JP3923056B2 (ja) カメラ付き携帯電話
JP2013179565A (ja) 撮像装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090812

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091211

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091215

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100407

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111220

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120102

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees