JP2004219520A - デジタルカメラ機能付き光学機器およびその記録媒体 - Google Patents

デジタルカメラ機能付き光学機器およびその記録媒体 Download PDF

Info

Publication number
JP2004219520A
JP2004219520A JP2003004085A JP2003004085A JP2004219520A JP 2004219520 A JP2004219520 A JP 2004219520A JP 2003004085 A JP2003004085 A JP 2003004085A JP 2003004085 A JP2003004085 A JP 2003004085A JP 2004219520 A JP2004219520 A JP 2004219520A
Authority
JP
Japan
Prior art keywords
image
information
digital camera
camera function
optical device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003004085A
Other languages
English (en)
Other versions
JP4037274B2 (ja
Inventor
Toshihiro Nakayama
利宏 中山
Yukio Kubota
幸雄 久保田
Atsumi Kaneko
敦美 金子
Shigeru Wakashiro
滋 若代
Masaya Yamamoto
昌哉 山本
Toshio Masuda
俊生 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Pentax Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pentax Corp filed Critical Pentax Corp
Priority to JP2003004085A priority Critical patent/JP4037274B2/ja
Publication of JP2004219520A publication Critical patent/JP2004219520A/ja
Application granted granted Critical
Publication of JP4037274B2 publication Critical patent/JP4037274B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Telescopes (AREA)
  • Camera Data Copying Or Recording (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】デジタルカメラ機能を備えた光学機器において、鳥などの観察対象に関わる情報を簡便に検索する。
【解決手段】デジタルカメラで鳥の画像を撮影する(S100)。設定されている場所情報を用いて、その場所に生息する鳥のみを検索する(S101)。カレンダー回路から日時情報を読み取り、その季節にその地域に生息する鳥のみを検索する(S102)。画像処理により、撮影した画像から鳥に対応する領域を抽出し、撮影された鳥の色や形状を抽出する(S103)。光学機器の像倍率データから撮影された鳥の大きさを把握し、大きさが合致する鳥に検索対象を絞り込む(S104)。撮影された鳥の色情報および形状情報を用いて、候補となる鳥の種類を絞り込む(S、105、S106)。絞り込まれた鳥に関する図鑑データを取得するとともに画像表示する(S107、S108)。
【選択図】 図3

Description

【0001】
【発明の属する技術分野】
本発明は、デジタルカメラ等のように、デジタルの画像信号を取り扱うことができる光学機器に関する。
【0002】
【従来の技術】
デジタルの画像信号を取り扱う光学機器として、デジタルカメラや、望遠鏡や双眼鏡にデジタルカメラ機能が搭載されたものが知られている。例えば、デジタルカメラ機能付き双眼鏡では、接眼レンズを通して複眼視される映像と略同一の画像を液晶モニタに表示できるとともにデジタル画像として記録可能である。
【0003】
また、望遠鏡や双眼鏡は、バードウォッチングや、天文観察、スポーツ観戦などに用いられることが多く、バードウォッチングや、天文観察、スポーツ観戦では、鳥、星座、選手といった特定の対象が観察される。このとき観察者は、観察対象を漠然と観察するのではなく、観察対象の種類や個別の名称などを同定することが一般的である。例えばバードウォッチングでは鳥の種類であり、天文観察では星座名、スポーツ観戦ではチーム名や選手の名前である。
【0004】
【発明が解決しようとする課題】
本発明は、観察対象に関わる情報を簡便に検索可能なデジタルカメラ機能を備えた光学機器を得ることを目的としている。
【0005】
【課題を解決するための手段】
本発明のデジタルカメラ機能付き光学機器は、撮像手段に光学像を結像させるための撮影用光学系と、撮像手段により撮影された画像の中から、観察対象物に対応する画像領域を抽出するための個体領域抽出手段と、画像領域から観察対象物の特徴量を抽出する特徴量抽出手段と、観察対象物を含むカテゴリを複数の下位概念に類別し、この下位概念に関わる属性を保持した属性情報保持手段と、上記特徴量とこれに対応する上記属性とを比較することにより、観察対象物が属する可能性がある下位概念を絞り込む比較判定手段とを備えたことを特徴としている。
【0006】
光学機器を用いて観察をしながら観察対象物の同定や絞り込みを簡単に行なえるようにするには、光学機器は、上記属性を含む下位概念に関わる情報を表示可能な画像表示手段を備えることが好ましく、比較判定手段により絞り込まれた下位概念に対応するこれらの情報がこの画像表示手段に表示できることが好ましい。
【0007】
また、このとき比較判定手段により絞り込まれた下位概念に対応する情報と撮像手段により撮影された画像とを切り替えて画像表示手段に表示するための操作部を備えるこが好ましい。すなわち、このような構成によれば、使用者は操作部を操作することにより、撮影画像と図鑑データ等の下位概念に対応する情報とを交互に切り替えて画像表示させることができ、両者を容易に見比べることができる。
【0008】
より正確かつ簡便に観察対象物の絞り込みや同定を行なうには、光学機器は、撮影画像の像倍率を算出する像倍率算出手段を備える一方、属性は下位概念の大きさに関する情報を含んでいることが好ましく、比較判定手段における絞り込みにおいて、撮影された観察対象物の大きさと、下位概念の大きさに関する情報とが像倍率を介して比較されることが好ましい。このとき、像倍率算出手段は、例えば撮影用光学系のレンズの繰り出し量から算出される。
【0009】
観察対象となるカテゴリに含まれる下位概念が、他の下位概念との比較において、季節や日時等の時間的な要素に特徴を持つ場合には、光学機器は、設定された日時情報を保持更新するカレンダー機能を備えることが好ましく、このとき上記下位概念の属性は日時に関わる情報を含み、比較判定手段による下位概念の絞り込みにおいて、カレンダー機能からの日時情報と各下位概念の属性に含まれる日時に関わる情報とが比較判定されることが好ましい。
【0010】
観察対象となるカテゴリに含まれる下位概念が、他の下位概念との比較において、場所的、地域的な要素に特徴を持つ場合には、光学機器は、観察対象物の撮影を行なう場所に関わる情報を保持する場所情報保持手段を備えることが好ましい。このとき属性は場所に関わる情報を含み、比較判定手段による下位概念の絞り込みにおいて、場所情報保持手段に保持された場所情報と各下位概念の属性に含まれる場所に関わる情報とが比較判定されることが好ましい。
【0011】
観察対象物に対応する画像領域を簡単に撮影画像から抽出する方法として、撮像手段は、例えば観察対象物の時系的に連続した複数枚の画像を撮影し、個体領域抽出手段は撮影された複数枚の画像間の差分データを用いて行われる。このとき、複数枚の画像は例えば3枚の画像からなる。
【0012】
観察対象となるカテゴリに含まれる下位概念が、他の下位概念との比較において、色に特徴を持つ場合には、特徴量抽出手段により抽出された特徴量が観察対象物の色情報を含むとともに、下位概念の属性が色情報を含み、比較判定手段による下位概念の絞り込みにおいて、特徴量抽出手段により抽出された観察対象物の色情報と、各下位概念の属性に含まれる色情報とが比較判定されることが好ましい。このとき、特徴量抽出手段による色情報の抽出は、例えば画像領域の色相に関するヒストグラムに基づいて行われる。また観察対象物に対する色情報および下位概念の属性に含まれる色情報は、例えば色相角度値として表わされる。
【0013】
観察対象となるカテゴリに含まれる下位概念が、他の下位概念との比較において、その形状に特徴を持つ場合には、下位概念にとって特徴的な輪郭形状が下位概念の上記属性に含まれ、比較判定手段における下位概念の絞り込みにおいて、個体領域抽出手段により抽出された観察対象物に対応する画像領域の形状と、輪郭形状とが比較判定されることが好ましい。
【0014】
属性情報保持手段は、デジタルカメラ機能付き光学機器に着脱自在な記録媒体からなることが好ましい。これにより、観察対象となるカテゴリ毎に記録媒体を用意し、目的とするカテゴリに対応する記録媒体をその都度光学機器に装着するこが可能となる。
【0015】
また、本発明のコンピュータにより読み取り可能な記録媒体は、上記属性情報保持手段を有するとともに、上記デジタル機能付き光学機器に着脱自在に装着されることを特徴としている。
【0016】
このとき記録媒体は、更に個体領域抽出手段、特徴量抽出手段、比較判定手段を実行するためのプログラムを記録している。これにより、光学機器本体に常駐されるプログラムの大きさを小さくできるとともに、記録媒体に保持された属性情報等のデータに合わせたプログラムを記録媒体毎に記録しておくことができ、効率的である。
【0017】
本発明のプログラムはコンピュータを、撮影された画像の中から観察対象物に対応する画像領域を抽出する個体領域抽出手段として、画像領域から観察対象物の特徴量を抽出する特徴量抽出手段として、特徴量と観察対象物を含むカテゴリの各下位概念の特徴量に対応する属性とを比較することにより観察対象物が属する可能性がある下位概念を絞り込む比較判定手段として、機能させたことを特徴としている。
【0018】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
図1は、本発明の第1実施形態であるデジタルカメラ機能付き双眼鏡の外観を接眼レンズ側(背面側)から見たときの斜視図である。
【0019】
双眼鏡10の背面には、一対の接眼部11R、11Lが設けられ、その上面の略中央には、LCD(liquid crystal display)などの画像表示装置12が設けられ、画像表示装置12の後方(図面1において、双眼鏡10から観察体に向かう方向を前方、接眼部に向かう方向を後方とする)には合焦のための転輪13が設けられる。画像表示装置12は、パネル状に成形されており、上面と正面の稜線に沿った軸を回転軸に開閉自在である。すなわち、画像表示装置12が開かれると、画面は背面方向に向けて略直立される。また、画像表示装置12が閉じられると、画面は双眼鏡10の上面に臥せられる。なお、撮影用の光学系(図示せず)の合焦動作は、接眼部11L、11Rを含む双眼鏡用光学系の合焦動作に連動しており、転輪13を用いて行なわれる。
【0020】
双眼鏡10の上面右手前側にはレリーズボタン14が設けられる。レリーズボタン14の前方には、メニューキー15、ディスプレイボタン16、及び上下左右方向に対応する4つの矢印キー17U、17D、17L、17Rと、これらに囲まれるOKキー18とが設けられる。また、双眼鏡10の側面には、メモリカード等の記録媒体を挿入するためのカードスロット19が設けられる。
【0021】
図2に、図1のデジタル機能付き双眼鏡10の電気的な構成を示すブロック図を示す。
【0022】
撮影用光学系20を介して入射された被写体像は、撮像ブロック21内のCCDなどの撮像素子で結像され、画像信号として検出される。撮像ブロック21では、検出された画像信号に対してCCDプロセス処理などの所定の信号処理が施される。その後画像信号はキャプチャ回路22を介してプロセッサ23に送られる。
【0023】
キャプチャ回路22は、撮像ブロック21からの画像信号(画像データ)をレリーズボタン14の操作に応じて一時的に保持するとともに必要に応じて間引き処理等を行ないプロセッサ23に出力する。例えば、撮像素子で撮像された画像を画像表示装置12に動画像として表示する場合には、間引きした画像信号を随時プロセッサ23に出力し、バスBSを介して画像表示装置12に動画として表示する。また通常の撮影動作においてレリーズボタン14が操作されると、例えば間引きを行っていない画像データをプロセッサ23に出力し、バスBSを介して作業用メモリ(WORK RAM)25に一時的に保存する。
【0024】
作業用メモリ25に保存された画像データは、プロセッサ23及びバスBSを介して画像表示装置12に静止画像として表示可能である。なお、撮像ブロック21、キャプチャ回路22は、タイミングジェネレータ24からの同期信号により制御され、タイミングジェネレータ24は、プロセッサ23により制御される。
【0025】
プロセッサ23は、双眼鏡10における撮影制御や画像データの生成、記録、表示といった動作全体を統括的に制御するマイクロコンピュータである。プロセッサ23は、キャプチャ回路22から入力される間引された画像信号から、30フレーム/秒の画像データを生成し、バスBSを介して画像表示装置12へ出力する。すなわち、撮像ブロック21が撮影している画像はリアルタイムで画像表示装置12に30フレーム/秒の動画像として表示される(以下、この動作をライブビュー、またこの動作により生成される動画像をライブビュー動画像という)。
【0026】
また、プロセッサ23には、バスBSを介してフラッシュメモリ(FLASH RAM)26、ROM27、レリーズボタン14の押圧操作でオンするレリーズスイッチの他、メニューキー15、ディスプレイボタン16、矢印キー17U、17D、17L、17Rと、OKキー18の各ボタンの押圧操作によりそれぞれオンする各種スイッチを含むスイッチ群28が接続されるとともに、I/Oコントロール回路29、カレンダー回路30、繰り出し量検出センサ32が接続される。なお、繰り出し量検出センサ32は、転輪13の回転に連動して繰り出される撮影用光学系20の所定位置(無限遠合焦位置)からの繰り出し量を検出するためのセンサである。
【0027】
ROM27には、プロセッサ23の動作を制御するためのシステムプログラムが記録されており、起動時にプロセッサ23のシステム領域に読込まれ実行される。一方、フラッシュメモリ26には、後述する場所情報が格納され、必要に応じてプロセッサ23に読み出される。また、I/Oコントロール回路29には、記録媒体制御回路31が接続され、記録媒体制御回路31には、ICメモリカード等の記録媒体Mが着脱自在に装着される記録媒体装着部31aが設けられる。記録媒体制御回路31は、記録媒体装着部31aに装着された記録媒体Mの記憶容量やファイル階層、現在の空き領域を認識するとともに、記録媒体Mへのデータの書き込みや、記録媒体Mからのデータの読み出しを行なう。例えば記録媒体Mの空き領域には、撮影され、キャプチャ回路22に一時的に保存された画像データがプロセッサ23、I/Oコントロール回路29、記録媒体制御回路31を介して書き込まれる。また、例えば記録媒体Mに記録されている画像データは、記録媒体制御回路31、I/Oコントロール回路29、プロセッサ23、バスBSを介して作業用メモリ25に転送することが可能である。カレンダー回路30は、カレンダー機能をプロセッサ23に提供する回路であり、図示しないクロック信号に基づいて時刻及び年月日、曜日を算出するとともに必要に応じてプロセッサ23に日時情報として出力する。なお、日時情報の初期設定は、後述するようにスイッチ群28を用いて行われる。
【0028】
次に図2、図3を参照して、本発明の一実施形態であるデジタルカメラ機能付き双眼鏡10に適用された自動検索処理機能の概念について大まかに説明する。なお、本実施形態では、双眼鏡10を、観察体の種類を検索して特定したいという要望が最も多いと思われるバードウォッチングに用いた場合を例に説明を行なうが、鳥類以外の観察対象物にも適用できることは言うまでもない。例えば、鳥類以外の動物の観察や、スポーツ観戦、乗物、天体観測等にも応用できる。
【0029】
本実施形態のデジタルカメラ機能付き双眼鏡10は、あるカテゴリに属する観察対象物をそのカテゴリの中の下位概念として特定する(あるいは絞り込む)ための自動検索処理機能を備える。また、双眼鏡10は、特定された(あるいは絞り込まれた)下位概念に関連する情報を表示する機能を備える。
【0030】
バードウォッチングの場合には、観察の対象となるのは「鳥類」というカテゴリであり、鳥の種名や科目等が下位概念に対応する。本実施形態のデジタルカメラ機能付き双眼鏡10では、撮影された個体に関わる様々な情報から対応する鳥の種名(下位概念)を検索・同定し、同定された鳥の種名や分布、生態などを含む情報(図鑑データ)を画像表示装置に表示して使用者に報知する。なお、第1実施形態において、自動検索処理機能に関わるプログラムはROM27に記録され、検索処理に関わる各データは例えばICメモリカードMに記録される。
【0031】
図3は、双眼鏡10の自動検索処理機能の概略を示したフローチャートである。まず、ステップS100で、対象となる撮影画像が入力され、ステップS101において、場所情報による絞り込みが行なわれる。場所情報は例えばユーザによりスイッチ群28(例えばスイッチ15〜18等)を用いて予め入力されている情報であり、例えば「栃木県日光市」などの県名及び地名情報である。また、場所情報は、緯度経度のような位置情報であってもよいし、「関東地方、西日本」等の地域を示す地域情報や、「東アジア、東南アジア、北米、シベリア」等のように、更に広域的な地域を示す地域情報であってもよい。また、場所情報として「山、平野、湖沼、川、海、里」等の地理的な環境を示す情報を用いてもよい。またこれらを複合したものであってもよい。ステップS101の絞り込みにより、設定された場所情報に適合する鳥のみが検索候補として抽出される。
【0032】
次に、ステップS102においてカレンダー回路30から読み出された日時情報に基づいて、ステップS101で絞り込まれた検索候補の中から更に絞り込みが行われる。日時情報は例えば「5月5日」などの月日の情報である。これにより、「栃木県日光市」近辺で「5月5日」前後に観察される鳥に検索候補が絞られる。なお、日時情報は、四季であってもよく、観察対象物によっては時刻であってもよい。これらの場所情報及び日時情報は、双眼鏡10に搭載するメモリ容量と動作制御を担うプロセッサの処理能力に応じて適宜選択すればよい。また場所情報及び日時情報の設定方法については後述する。
【0033】
ステップS103では、後に詳述するように入力された画像(撮影された鳥の画像)に対して画像処理(後述)を施し、観察対象物である鳥の色情報と形状情報が抽出される。ステップS104では、ステップS103において抽出された形状情報と撮影用光学系20の像倍率データとから撮影された観察対象物の大きさに関わる情報が算出され、算出された観察対象物の大きさの情報を用いて絞り込みが行なわれる。すなわち、ステップS102において日時情報で絞り込まれた検索候補の中から、更に観察対象物の大きさに基づいて検索候補が絞り込まれる。例えば、抽出された観察対象物の輪郭形状のフィレ長(後述)と、検索候補とされている鳥の体長とを像倍率データを介して比較し、大きさが所定の範囲で一致するものに検索候補を絞り込む。
【0034】
ステップS105では、ステップS103で抽出された観察対象物の色情報を用いてステップS104で絞り込まれた検索候補から更に絞り込みが行なわれる。すなわち、撮影された鳥に特徴的な色彩と、検索候補とされている鳥の特徴的な色彩とが比較されて絞り込みが行われる。
【0035】
また、ステップS106では、ステップS103で抽出された形状情報を用いて、ステップS105で絞り込まれた検索候補に対して更に絞り込みが行なわれる。すなわち、撮影された鳥の形状情報(シルエット)と、検索候補に挙げられている鳥の形状情報とが、パターンマッチング等の方法により比較され検索候補が絞られる。
【0036】
以上、ステップS101〜ステップS106により各条件(場所、日時、大きさ、色、形状)による自動絞り込み処理は終了し、上記各条件に該当する鳥の種類すなわち種名(下位概念)が最終的な検索結果として得られる。ステップS107では、例えば上記検索結果に該当するデータが、順次ユーザの操作に応じて図鑑データから読み出され、画像表示装置12に表示される。この動作は例えば観察対象物に対応するデータが表示されるまでユーザにより繰り返される。なお、ステップS108は、ステップS107の操作により観察対象物に対応するデータが表示された最終状態を示す。また、ステップS106の絞り込みにより該当するデータが存在せず、検索結果が0の場合には、ステップS109に示すように該当種なしとしてこの自動検索処理を終了する。
【0037】
図4は、第1実施形態の自動検索処理に利用され、着脱自在な図鑑用記録媒体であるICメモリカードM等の記録媒体の内容を概念的に表わす図である。ICメモリカードMには、例えば識別ファイル、インデックスファイル、キーファイル、図鑑データファイルが格納されている。
【0038】
識別ファイルは、スロット19(記録媒体装着部31a)に装着されたICメモリカードMが図鑑用記録媒体であることを認識するためのファイルであり、プロセッサ23は識別ファイルがICメモリカードM内に存在すると、識別ファイル内の識別情報を読み出す。識別情報が図鑑識別情報である場合には、双眼鏡10のICメモリカードMが図鑑用記録媒体であると判定する。
【0039】
インデックスファイルには、検索の対象となり同定に用いられる下位概念(すなわち個体名や種名)に対応するキーファイルおよび図鑑データファイルの名前が記録されている。本実施形態の場合は、鳥が観察対象なので、図5に示されるように鳥の種名に対応したキーファイル名と図鑑ファイル名とが記録される。例えばインデックス番号1の種名は「キビタキ」であり、そのキーファイル名は「aaa1」、図鑑ファイル名は「bbb1」である。また、例えばインデックス番号2、3に対応する種名はそれぞれ「ゴジュウカラ」、「コガラ」であり、それぞれのキーファイル名は「aaa2」、「aaa3」、図鑑ファイル名は「bbb2」、「bbb3」である。
【0040】
キーファイルには、自動検索処理において検索対象となるキーワードや、数値データ、画像データ等のキーデータが記録されている。これらのキーデータは、図鑑ファイルの中の個々の鳥(下位概念)に対応するデータの中から検索処理に用いられるデータを抽出したものである。図6、図7に「キビタキ」に対応するキーファイル「aaa1」に格納されたキーデータの一例と、図鑑ファイル「bbb1」に格納された図鑑データの一例を模式的な概念図として示す。
【0041】
図6に示されるように、キーファイルには、「キビタキ」の「体長」、「色彩」、「分布」、「季節」や、キビタキのシルエット(パターンデータ)、および後述する像倍率テーブルがキーデータとして格納されている。また、これらのキーデータは、図7に示すように「キビタキ」に対応する図鑑データの一部でもある。なお、図鑑データには、キーデータの他にも、各鳥(下位概念)に対応するサンプル画像データなど、より詳細な情報が収められている。すなわち、キーファイルに格納された各種データは専ら検索処理にて利用される一方、図鑑データは主に画像表示装置12に表示する表示データとして利用される。
【0042】
図8は、本実施形態において実行される自動検索処理のプログラムのフローチャートである。図2、図8、図9を参照して、本実施形態の自動検索処理の処理手順について説明する。
【0043】
まず、ステップ200では、後述する初期化処理が行なわれる。その後ステップS201において、撮影用光学系20を介して撮像された画像に基づいて随時作成されるライブビュー動画像(間引き処理後の画像)からサムネール画像が作成され、ステップS202において画像データft−1(図9(a))として作業用メモリ25に保存される。すなわち、30フレーム/秒で構成されるライブビュー動画像の1フレーム分の画像がサムネール画像として作業用メモリ25に保存される。また、同時にライブビュー動画像は画像表示装置12に表示される。
【0044】
ステップS203では、レリーズスイッチがオンしたか否かが判定される。すなわち、レリーズボタン14が押されたか否かが判定される。レリーズスイッチレリーズボタン14が押されず、レリーズスイッチがオフ状態と判定されると、処理はステップS201に戻り、新たなサムネール画像が作成され、ステップS202において再び画像データft−1として上書き保存される。一方、レリーズボタン14が押され、レリーズスイッチオンと判定されると、ステップS204において間引きを行なっていない画像データが静止画像データFtとして作業用メモリ25に保存される。すなわち、レリーズボタン14が押されたときの静止画が作業用メモリ25に保存される。ステップS205では、静止画像データFtに対して間引き処理を施してサムネール画像が作成され、作成されたサムネール画像はステップS206において画像データf(図9(b))として作業用メモリ25に保存される。
【0045】
ステップS207では、再び撮影用光学系20を介して随時撮像されているライブ画像からサムネール画像が作成される。作成されたサムネール画像は、ステップS208において画像データft+1(図9(c))として作業用メモリ25に保存される。すなわち、作業用メモリ25には、静止画像データFtが撮影される直前にライブビューとして入力された画像のサムネール画像データft−1(図9(a))と、静止画像データFtから作成されたサムネール画像データf(図9(b))と、静止画像データFtが撮影された直後にライブビューとして入力された画像のサムネール画像データft+1(図9(c))とが保存される。
【0046】
その後ステップS209において、時系列で撮像、生成された3つの画像データft−1、f、ft+1を用いて後述する個体領域抽出処理が行なわれ、画像データの中から目的的とする観察対象物である鳥等の個体に対応する画像領域が画像データfから抽出される。ステップS210では、抽出された画像データから更に撮影された個体の大きさや色が抽出される。ステップS211は比較判定処理(後述)であり、ステップS210で抽出された大きさや色情報が各キーファイルのキーデータと比較判定され、検索候補の絞り込みが行われる。ステップS212では、絞り込まれた検索結果に基づいて対応する図鑑データを表示する図鑑表示処理(後述)が実行される。最後にステップS213において電源がOFFされているか否かが判定され、電源がOFF状態であると判定された場合、この自動検索処理動作のプログラムは終了する。一方、電源がOFF状態でない、すなわちON状態であると判定されたときにはステップS201に処理は戻り、同様の処理がステップS213において電源がOFF状態であると判定されるまで繰り返される。
【0047】
次に、図2、図10を参照して、図8のステップS200において実行される初期化処理の詳細について説明する。図10は、第1実施形態の自動検索処理における初期化処理サブルーチンのフローチャートである。
【0048】
まずステップS300においてカメラの電源がON状態に設定され(スリープ状態が解除される)、ステップS301において、ICメモリカードである記録媒体Mに図鑑識別情報があるか否かが判定される。すなわち、プロセッサ23は、I/Oコントロール回路29および記録媒体制御回路31を介して外部記憶であるICメモリカードMから識別ファイルを見つけ、このファイルが識別情報として図鑑識別情報を有するか否かが判定される。識別ファイルが図鑑識別情報をもっていないと判定された場合、処理はステップS315に移り図鑑機能がOFF状態に設定され、この自動検索処理は終了する。すなわち、通常のデジタルカメラとしての撮影モードに移行する。一方、識別ファイルが図鑑識別情報を有すると判定されると、ステップS302において、図鑑機能がON状態に設定される。
【0049】
ステップS303では、日時や場所情報を設定するための処理である各種情報設定処理(後述)が実行され、カレンダー回路30の日時情報とフラッシュラム26の場所情報が設定される。また、ステップS304では、フラッシュメモリ26から設定された場所情報がプロセッサ23に読込まれる。
【0050】
次にステップS305〜ステップS313において、図鑑ファイルに登録されている全種名に対して、フラッシュメモリ26から読み出した場所情報と、カレンダー回路30の日時情報とを条件とした絞り込み検索が行われる。
【0051】
まず、ステップS305では、場所情報および日時情報を条件とした絞り込みによって残った候補を配列するための配列変数List[J]の初期化が行われるとともに、配列変数List[J]の要素番号(添え字)Jが0にリセットされる。例えば図鑑ファイルに登録された鳥の種名の各々には通し番号(インデックス番号)がインデックスとして附されており、配列変数List[J]には、検索条件に該当したインデックス番号が格納される。続いてステップS306において、インデックスファイル(図5参照)の読み込みが行われるとともに、インデックス番号を表わす変数Iが1にリセットされる。
【0052】
ステップS307では、現在のインデックス番号Iの値がインデックス番号の最大値、すなわちインデックスの総数の値以下か否かが判定される。インデックス番号Iがインデックス番号の最大値よりも大きいと判定されたときには初期化処理のサブルーチンは終了し、図8のステップS201に処理は移行する。一方、ステップS307において、現在のインデックス番号Iの値がインデックスの総数の値以下(インデックス番号の最大値以下)と判定されたときには、ステップS308においてインデックス番号Iに対応するキーファイル名を取得する。例えばインデックス番号I=1のとき、図5の例では、「キビタキ」に対応するキーファイル名「aaa1」が取得される。
【0053】
ステップS309では、現在のインデックス番号Iに対応するキーファイルのキーデータが読み込まれる。例えば、本プログラムが起動された直後には、インデックス番号I=1に対応するファイル「aaa1」に保持されたキーデータ(図6参照)が読み込まれる。キーデータは、前述したように例えば種名、体長、色彩、分布、季節、画像パターン、像倍率テーブル等である。
【0054】
ステップS310では、フラッシュメモリ26から読み出された場所情報が、現在のインデックス番号Iに対応するキーファイルに格納されている分布情報と符合するか否かが判定される。すなわち、ユーザが設定した場所情報が、インデックス番号Iに対応したキーデータの分布領域に含まれるか否かが判定される。例えば場所情報として「栃木県日光市」が設定され、参照されるキーファイルが「キビタキ」に対応する「aaa1」の場合、キーデータの分布の項目は「全国」なので、場所情報が一致すると判定される。場所情報が一致していると判定された場合には、処理はステップS311に進む。一方、場所情報が一致しないと判定された場合には、処理はステップS314を介してステップS307に戻る。すなわち、ステップS314においてインデックス番号Iが1インクリメントされ、戻った先のステップS307以下の処理では1インクリメントされたインデックス番号Iに対して同様の処理が行われる。
【0055】
ステップS311では、カレンダー回路30から読み出された日時情報が現在のインデックス番号Iに対応するキーファイルに格納されている日時情報と符合するか否かが判定される。すなわち、カレンダーの日時が、インデックス番号Iに対応するキーデータの季節に含まれるか否かが判定される。例えばカレンダー回路30から取得される日時が「5月5日」で、参照されるキーファイルが「キビタキ」に対応する「aaa1」の場合、キーデータの季節の項目は4月〜10月なので、日時情報が一致すると判定される。日時情報が一致していると判定された場合には、処理はステップS312に進む。一方、日時情報が一致しないと判定された場合には、処理はステップS314を介してステップS307に戻る。すなわち、ステップS314においてインデックス番号Iがインクリメントされ、戻った先のステップS307以下の処理ではインクリメントされたインデックス番号Iに対して同様の処理が行われる。
【0056】
ステップS312では、現在のインデックス番号Iが配列要素List[J]に格納され、ステップS313では配列変数List[J]の要素番号Jが1インクリメントされる。その後処理はステップS314でインデックス番号IがインクリメントされてステップS307に戻り、以下同様の処理がインクリメントされたI、Jの下で行われる。
【0057】
以上の処理はステップS307において、インデックス番号Iがインデックスの総数を越えるまで行なわれるので、全てインデックス番号に対して行われる。以上のように、ステップS307〜ステップS314の処理により、キーデータの「分布」および「季節」の項目の双方が、設定された「場所情報」および「日時情報」に一致するインデックス番号のみが配列変数List[J]に格納され、検索対象は「場所情報」および「日時情報」により絞り込まれる。例えばインデックス番号I=1、4、5に対応するキーデータの「分布」および「季節」の項目が、現在設定されている「場所情報」および「日時情報」と各々一致し、インデックス番号I=2、3の「分布」または「季節」の項目の何れかが現在設定されている「場所情報」および「日時情報」と一致しない場合には、List[0]、List[1]、List[2]の各配列要素にはそれぞれ1、4、5の値が格納される。
【0058】
次に図11を参照して、図10のステップS303において実行される各種情報設定処理について説明する。
【0059】
ステップS400では、現在設定されている日時情報および場所情報を変更するか否かを確認するための画面が画像表示装置12に表示される。すなわち現在設定されている日時情報および場所情報をそのまま用いる場合にはOKキー18(図1参照)を押し、変更する場合はメニューキー15を押すように指示するメッセージが表示される。そしてステップS401、S402においてOKキー18およびメニューキー15が押されたか否かがそれぞれ判定される。
【0060】
ステップS401においてOKキー18が押されたと判定された場合には、本各種情報設定処理のサブルーチンは直ちに終了し、処理は図10のステップS304に移行する。OKキー18が押されていないと判定された場合には、ステップS402においてメニューキー15が押されたか否かが判定される。メニューキー15が押されていないと判定されると処理はステップS400に戻り同様の処理が繰り返される。一方ステップS402において、メニューキー15が押されたと判定された場合には、ステップS403に進む。
【0061】
ステップS403〜ステップS407では、日時情報および場所情報における各項目の具体的な設定処理が行われる。まず、ステップS403では現在設定されている日時情報および場所情報が例えば上下二段に並んで画像表示装置12に表示される。このとき、日時情報および場所情報は、それぞれカレンダー回路30およびフラッシュメモリ26から読み出されてプロセッサ23内の内部RAM(図示せず)に一時的に保持され、画像表示装置12には、この内部RAMの情報が表示される。変更対象として日時情報、場所情報の何れを選択するかは矢印キーの中の上下キー17U、17Dを用いて行なわれる。日時情報または場所情報の中の1つが選択された状態で矢印キーの中の左右キー17L、17Rが押されると、選択された情報項目の中の各設定項目に移行する。例えば日時情報には年/月/日/時/分の各設定項目があり、日時情報が選択された状態で、右キー17Rが操作されると、カーソルが「年」の設定項目に移動する。更に右キー17Rが操作されると順次「月」、「日」、「時」、「分」の順でカーソルが移動し、設定される項目が変更される。また、同様に左キー17Lが操作されると、右キー17Rとは逆の方向にカーソルが移動する。なお、カーソルが設定項目(年月日等)にある状態で上下キー17U、17Dが操作されると、カーソルが位置する項目の内容が順次変更される。また、ステップS403以降においてメニューキー15が押されると、本各種情報設定処理のサブルーチンは終了し、処理は図10のステップS304に移行する。また、設定内容を変更した後OKキーが押されると処理はステップS408に移行する。
【0062】
なお、どの矢印キー17U、17D、17R、17Lが操作されたかの判定はステップS404において行なわれる。ステップS404において、何れの矢印キーも操作されていないと判定された場合には、ステップS407においてメニューキー15が押されたか否かが判定される。ステップS407においてメニューキー15が押されていないと判定された場合にはステップS404に戻り同様の処理が繰り返される。一方、メニューキー15が押されたと判定された場合には、この各種情報設定処理のサブルーチンは終了する。ステップS404において何れかの矢印キー17U、17D、17R、17Lが操作されたと判定された場合には、ステップS405において、そのときのカーソル位置および操作された矢印キーに対応して内部RAM内の各設定項目の内容が変更されるか、あるいは選択される情報項目(日時情報、場所情報)が変更される。また同時に画像表示装置12の画面表示が変更内容に対応して書き換えられる。
【0063】
一方、OKキー18が押されたか否かの判定はステップS406において行なわれ、OKキー18が押されていないと判定された場合には、処理はステップS403に戻り同様の処理を繰り返す。ステップS406においてOKキー18が押されたと判定された場合には、ステップS408に処理が進む。
【0064】
ステップS408では、内部RAMに保持された場所情報の各設定項目の内容をフラッシュメモリ26に記録するとともに、日時情報の各設定項目をカレンダー回路30に出力する。以上により、この各種情報設定処理のサブルーチンは終了する。
【0065】
次に図12、図13を参照して図8のステップS209において実行される個体領域抽出処理について説明する。図12は、個体領域抽出処理を行なうサブルーチンのフローチャートであり、図13は、個体領域抽出処理の概念を模式的に表わした図である。
【0066】
ステップ500では、図8のステップS202で得られた画像データft−1とステップS206で得られた画像データf同士の各画素データの差分の絶対値を取ることにより差分画像データf1が作成される。続いて、ステップS501では画像データfと、ステップS208で得られた画像データft+1同士の各画素データの差分の絶対値を取ることにより差分画像データf2が作成される。画像データft−1、ft+1は、静止画像Ftを撮影した直前および直後に入力された画像から作成されるので、画像データft−1が取得されてから画像データft+1が取得されるまでの時間は極めて短く、画像データft−1、f、ft+1の間において静止している背景の画像は略変わらない。これに対し観察対象物である鳥は画像データft−1、f、ft+1の各々が取得される間に移動しているため、各画像においてその位置または向きは各々異なる。従って、ステップS500、S501のように画像データft−1、fの間の差分および画像データf、ft+1の間の差分をとると、図13のように、得られた差分画像データf1、f2からは背景に対応する画素の値が0となり移動した鳥に対応する画素の値のみが残る。
【0067】
次にステップS502およびステップS503において、差分画像データf1、f2の各々に対して二値化処理が施され、二値化差分画像データf1b、f2bが作成される。ステップS504では、二値化差分画像データf1b、f2bの間において論理積(AND)がとられ二値化された個体の抽出画像である二値化抽出画像データfb’が作成される。すなわち、二値化差分画像データf1bには、画像データft−1に写った鳥のシルエットと画像データfに写った鳥のシルエットが合成されており、二値化差分画像データf2bには画像データfに写った鳥のシルエットと画像データft+1に写った鳥のシルエットが合成されているため、これらの画像データの論理積を取ると、画像データfに写った鳥のシルエットのみが抽出される。
【0068】
ステップS504において作成された二値化抽出画像データfb’は、ステップS505において、ステップS204で得られた静止画像データFtと同じ大きさに拡大されマスク画像データfbとされる。ステップS506では、マスク画像データfbと静止画像データFtとの間の論理積が取られる。すなわち静止画像データFtの中の鳥に対応する画素のみが値を持ち背景に対応する画素の値は0となる。ステップS507では、静止画像データFtに対して、ステップS506において画素値が0となる領域の画素値を例えば空値(NULL)として、観察対象物である鳥の抽出画像fTを作成する。このような固体領域抽出処理によれば、動く観察対象の画像形状(観察対象の画像が占める画像領域)を比較的簡単な演算処理にて抽出することができる。また本実施形態においては、処理の迅速性と効率とを考慮して、時系列の3つの画像データft−1、f、ft+1を用いたが、これに限らず、3よりも多い複数の画像データを用いる構成としてもよい。以上によりこの個体領域抽出処理は終了する。
【0069】
次に、図14、15、16を参照して図8のステップS210で実行される特徴量抽出処理について説明する。図14は、本実施形態における特徴量抽出処理のフローチャートである。また、図15は観察対象物である鳥のフィレ長の概念を表わす図であり、図16は観察対象物である鳥に対応する画像領域におけるヒストグラムであり色相角度を横軸としている。
【0070】
まず、ステップS600ではマスク画像fbから観察対象物である鳥のフィレ長filX、filYが算出される。フィレ長filXは、鳥の輪郭を一対の垂直線で挟んだときの垂直線間の距離、すなわち横方向(X方向)の距離である。一方、フィレ長filYは、鳥の輪郭を一対の水平線で挟んだときの水平線間の距離、すなわち縦方向(Y方向)の距離である。
【0071】
ステップS601では、繰り出し量検出センサ32により検出された撮影用光学系20の無限遠合焦位置からの繰り出し量から実効倍率Mbが算出される。すなわち、撮影用光学系20の繰り出し量から被写体(観察対象物)までの距離Dを算出し、距離Dと撮影用光学系20の焦点距離fとから、例えばMb=f/Dとして実効倍率が算出される。なお、撮影用光学系20の繰り出し量と距離Dとの関係は、例えばROM27等にテーブルとして記録されており、同様に焦点距離fもROM27等に記録されている。
【0072】
ステップS602では、抽出画像fTの、観察対象物に対応する画素のRGBの値から各画素に対応する色相角度値が算出され、ステップS603において算出された各画素に対応した色相角度値に基づくヒストグラムfHistが作成される。ステップS604では、ヒストグラムfHistのピークにおける色相角度値(fHue1、fHue2など)が算出される。例えば図16では、最大のピークP1および2番目に大きいピークP2と、そのときの色相角度値fHue1、fHue2がそれぞれ示されている。以上により、本実施形態の特徴量算出処理は終了し、算出された実効像倍率データMb及び色相角度値は、次の処理、すなわち図8のステップS211の比較判定処理にて利用される。
【0073】
図17は、図8のステップS211において実行される比較判定処理のサブルーチンのフローチャートである。以下図17を参照して本実施形態の比較判定処理について説明する。
【0074】
比較判定処理では、図10の初期化処理(図8、ステップS200)において場所情報と日時情報により絞り込まれ、配列変数List[J]に格納されたインデックス番号Iの中から、図14の特徴量抽出処理(図8、ステップS210)において抽出された鳥(観察対象物)の色情報および大きさの情報と、図12の個体領域抽出処理(図8、ステップS209)で得られた鳥のシルエット情報から更に絞り込みが行われる。配列変数List[J]に格納されたインデックス番号Iに対して行なわれた絞り込み検索の結果は、配列変数ans[K]に格納される。すなわち、上記各条件に該当したインデックス番号Iが配列変数ans[K]に代入される。
【0075】
まず、ステップS700では、判定結果を格納するための配列変数ans[K]の初期化が行われ、ステップS701では、配列変数List[J]および配列変数ans[K]の添え字J、Kの初期化が行なわれ、それぞれが0にリセットされる。ステップS702では、配列要素List[J]の現在の添え字Jの値が、図10の初期化処理で得られた候補総数、すなわち初期化処理においてインデックス番号が格納された配列要素List[J]の中の最大の添え字に1を加えた値、よりも大きいか否かが判定される。現在の添え字Jの値が候補総数よりも大きいと判定された場合には、この比較判定処理は直ちに終了し、図8のステップS212に移る。一方J<候補総数であると判定された場合には、処理はステップS703に移る。
【0076】
ステップS703では、現在の添え字Jの値に対応する配列要素List[J]に格納されたインデックス番号が取得される。例えば図10の初期化処理の説明のときのように、List[0]、List[1]、List[2]の各配列要素に1、4、5のインデックス番号が格納されているとすると、J=0のときにはインデックス番号I=1が取得され、J=1のときにはインデックス番号I=4が、J=2のときにはインデックス番号I=5がそれぞれ取得される。なお、以下においては、初期化処理のときと同じ例を設定して説明を行なう。
【0077】
ステップS704では、図10に示された初期化処理のステップS309と同様に、ステップS703で取得されたインデックス番号Iに対応するキーファイルが読み込まれ、対応するキーファイルの中の「色彩」に対応するキーデータが、変数Hueに格納される。例えばJ=0のとき配列要素List[0]のインデックス番号I=1(キビタキ)である。「キビタキ」に対応するキーファイル「aaa1」のキーデータである「色彩」の項目には、例えば黄色に対応する色相角度値60が記録されている。したがって、J=0のとき、変数Hueには色相角度値60が代入される。
【0078】
ステップS705では、初めに現在の配列変数Listの添え字Jに対応するインデックス番号のキーファイルから像倍率テーブルが読み込まれる。像倍率テーブルは、図6に例示されるように、撮影用光学系20の様々な像倍率と、そのキーファイルに対応する鳥が、それぞれ像倍率で撮影された場合に得られるであろうシルエットの高さ(例えばピクセル値)との関係を示すものである。次に読み込まれた像倍率テーブルの中から図14の特徴量抽出処理のステップS601において算出された実効倍率Mbに近い像倍率が選択され、選択された像倍率に対応した高さが変数Hightに格納される。例えば、Mbが8.3であれば、キビタキの静止画像データにおけるシルエットの高さは略20ピクセルとなることが見込まれ、変数Hightには20の値が代入される。
【0079】
ステップS706では、撮影画像から得られた色情報が、キーデータから得られた色彩値と一致するか否かが判定される。すなわち、キーデータから得られた変数Hueの色相角度の値と、撮影画像から特徴量抽出処理を経て得られた変数fHue1の色相角度の値が比較される。この比較は例えば、変数Hueと変数fHue1との間の差の絶対値(|Hue−fHue1|)が所定の値(例えば15)よりも小さいか否かにより判定される。絶対値|Hue−fHue1|が所定値よりも小さくないと判定された場合には、色情報は一致していないと判定され、処理はステップS711において添え字Jを1インクリメントした後、ステップS702に戻り、次のJに対応する配列要素List[J]のインデックス番号に対応するキーファイルを用いた判定が同様に繰り返される。一方、絶対値|Hue−fHue1|が所定値よりも小さいと判定された場合には、色情報は一致すると判断され処理はステップS707に進む。
【0080】
ステップS707では、撮影画像から得られた鳥の大きさがキーデータから得られる鳥の大きさと一致するか否かが判定される。すなわち、マスク画像fb(図15参照)から得られたフィレ長filY(ピクセル数)の値と、ステップS705において得られたHightとの値が比較される。本実施形態では、例えばfilYとHightの大きさが90%内で一致するか否かが判定される。すなわちfilY/HightまたはHight/filYの比のうちで1以下の値をとる方をRatio(filY,Hight)で表わすとき、Ratio(filY,Hight)<0.9であるか否かが判定される。Ratio(filY,Hight)<0.9ではないと判定されたときには、ステップS711においてJの値が1インクリメントされた後ステップS702に戻り、上述した処理が更新されたJの値に対して繰り返される。一方、Ratio(filY,Hight)<0.9であると判定されたときには大きさが一致したものとみなし処理はステップS708に進む。
【0081】
ステップS708では、List[J]に格納されたインデックス番号に対応するキーファイルのシルエットパターン(図6参照)とマスク画像fbとの間において例えばテンプレートマッチングが行なわれて形状一致度(%)が算出される。その後ステップS709において、算出された形状一致度が80%よりも大きいか否かが判定される。形状一致度が80%以下のときには、ステップS711においてJの値が1インクリメントされた後ステップS702に処理は戻り、上述したステップS702〜ステップS709までの処理が更新されたJの値の下で繰り返される。形状一致度が80%よりも大きいと判定されたときには、キーデータのシルエットパターンとマスク画像fbの形状が一致したものとして処理はステップS710に進む。このように、撮影画像の像倍率に基づいて、観察対象の大きさで図鑑データを検索することで、検索精度が向上する。
【0082】
ステップS710では、現在のJの値に対応する配列要素List[J]に格納されているインデックス番号が、現在のKの値に対応する配列要素ans[K]に代入され、Kの値が1インクリメントされる。以上ステップS702〜ステップS711の処理はステップS702においてJの値が候補総数の値に達するまで繰り返される。J=0から始まったステップS702〜ステップS711の処理がJ=候補総数に達するとステップS702においてJ<候補総数と判定され、この比較判定処理は終了する。すなわち、比較判定処理は初期化処理において検索された全ての選択候補に対して実行される。
【0083】
次に図18を参照して、図8のステップS212において実行される図鑑表示処理について説明する。図18は本実施形態の図鑑表示処理のサブルーチンのフローチャートである。
【0084】
ステップS800では、図17の比較判定処理における各絞り込み条件に該当したインデックス番号を格納する配列変数ans[K]の添え字Kの値が初期化される。すなわちKの値は0にリセットされる。ステップS801では、現在のKの値が、検索結果総数よりも小さいか否かが判定される。ここで検索結果総数とは、比較判定処理により配列変数ans[K]に格納されたインデックス番号の総数の値である。K<検索結果総数でないと判定されると本図鑑表示処理のサブルーチンは直ちに終了し、処理は図8のステップS213に戻る。一方、K<検索結果総数であると判定されるとステップS802が実行される。
【0085】
ステップS802では、現在のKの値に対応する配列要素ans[K]に格納されたインデックス番号が取得されるとともに、添え字Kの値が1インクリメントされる。ステップS803では、インデックスファイルからステップS802で取得されたインデックス番号に対応する図鑑データファイルの名前が取得され、このインデックス番号に対応する図鑑データがプロセッサ23に読み込まれるとともに画像表示装置12に表示される。例えば、配列要素ans[0]にインデックス番号I=1が格納されている場合、「キビタキ」の図鑑ファイル名「bbb1」が取得され、図7に示された種名「キビタキ」の図鑑データが画像表示装置12に表示される。
【0086】
ステップS804では、矢印キー17U、17D、17L、17Rの所定のキーが押されたか否かが判定される。例えば矢印キー17Dが次の検索結果を表示するためのキーとして設定されている場合には、矢印キー17Dが押されたか否かが判定される。矢印キー17Dが押されたと判定されると、処理はステップS801に戻り1インクリメントされたKの値に対して以下同様の処理が繰り返される。
【0087】
一方、矢印キー17Dが押されない場合、ステップS805へ進み、OKキー18が押されたか否かが判定される。OKキー18が押された場合は、ステップ806に進み、画像表示装置12に表示される画像をサムネール画像fに切り替えて、レリーズ時の撮影画像を表示させた後、ステップS807へ進み、再びOKキー18が押されたか否かの判定を行う。この判定処理はOKキーが押されるまで繰り返され、OKキー18が押されると、ステップS803へ戻り、再びサムネール画像ftを表示する前に表示されていた画像データを画像表示装置12に表示させる。
【0088】
上述したように、ステップS801〜ステップS804の処理は、添え字Kの値が検索結果総数よりに達するまで繰り返され、Kの値が検索結果総数に達するとこの図鑑表示処理のサブルーチンは終了する。すなわち、本図鑑表示処理では、比較判定処理において絞り込まれたインデックス番号に対応する全ての図鑑データが、ユーザのキー操作に対応して、順次画像表示装置12に表示される。また、ステップS805〜ステップS807の処理により、使用者はOKキー18の押圧操作により、撮影画像と図鑑データとを交互に切り替えて画像表示装置12上に表示させることができ、両者を見比べることが容易に行える。
【0089】
以上のように、本発明の第1実施形態によれば、撮影された観察対象物に対応するデータを自動検索し画像表示装置に表示することができる。特に本実施形態では、像倍率データも検索の条件として用いることができるのでより精緻な検索が可能となる。
【0090】
次に、本発明が適用されたデジタルカメラ機能付き双眼鏡の第2実施形態について図2、図19〜図22を参照して説明する。
【0091】
第1実施形態のデジタルカメラ機能付き双眼鏡10では、自動検索処理用のプログラムが双眼鏡本体内に設けられたROM27に格納されていたが、第2実施形態のデジタルカメラ付き双眼鏡では、自動検索処理用のプログラムは、ICメモリカード等の着脱自在な外部記録媒体内に格納されている。第2実施形態のデジタルカメラ機能付き双眼鏡のその他の構成は、第1実施形態のそれと略同様である。以下第1実施形態とその構成がことなる部分についてのみ説明する。
【0092】
図19は、第2実施形態の自動検索処理に利用され、着脱自在な図鑑用記録媒体であるICメモリカードM等の記録媒体の内容を概念的に表わす図である。ICメモリカードMには、例えば識別ファイル1、識別ファイル2、自動検索処理プログラム、インデックスファイル、キーファイル、図鑑データファイルが格納されている。
【0093】
識別ファイル1は、双眼鏡10のプロセッサ23が、記録媒体装着部31aに装着された記録媒体が図鑑用記録媒体であることを認識するためのファイルである。一方、識別ファイル2には、自動検索処理プログラムの有無とその格納領域(アドレス)を示す情報が格納されている。また、自動検索処理プログラムは、インデックスファイル、キーファイル、図鑑データファイルを用いて、第1実施形態と略同様の自動検索処理を行なうプログラムである。なお、インデックスファイル、キーファイル、図鑑データファイルは第1実施形態のそれと同様である。
【0094】
図20は、第2実施形態のデジタルカメラ機能付き双眼鏡10のプロセッサ23において実行されるプログラムのフローチャートである。第2実施形態では、ステップS900において双眼鏡10のデジタルカメラの電源がON状態に定められると、プロセッサ23はI/Oコントロール回路29および記録媒体制御部31を介してICメモリカードM内の識別ファイル1および識別ファイル2を検索する。
【0095】
ステップS901では、ICメモリカードM内に識別情報1が存在するか否かが判定される。すなわち、ICメモリカードM内に識別ファイル1が存在する場合には、識別情報1があると判定しステップS902に進み、識別ファイル1が存在しない場合には、識別情報1がないと判定してステップS908に進む。ステップS908では、図鑑機能がOFF状態であることを示すフラッグが立てられ、その後ステップS909においてデジタルカメラとしての通常の撮影動作が実行される。この通常の撮影動作は、ステップS910においてデジタルカメラの電源がOFF状態とされたと判定されるまで継続される。
【0096】
一方、ステップS902では、ICメモリカードM内に識別情報2があるか否かが判定される。すなわち、ICメモリカードM内に識別ファイル2が存在する場合には、識別情報2があると判定され、処理はステップS903に進む。識別ファイル2がICメモリカードM内に存在しない場合には、識別情報2がないと判定され、処理はステップS907に移り、所定のエラー処理が実行された後、ステップS908以下の処理が同様に行われる。
【0097】
ステップS903では、識別ファイル2の内容が読み取られる。すなわち、ICメモリカードM内に格納された自動検索処理プログラムのアドレス情報が取得される。ステップS904において、プロセッサ23は取得されたアドレス情報に基づいて、ICメモリカードM内に格納された自動検索処理プログラムのダウンロードを開始するとともに、ステップS905において図鑑機能がON状態であることを示すフラッグを立てる。
【0098】
ステップS906では、ICメモリカードMからプロセッサ23のメインメモリにダウンロードされた自動検索処理プログラムが実行される。なお、この処理が終了すると第2実施形態においてプロセッサ23において実行されるプログラムは終了する。
【0099】
図21、22に自動検索処理プログラムのフローチャートを示す。ステップS1000〜ステップ1011は、第1実施形態において図10を参照して説明した初期化処理のステップS303〜ステップS314にそれぞれ対応し、ステップS1012〜ステップS1024は、図8のステップS201〜ステップS213に対応する。
【0100】
すなわち、ステップS1000では、日時情報や場所情報を設定するための処理である各種情報設定処理が実行され、カレンダー回路30の日時情報とフラッシュラム26の場所情報が設定される。また、ステップS1001では、フラッシュメモリ26から設定された場所情報がプロセッサ23に読み込まれる。
【0101】
ステップS1002では、場所情報および日時情報を条件とした絞り込みによって残った候補を配列するための配列変数List[J]の初期化が行われるとともに、配列変数List[J]の要素番号(添え字)Jが0にリセットされる。ステップS1003では、インデックスファイル(図5参照)の読み込みが行われるとともに、インデックス番号を表わす変数Iが1にリセットされる。
【0102】
ステップS1004では、現在のインデックス番号Iの値がインデックス番号の最大値、すなわちインデックスの総数の値以下か否かが判定される。インデックス番号Iがインデックス番号の最大値よりも大きいと判定されたときには図22のステップS1012に処理は移行する。一方、ステップS1004において、現在のインデックス番号Iの値がインデックスの総数の値以下(インデックス番号の最大値以下)と判定されたときには、ステップS1005においてインデックス番号Iに対応するキーファイル名が取得されるとともに、ステップS1006において、現在のインデックス番号Iに対応するキーファイルのキーデータが読み込まれる。
【0103】
ステップS1007では、フラッシュメモリ26から読み出された場所情報が、現在のインデックス番号Iに対応するキーファイルに格納されている分布情報と符合するか否かが判定される。場所情報が一致していると判定された場合には、ステップS1008に進み、カレンダー回路30から読み出された日時情報が現在のインデックス番号Iに対応するキーファイルに格納されている日時情報と符合するか否かが判定される。一方、ステップS1007において、場所情報が一致しないと判定された場合には、ステップS1011においてインデックス番号Iが1インクリメントされ、ステップS1004に戻る。
【0104】
ステップS1008において、日時情報が一致しないと判定された場合には、ステップS1011においてインデックス番号Iがインクリメントされ、ステップS1004に戻る。日時情報が一致していると判定された場合には、ステップS1009において、現在のインデックス番号Iが配列要素List[J]に格納され、ステップS1010では配列変数List[J]の要素番号Jが1インクリメントされる。以下ステップS1011を介してインデックス番号Iがインクリメントされ、ステップS1004以下同様の処理がインクリメントされたI、Jの下で行われる。第1実施形態と同様に、以上の処理はステップS1004において、インデックス番号Iがインデックスの総数を越えるまで行なわれ、その後図22のステップS1012に移る。
【0105】
ステップS1012では、撮影用光学系20を介して随時撮像されているライブ画像からサムネール画像が作成される。ステップS1013では、このサムネール画像が画像データft−1(図9(a))として作業用メモリ25に保存される。
【0106】
ステップS1014では、レリーズスイッチがオンしたか(レリーズボタン14が押されたか否かが判定される。レリーズスイッチがオンしてないと判定されると、処理はステップS1012に戻り、新たなサムネール画像が作成され、ステップS1013において再び画像データft−1として上書き保存される。一方、レリーズボタン14が押されて、レリーズスイッチがオンしたと判定されると、ステップS1015において間引きを行なっていない画像データが静止画像データFtとして作業用メモリ25に保存される。ステップS1016では、静止画像データFtに対して間引き処理を施してサムネール画像が作成され、作成されたサムネール画像はステップS1017において画像データf(図9(b))として作業用メモリ25に保存される。
【0107】
ステップS1018では、再び撮影用光学系20を介して随時撮像されているライブ画像からサムネール画像が作成される。作成されたサムネール画像は、ステップS1019において画像データft+1(図9(c))として作業用メモリ25に保存される。
【0108】
ステップS1020では、画像データft−1、f、ft+1を用いて個体領域抽出処理が行なわれ、画像データの中から目的的とする観察対象物である鳥等の個体に対応する画像領域が画像データfから抽出される。ステップS1021は、特徴量抽出処理であり、抽出された画像データから更に撮影された個体の大きさや色が抽出される。ステップS1022は比較判定処理であり、観察対象物の画像から抽出された大きさや色情報が各キーファイルのキーデータと比較判定され、検索候補の絞り込みが行われる。ステップS1023は、図鑑表示処理であり、絞り込まれた検索結果に基づいて対応する図鑑データを画像表示装置12に表示する。最後にステップS1024においてデジタルカメラの電源がOFFされているか否かが判定され、電源がOFF状態であると判定された場合、この自動検索処理動作のプログラムは終了する。一方、電源がOFF状態でない、すなわちON状態であると判定されたときにはステップS1012に処理は戻り、同様の処理がステップS1024において電源がOFF状態であると判定されるまで繰り返される。
【0109】
なお、各種情報設定処理、個体領域抽出処理、特徴量抽出処理、比較判定処理、図鑑表示処理は、第1実施形態において説明を行なった各々の処理とで同じである。
【0110】
以上のように、本発明の第2実施形態のデジタルカメラ機能付き双眼鏡においても第1実施形態と略同等の効果を得ることができる。また、第2実施形態では、自動検索処理用のプログラムが図鑑用記録媒体内に格納されているので、図鑑の内容やグレード等に合わせて最適化された自動検索処理プログラムを常に用いることが可能である。また、第2実施形態では、自動検索処理用プログラムを常駐している必要がないので、図鑑機能を用いずに、通常のデジタルカメラとして使用している場合には、プロセッサへの負担が少ない。また、デジタルカメラ内に格納されるプログラムデータ量も少なくて済むので、搭載されるメモリの容量も小さくて済み、コストを削減することができる。
【0111】
なお、本実施形態の自動検索処理では、場所情報、日時情報、色情報、大きさ、形状という順序で絞り込みが行なわれたが絞り込みの順序はこれに限定されるものではない。
【0112】
本実施形態では、一例としてヒストグラムの最大ピークに対応する色相角度値Hue1のみを用いて比較判定を行なったが、Hue2なども含めたの複数のピークにおける色相角度情報を用いて比較判定を行なってもよい。
【0113】
本実施形態では、場所情報をユーザが入力するものとしたが、例えばGPSシステム等を用いて場所を自動的に入力されるよにしてもよい。また、本実施形態は双眼鏡を例に説明を行なったが、通常のデジタルカメラや望遠鏡などのように単眼の光学機器に用いてもよい。
【0114】
【発明の効果】
以上のように、本発明によれば、観察対象に関わる情報を簡便に検索可能なデジタルカメラ機能を備えた光学機器を得ることができる。
【図面の簡単な説明】
【図1】本発明の第1実施形態であるデジタルカメラ機能付き双眼鏡の外観を示す斜視図である。
【図2】図1に示された双眼鏡のデジタルカメラに関わる電気的構成を示すブロック図である。
【図3】本実施形態の自動検索処理機能の概略を説明するためのフローチャートである。
【図4】第1実施形態の自動検索処理に利用される着脱自在な図鑑用記録媒体の内容を表わす概念図である。
【図5】図鑑用記録媒体に格納されているインデックスファイルの内容を例示したものである。
【図6】インデックス番号1の「キビタキ」に対応するキーファイル「aaa1」に格納されたキーデータを例示したものである。
【図7】インデックス番号1の「キビタキ」に対応する図鑑ファイル「bbb1」に格納された図鑑データを例示したものである。
【図8】第1実施形態において双眼鏡のプロセッサで実行される自動検索処理のプログラムのフローチャートである。
【図9】撮影された静止画像から作成されたサムネール画像データfと、その前後のライブビューから作成されたサムネール画像データft−1、ft+1の一例である。
【図10】第1実施形態の自動検索処理における初期化処理サブルーチンのフローチャートである。
【図11】本実施形態の自動検索処理における各種情報設定処理サブルーチンのフローチャートである。
【図12】本実施形態の自動検索処理における個体領域抽出処理サブルーチンのフローチャートである。
【図13】本実施形態の自動検索処理における個体領域抽出処理の概念を模式的に表わした図である。
【図14】本実施形態の自動検索処理における特徴量抽出処理サブルーチンのフローチャートである。
【図15】観察対象物である鳥のフィレ長を説明するための図である。
【図16】横軸を色相角度とした観察対象物に対応する画像領域のヒストグラムである。
【図17】本実施形態の自動検索処理における比較判定処理サブルーチンのフローチャートである。
【図18】本実施形態の自動検索処理における図鑑表示処理サブルーチンのフローチャートである。
【図19】第2実施形態の自動検索処理に利用される図鑑用記録媒体の内容を表わす図である。
【図20】第2実施形態のデジタルカメラ機能付き双眼鏡において実行されるプログラムのフローチャートである
【図21】第2実施形態の自動検索処理プログラムのフローチャートの前半部である。
【図22】第2実施形態の自動検索処理プログラムのフローチャートの後半部である。
【符号の説明】
10 デジタルカメラ機能付き双眼鏡
12 画像表示装置(LCD)
21 撮像ブロック
23 プロセッサ
27 ROM
28 スイッチ群
M 記録媒体(ICメモリカード、外部記憶)

Claims (17)

  1. 撮像手段と、
    前記撮像手段に光学像を結像させるための撮影用光学系と、
    前記撮像手段により撮影された画像の中から、観察対象物に対応する画像領域を抽出するための個体領域抽出手段と、
    前記画像領域から前記観察対象物の特徴量を抽出する特徴量抽出手段と、
    前記観察対象物を含むカテゴリを複数の下位概念に類別し、前記下位概念に関わる属性を保持した属性情報保持手段と、
    前記特徴量とこれに対応する前記属性とを比較することにより、前記観察対象物が属する可能性がある下位概念を絞り込む比較判定手段と、
    を備えることを特徴とするデジタルカメラ機能付き光学機器。
  2. 前記属性を含む前記下位概念に関わる情報を表示可能な画像表示手段を備え、前記比較判定手段により絞り込まれた下位概念に対応する前記情報を前記画像表示手段に表示することを特徴とする請求項1に記載のデジタルカメラ機能付き光学機器。
  3. 前記比較判定手段により絞り込まれた下位概念に対応する前記情報と前記撮像手段により撮影された画像とを切り替えて前記画像表示手段に表示するための操作部を備えることを特徴とする請求項2に記載のデジタルカメラ機能付き光学機器。
  4. 撮影画像の像倍率を算出する像倍率算出手段を備える一方、前記属性は前記下位概念の大きさに関する情報を含み、前記比較判定手段における絞り込みにおいて、撮影された前記観察対象物の大きさと前記下位概念の大きさに関する情報とが前記像倍率を介して比較されることを特徴とする請求項1に記載のデジタルカメラ機能付き光学機器。
  5. 前記像倍率算出手段が前記撮影用光学系のレンズの繰り出し量から算出されることを特徴とする請求項4に記載のデジタルカメラ機能付き光学機器。
  6. 設定された日時情報を保持更新するカレンダー機能を備えるとともに前記属性が日時に関わる情報を含み、前記比較判定手段による前記下位概念の絞り込みにおいて、前記カレンダー機能からの日時情報と前記各下位概念の属性に含まれる前記日時に関わる情報とが比較判定されることを特徴とする請求項1に記載のデジタルカメラ機能付き光学機器。
  7. 前記観察対象物の撮影を行なう場所に関わる情報を保持する場所情報保持手段を備えるとともに前記属性が場所に関わる情報を含み、前記比較判定手段による前記下位概念の絞り込みにおいて、前記場所情報保持手段に保持された場所情報と前記各下位概念の属性に含まれる場所に関わる情報とが比較判定されることを特徴とする請求項1に記載のデジタルカメラ機能付き光学機器。
  8. 前記撮像手段が、前記観察対象物の時系的に連続した複数枚の画像を撮影し、前記個体領域抽出手段が撮影された前記複数枚の画像間の差分データを用いて行われることを特徴とする請求項1に記載のデジタルカメラ機能付き光学機器。
  9. 前記複数枚の画像が3枚の画像からなることを特徴とする請求項8に記載のデジタルカメラ機能付き光学機器。
  10. 前記特徴量抽出手段により抽出された前記特徴量が、前記観察対象物の色情報を含むとともに前記属性が色情報を含み、前記比較判定手段による前記下位概念の絞り込みにおいて、前記特徴量抽出手段により抽出された前記観察対象物の色情報と、前記各下位概念の属性に含まれる色情報とが比較判定されることを特徴とする請求項1に記載のデジタルカメラ機能付き光学機器。
  11. 前記特徴量抽出手段による前記色情報の抽出が、前記画像領域の色相に関するヒストグラムに基づいて行われることを特徴とする請求項10に記載のデジタルカメラ機能付き光学機器。
  12. 前記観察対象物に対する色情報および前記属性に含まれる色情報が色相角度値として表わされることを特徴とする請求項10に記載のデジタルカメラ機能付き光学機器。
  13. 前記下位概念に特徴的な輪郭形状が前記属性に含まれ、前記比較判定手段における前記下位概念の絞り込みにおいて、前記個体領域抽出手段により抽出された前記観察対象物に対応する前記画像領域の形状と、前記輪郭形状とが比較判定されることを特徴とする請求項1に記載のデジタルカメラ機能付き光学機器。
  14. 前記属性情報保持手段が前記デジタルカメラ機能付き光学機器に着脱自在な記録媒体からなることを特徴とする請求項1に記載のデジタルカメラ機能付き光学機器。
  15. 請求項1に記載された属性情報保持手段を有するとともに、請求項1に記載されたデジタル機能付き光学機器に着脱自在に装着されることを特徴とするコンピュータにより読み取り可能な記録媒体。
  16. 請求項1に記載された個体領域抽出手段、特徴量抽出手段、比較判定手段を実行するためのプログラムが記録されたことを特徴とする請求項15に記載の記録媒体。
  17. 撮影された画像の中から観察対象物に対応する画像領域を抽出する個体領域抽出手段として、
    前記画像領域から前記観察対象物の特徴量を抽出する特徴量抽出手段として、
    前記特徴量と前記観察対象物を含むカテゴリの各下位概念の前記特徴量に対応する属性とを比較することにより、前記観察対象物が属する可能性がある下位概念を絞り込む比較判定手段として
    コンピュータを機能させるためのプログラム。
JP2003004085A 2003-01-10 2003-01-10 デジタルカメラ機能付き光学機器およびその記録媒体 Expired - Fee Related JP4037274B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003004085A JP4037274B2 (ja) 2003-01-10 2003-01-10 デジタルカメラ機能付き光学機器およびその記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003004085A JP4037274B2 (ja) 2003-01-10 2003-01-10 デジタルカメラ機能付き光学機器およびその記録媒体

Publications (2)

Publication Number Publication Date
JP2004219520A true JP2004219520A (ja) 2004-08-05
JP4037274B2 JP4037274B2 (ja) 2008-01-23

Family

ID=32895159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003004085A Expired - Fee Related JP4037274B2 (ja) 2003-01-10 2003-01-10 デジタルカメラ機能付き光学機器およびその記録媒体

Country Status (1)

Country Link
JP (1) JP4037274B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006153630A (ja) * 2004-11-29 2006-06-15 Olympus Corp 情報端末装置及び情報表示システム
JP2009301485A (ja) * 2008-06-17 2009-12-24 Olympus Corp 情報表示システムおよびそれを用いた携帯情報端末
WO2011029483A1 (en) * 2009-09-14 2011-03-17 Wings Aktiebolag Visual categorization system
WO2012114401A1 (ja) * 2011-02-23 2012-08-30 日本電気株式会社 特徴点照合装置、特徴点照合方法、および特徴点照合プログラムが格納された非一時的なコンピュータ可読媒体
JP2012221211A (ja) * 2011-04-08 2012-11-12 Nintendo Co Ltd 情報処理装置、情報処理プログラム、情報処理方法および情報処理システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006153630A (ja) * 2004-11-29 2006-06-15 Olympus Corp 情報端末装置及び情報表示システム
JP2009301485A (ja) * 2008-06-17 2009-12-24 Olympus Corp 情報表示システムおよびそれを用いた携帯情報端末
WO2011029483A1 (en) * 2009-09-14 2011-03-17 Wings Aktiebolag Visual categorization system
WO2012114401A1 (ja) * 2011-02-23 2012-08-30 日本電気株式会社 特徴点照合装置、特徴点照合方法、および特徴点照合プログラムが格納された非一時的なコンピュータ可読媒体
US20130315490A1 (en) * 2011-02-23 2013-11-28 Tatsuo Akiyama Feature point matching device, feature point matching method, and non-transitory computer readable medium storing feature matching program
JP5958460B2 (ja) * 2011-02-23 2016-08-02 日本電気株式会社 特徴点照合装置、特徴点照合方法、および特徴点照合プログラム
US9430711B2 (en) 2011-02-23 2016-08-30 Nec Corporation Feature point matching device, feature point matching method, and non-transitory computer readable medium storing feature matching program
JP2012221211A (ja) * 2011-04-08 2012-11-12 Nintendo Co Ltd 情報処理装置、情報処理プログラム、情報処理方法および情報処理システム
US9477902B2 (en) 2011-04-08 2016-10-25 Nintendo Co., Ltd. Information processing apparatus, storage medium, information processing method and information processing system for presenting image candidates having similarity to an imaged image

Also Published As

Publication number Publication date
JP4037274B2 (ja) 2008-01-23

Similar Documents

Publication Publication Date Title
KR101325110B1 (ko) 정보 처리 장치 및 방법과 컴퓨터 판독가능한 기록 매체
JP5334159B2 (ja) 電子地図上での写真表示方法及びシステム
JP5667069B2 (ja) コンテンツ管理装置、コンテンツ管理方法、コンテンツ管理プログラムおよび集積回路
CN105027553B (zh) 图像处理装置、图像处理方法以及存储图像处理程序的存储介质
CN106952341A (zh) 一种基于视觉的水下场景三维点云重建方法及其系统
CN104956655B (zh) 摄像装置
CN113610750A (zh) 对象识别方法、装置、计算机设备及存储介质
US20020028002A1 (en) System and method for storage, retrieval and display of information relating to specimens in marine environments
WO2015064319A1 (ja) 画像処理装置及び画像処理方法
CN111598133A (zh) 基于人工智能的图像显示方法、装置、设备及介质
CN106233283A (zh) 图像处理装置、通信系统以及通信方法和摄像装置
CN114511864B (zh) 文本信息提取方法、目标模型的获取方法、装置及设备
KR20160149160A (ko) 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법 및 장치
CN102279864B (zh) 图像检索装置、图像检索方法以及照相机
JP4037274B2 (ja) デジタルカメラ機能付き光学機器およびその記録媒体
JP2007110262A (ja) 画像鑑賞用ソフトウェア及び画像蓄積装置
CN112508959B (zh) 视频目标分割方法、装置、电子设备及存储介质
JP3673615B2 (ja) 画像処理装置及びその制御方法
WO2018000299A1 (en) Method for assisting acquisition of picture by device
JP2001034632A (ja) 画像検索方法
CN107945353B (zh) 一种基于深度学习的自助导游系统
JP6702118B2 (ja) 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JP2003296329A (ja) 情報提供装置、情報提供方法および情報処理プログラム
JP2004214760A (ja) 被写体推定方法および装置並びにプログラム
JP5593778B2 (ja) 画像処理装置及び方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071031

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121109

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121109

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131109

Year of fee payment: 6

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees