JP2007074143A - 撮像装置及び撮像システム - Google Patents
撮像装置及び撮像システム Download PDFInfo
- Publication number
- JP2007074143A JP2007074143A JP2005256862A JP2005256862A JP2007074143A JP 2007074143 A JP2007074143 A JP 2007074143A JP 2005256862 A JP2005256862 A JP 2005256862A JP 2005256862 A JP2005256862 A JP 2005256862A JP 2007074143 A JP2007074143 A JP 2007074143A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- unit
- subject candidate
- image
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】 撮像装置の撮影画角外に所望の被写体がある場合にも、被写体の存在を検知できるようにすること。
【解決手段】 画像を撮像して該画像の画像信号を出力する撮像部(3)と、前記撮像部の画角よりも広い領域の情報を感知する広範囲センサ(8)と、少なくとも前記広範囲センサによって得られた情報から、被写体候補を抽出する被写体候補抽出部(9)と、前記広範囲センサからの情報及び前記撮像部の画角に基づいて、前記被写体候補抽出部によって抽出された被写体候補が、前記撮像手段の撮像範囲内にあるか、前記撮像装置の撮像範囲外にあるかを判断する被写体候補提示部(10)とを有する。
【選択図】 図1
【解決手段】 画像を撮像して該画像の画像信号を出力する撮像部(3)と、前記撮像部の画角よりも広い領域の情報を感知する広範囲センサ(8)と、少なくとも前記広範囲センサによって得られた情報から、被写体候補を抽出する被写体候補抽出部(9)と、前記広範囲センサからの情報及び前記撮像部の画角に基づいて、前記被写体候補抽出部によって抽出された被写体候補が、前記撮像手段の撮像範囲内にあるか、前記撮像装置の撮像範囲外にあるかを判断する被写体候補提示部(10)とを有する。
【選択図】 図1
Description
本発明は、撮像装置及び撮像システムに関し、更に詳しくは、所定の被写体候補を検出する撮像装置及び撮像システムに関する。
従来、画像データから所定の特徴部位に関する情報を抽出して、該所定の特徴部位を含んだ所定範囲にズーミングする機構をもつ撮像装置や、画面上にマーカーによって、特徴部位を重畳表示する撮像装置が提案されている(例えば、特許文献1参照)。
しかしながら、上記の装置では、撮像装置の撮影画角内に目的とする特徴部位が存在しなければ特徴部位の情報抽出を行うことができず、従ってズーミングやマーカー表示も実行されない。従って、上記情報抽出が行われるようにするためには、撮影者が撮影画角内に特徴部位が入るように装置を動かす必要があった。また、撮影者が特徴部位が撮影画角外にあることに気づかず、撮影し損なうことがあった。
本発明は上記問題点を鑑みてなされたものであり、撮像装置の撮影画角外に所望の被写体がある場合にも、被写体の存在を検知できるようにすることを目的とする。
上記目的を達成するために、本発明の撮像装置、または、撮像装置と画像処理装置とからなる撮像システムは、画像を撮像して該画像の画像信号を出力する撮像手段と、前記撮像手段の画角よりも広い領域の情報を感知するセンサ手段と、少なくとも前記センサ手段によって得られた情報から、被写体候補を抽出する抽出手段と、前記センサ手段からの情報及び前記撮像手段の画角に基づいて、前記抽出手段によって抽出された被写体候補が、前記撮像手段の撮像範囲内にあるか、前記撮像装置の撮像範囲外にあるかを判断する判断手段とを有する。
本発明によれば、撮像装置の撮影画角外に所望の被写体がある場合にも、被写体の存在を検知することができる。
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
<第1の実施形態>
以下、図面を参照して本発明の第1の実施形態を詳細に説明する。
以下、図面を参照して本発明の第1の実施形態を詳細に説明する。
図1は、本発明の第1の実施形態の撮像装置100の機能構成を示すブロック図である。図1に示すように、撮像装置100は、結像光学系1、結像光学系制御部2、撮像部3、撮像動作制御部4、画像記録部5、画像記憶部6、画像表示部7、広範囲センサ8、被写体候補抽出部9、被写体候補提示部10を含む。
結像光学系1はズーム機構を備えた光学レンズで構成される。またパン、チルト軸方向の駆動機構を備えてもよい。
結像光学系制御部2は、撮影者からの指定や、後述する撮像動作制御部4および被写体候補抽出部9からの情報に基づき、結像光学系1のズームまたは、結像光学系1の構成によってはパン、チルト方向の駆動制御を行う。
撮像部3は、映像センサ、センサ信号処理回路、センサ駆動回路を含む映像入力手段である。映像センサとしては、典型的にはCCDまたはCMOSイメージセンサが用いられ、不図示のセンサ駆動回路からの読み出し制御信号により所定の映像信号(例えば、サブサンプリング、ブロック読み出しして得られる信号)が画像データとして出力される。
撮像動作制御部4は、撮影者からの指示(画角調整指示、シャッター押下など)、結像光学系制御部2および被写体候補抽出部9からの情報を基に、撮像部3のセンサ駆動回路に対して読み出し制御信号を出力し、実際の撮像が行われるタイミングを制御する。
画像記録部5は、画像データを外部メディア等に記録する。
画像記憶部6は半導体メモリ等で構成され、撮像部3から転送された画像データを一時的に保持し、画像表示部7および被写体候補抽出部9からの要求に応じて、所定のタイミングで画像データを画像表示部7および被写体候補抽出部9に転送する。
画像表示部7は撮像された画像の表示などを行う。典型的には液晶モニタ等が用いられる。画像表示部7は電子式ファインダ(EVF)のような構成をとっても良い。また撮影者が撮影モード等の選択を行うための操作部と連動してメニュー表示を行う表示部を備えてもよい。画像記憶部6から転送された画像データに対して、結像光学系制御部2の情報に応じた所定の処理を施した後、画像の表示を行う。
広範囲センサ8は、画像表示部7に表示されている範囲よりも広範囲に亘ってセンシングを行うもので、撮像部3と同じく、画像信号を出力する画像センサを用いてもよい。また、集音マイクと音声信号を増幅するアンプから構成される集音装置であってもよい。その他、温度を感知する温度センサや、赤外線センサなど、検出する被写体に合わせて公知のセンサを用いることができる。なお、本第1の実施形態では、画像センサを用いた場合について説明する。
被写体候補抽出部9は広範囲センサ8の出力データおよび撮像部3から出力された画像データから、特定カテゴリに属する被写体候補を検出し、その被写体候補の情報を抽出する。被写体候補抽出部9は、専用回路(ASIC)、プロセッサ(リコンフィギュラブルプロセッサ、DSP、CPUなど)内部において実行されるプログラムとして存在する。予め、または所定の手順に従って登録することにより、特定カテゴリを検出するプログラムモジュールを複数備え、撮影者の指定する特定カテゴリによって、プログラムモジュールをダイナミックにロード、実行し、所望の特定カテゴリに属する被写体候補を抽出するような構成にすることも可能である。
被写体候補提示部10は、被写体候補抽出部9が出力する被写体候補の情報を撮影者に提示するもので、例えば画像表示部7に被写体の位置、大きさ等の情報を矢印等のマーカーにより提示する。他に、音声スピーカーから電子音を発生させたり、音声によって撮影者に被写体候補の情報を提示する構成も考えられる。
図2は上記構成を有する撮像装置における、本第1の実施形態の被写体候補を提示する全体処理を示すフローチャートである。以下、図2を参照しながら説明する。
始めに、画像表示部7が、結像光学系の焦点距離、画角、歪み係数、パン、チルト方向などのカメラパラメータを、結像光学系制御部2あるいは撮像動作制御部4から取得する(ステップS1)。続いて、撮像部3により撮像を行い、得られた画像データを画像記憶部6に一時的に記憶する(ステップS2)。また、このステップS2の処理と並行して、広範囲センサ8によるセンシングを行う(ステップS4)。ステップS2によって画像記憶部6に蓄えられた画像データは、ステップS1で取得したカメラパラメータに応じて画像表示部7で所定の画像処理を施された後、表示される(ステップS3)。所定の画像処理は、例えば結像光学系1の歪みなどの収差補正や、明るさを変換する処理である。他に、画像表示部7の解像度に合うように画像データの解像度を変換する処理等も行われる。なお、この所定の画像処理は、例えば、処理速度が重視されるような場合には、その一部または全部を行わないようにしてもよい。
次に、広範囲センサ8から転送されたセンシング情報と、画像記憶部6から転送された画像データとから、被写体候補抽出部9により被写体候補抽出処理を実行する(ステップS5)。なお、この被写体候補抽出処理については、詳細に後述する。被写体候補があった場合には(ステップS6でYES)ステップS7にに進むが、何も無かった場合には(ステップS6でNO)ステップS1に戻る。
被写体候補があった場合、被写体候補提示部10は、その1つについて画像表示部7に表示されているか、即ち、撮像部3により撮影された画像に含まれているかを判定する(ステップS7)。被写体候補が画像表示部7に表示されている場合には、被写体候補提示部10は、ステップS8において画像表示部7にマーカーによる表示などを行う。一方、被写体候補が画像表示部7に表示されていない場合、即ち、広範囲センサ8から出力された情報のみから抽出された被写体情報である場合には、ステップS9に進んで撮影者に被写体候補の情報を知らせる。ステップS7〜S9の処理は、全ての被写体候補について(ステップS10でYESとなるまで)行う。
次に、ステップS5において被写体候補抽出部9で行われる被写体候補検出処理について、詳しく説明する。
図3は、被写体候補抽出部9の主な構成要素を表したブロック図である。
物体検出部21は、画像記憶部6から入力される画像データ及び広範囲センサ8から入力されるデータから、予め指定された特定カテゴリの物体を検出するためのものである。また、検出される特定カテゴリの大きさは可変である。カテゴリの種類としては、例えば、人物、車などのような大分類から、人物の中での老若男女に類する中程度の分類クラス、更には特定人物レベルまでの細分化したクラスまであるものとする。ここでは、特定カテゴリを「人物の顔」として説明する。状態検出部22は、物体検出部21で検出されたオブジェクトの状態を検知するためのものである。人物の顔で言うと、顔の大きさや角度、年齢、性別や表情などを検出する。個体認識部23は、オブジェクトの個体識別を行うためのもので、人物の場合、個人の識別を行う。
次に、被写体候補抽出処理手順について、図4のフローチャートを参照して説明する。撮影者が直接指定するか、撮像装置100のモード(風景撮影、人物撮影、近景撮影、遠景撮影モードなど)により、抽出すべき物体の特定カテゴリが設定される(ステップS20)。次に、物体検出部21により、設定された特定カテゴリの物体検出処理を実行する(ステップS21)。例えば、指定された特定カテゴリが特定の人物であった場合には、まず、顔検出を行う。続いて、状態検出部22により検出された特定カテゴリの物体の状態検出処理を行う(ステップS22)。人物の場合には、顔の傾き、大きさなどが検出された後、さらに性別や個人、表情などを表す特徴量となる、目、鼻、口などの形状や位置関係などを検出し、顔の状態を調べる。さらに、後述する個体認識部23に備わる、検出された状態に基づく個体識別用の処理モジュールを選択して(ステップS23)、個人の顔の判定といった個体識別処理を行う(ステップS24)。
次に、物体検出部21について詳しく説明する。図5は、物体検出部21の主な構成要素を示すブロック図である。
特徴抽出部31は、入力データに対して、所定サンプリング点位置で特徴量の抽出を行うものである。モデルデータ記憶部32は、予め複数の検出すべき被写体のカテゴリの情報をモデルデータとして記憶するものである。上述のように、特定カテゴリが人物である場合には、顔に関するモデルデータが、ここに格納されている。モデルデータとしては、例えば、顔画像データ、主成分分析や独立成分分析により得られる顔全体に関する所定の特徴ベクトルデータ、または顔の目、口、などの個々の顔に特徴的な領域に関する局所的特徴データがある。マッチング処理部33は、抽出された特徴量に基づき入力画像データとモデルデータとのマッチング処理(類似度算出)を行う。
マッチング処理部33で行う処理としては、例えば、画像データならば、特開平9−130714号公報に記載の画像情報抽出装置で用いる方法を利用することができる。この装置では、被写体距離に応じたサイズのテンプレートモデル画像を生成し、これを用いて画面内を走査しながら、各場所で正規化相関係数などを計算することにより入力画像の局所部分とモデルデータとの類似度分布を算出する。他に、特許3078166号公報に記載の局所的特徴の空間配置関係に基づくアルゴリズムや特開2002−8032号公報に記載の、畳み込み神経回路網をベースにしたアルゴリズムなどを用いても良い。一般的には類似度分布の最大値が所定の閾値を越していれば、そのカテゴリに属するパターンが検出されたことになる。入力データが音声である場合は、例えば隠れマルコフモデルを用いた公知のアルゴリズムを用いた同様の所定処理を行えばよい。
また、物体検出の処理時間短縮のために予め前処理として時系列入力画像データから公知の方法により一次特徴量(動きベクトル、色情報などの低次特徴量)抽出を行い、主被写体が存在する可能性の高い候補領域を抽出して探索範囲の絞込みを行ってもよい。例えば、色情報に基づいて、予め登録してあるモデル画像データの要部の色彩(例えば、人物の肌色など)に近い色彩を有する画像領域を閾値処理により抽出して、絞り込みを行うことができる。或いは、一定サイズ以上のまとまった動きベクトル量を有する領域、人物の頭部に類似する検出領域などを被写体候補領域として抽出してもよい。なお、動きベクトル量を用いる場合には、撮像部3は所定位置に固定して設置されていることが好ましい。手持ち撮影を行う場合には、撮像部3そのものの動きに伴うグローバルな動きベクトル量(Ego-motion ベクトル)を抽出して、それを全体の動きベクトル分布から相殺した後に動きベクトル量に基づく領域分割を行う。これにより人物など動きのある被写体の候補領域を求めることができる。
なお、本発明で行われるマッチング処理部33の処理は上記処理方法に限られるものでなく、公知の方法を適宜利用可能であることは言うまでもない。
次に状態検出部22について説明する。状態検出部22は撮影者または本実施形態の撮像装置100のモードにより指定された特定カテゴリ(「顔」など)に関する状態クラスの検出を行う。状態クラスは、撮影者または本実施形態の撮像装置のモードにより指定されたカテゴリを大分類の状態クラスとし、中分類、小分類のレベルで状態検出を行う。状態カテゴリとしては、例えば本実施形態のように人物であれば、表情、顔の向きというように、検出される物体の種類に応じて予め分類され、所定のメモリに格納されている。
図6にメモリに格納される物体の種類ごとに木構造に分類された状態クラスの例を示す。図6に示すように、大分類が「人物」、中分類が「顔の向き」である場合の小分類としては、パン方向、チルト方向に細分化されたクラスが予め定められている。顔の状態クラスを検出する場合、まず顔の目尻、口元など性別や表情、顔の向きの検出に有効な部位の特徴点の検出を行う。その結果、状態クラスとしては、「斜め向き、男性、無表情」などのようなカテゴリが検出される。
次に、個体認識部23について説明する。個体認識部23は物体検出部21で検出された顔の領域のうち、状態検出部22で検出された状態クラスでの個体識別処理を行う。図7に個体認識部23の構成を示す。ここでは、状態クラスは、大クラス、中クラス、小クラスの形式で木構造に予め分類され、大クラスごとに一つの処理モジュール群がまとまって配列している。大クラスは例えば、「顔」、中クラスは「正面」などの顔の向き、小クラスは「年齢」などのような状態を示す。なお、状態クラスの分類形式は、このような木構造以外のほかの形式であっても良いことは言うまでもない。状態検出部22により検出された状態クラスに特化した個体識別処理モジュールを選択する制御部および選択されるべき個体識別処理モジュール群は個体認識部23に内蔵されている。または、所定のメモリに格納されるプログラムとして、若しくはハードIPコアとして、予め被写体候補抽出部9のシステムLSI内に格納されている。
例えば、顔の状態が「正面、男性」を状態クラスとして状態検出部22により検出されたとすると、個体認識部23では、個体認識モジュールとしてその状態クラスに対応する個体認識モジュールを選択する。各状態クラスに対応した個体認識モジュールは、特定状態クラスを中心としたある程度広い識別性能を有する。即ち、「正面、男性」に特化した個人認識モジュールであっても、ある程度顔の向きや比較的広範な年齢などの属性範囲(例えば10代の若者〜70代初老の男性顔まで)の中で変動にロバストな識別が可能となるように予め学習により生成されている。
そのような識別モジュールとしては、例えば特定の状態カテゴリにある特定の二人の顔を識別するようなサポートベクトルマシンを学習により生成して用いる。学習は、例えば、特定状態カテゴリ(ここでは、正面、笑顔)を中心とするある範囲の特定の二人に関する顔データセット用いて、その二人を識別するようにサポートベクトルマシンをトレーニングする。なお、特定状態カテゴリを中心とする範囲の一例としては、正面から±20度の範囲で顔の向きが回転している顔であって、様々な年代の男性の顔を含む。なお、いわゆるone-against-allタイプのサポートベクトルマシンを生成してもよい。この場合、識別する個体数だけサポートベクトルマシンをトレーニングにより生成すればよい。
ここでは、この特定のカテゴリの状態クラスについてこのようなバイナリの識別を行うサポートベクトルマシンを全てのペアの組み合わせ数だけ学習により生成する。認識処理の時には、全てのペアの組み合わせについて実行するのではなく、2本木認識方式を用いれば、クラス数−1回の比較を実行すればよい。この例は、文献(Guo, Li, and Chan “Face Recognition by Support Vector Machines, in Proc. of 14th International Conf. on Automatic Face and Gesture Recognition, 2000)に開示されている。ただし、このような識別モジュールの生成を全ペアの全状態クラスについて予め行っておくのは困難である場合がある。
そこで、識別モジュールの生成は、状態クラスの検出を行った結果、識別できなかった人物について事後的にかつ蓄積的に生成するようにしてもよい。例えば、検出されたある特定の状態カテゴリについて識別ができない場合(若しくは、識別結果の信頼度が低いと推定される場合)、その状態クラスの同一人物の顔画像データを用いて学習を行うなどの方法による識別モジュールの生成を試みてもよい。
個体認識処理の各モジュールとしては、以上のサポートベクトルマシンをベースにした方法のほかに階層的神経回路網や統計的パターン認識の手法を用いても良い。例えば、階層的神経回路網として畳み込み神経回路網を用いた方法(文献:Lawrence et al., “Face Recognition: A Convolutional Neural-Network Approach, IEEE Transactions on Neural Networks, vol.8, pp.98-113, 1997)をベースしてもよい。この場合、状態クラス毎に学習用顔画像データを用意し、教師付き学習を行って個体認識用処理モジュールを生成すればよい。このように、様々な方法により各モジュールを構成することが可能である。
このように顔の識別時と学習時ともに先ず状態クラス(顔の向きや性別など)を判定し、その結果に基づいて特定の状態クラスに特化した識別モジュールの生成を行う。或いは、学習済みの特定の識別モジュールを選択的に起動(必ずしも一つの識別モジュールとは限らない)して個体の識別動作を行う。選択的起動の仕方としては、検出された状態クラスを中心としてその近傍にあるクラスに対応する個体認識モジュールの起動を行っても良い。
以上のように、予め設定された種類の状態クラス(性別、顔の向きなど)の何れに属するかの判定(比較的軽い処理)を個体認識に先立って行うことにより、特徴空間内での個体識別のための探索範囲を効率的に絞り込むことができる。その後に検出された状態クラスに特化して生成された識別モジュールによる識別動作を実行することにより、全ての状態クラスを含む集合の中で個体識別を行う場合と比べて、より効率的にかつ高い精度での認識が可能となる。
次に、被写体候補提示部10について説明する。
被写体候補提示部10は、被写体候補抽出部9が抽出した被写体候補が画像表示部7内にあるか、または画像表示部7外にあるかを判断し(図2のステップS7)、画像表示部7内にある場合には、その被写体候補をマーカーにより提示する(ステップS8)。図8は被写体候補提示部10によって、画像表示部7に、被写体候補である人物の顔位置について情報を提示している例を表したものである。図8に示す例では、被写体候補である人物の顔に対してマーカー(枠)表示31、32が表示されているが、これに例えば人物の属性(性別、年齢、表情、個人名)などを表示しても良い。また、この属性を文字列ではなく、アイコン等によって抽象化した表示にしても良い。また、被写体候補抽出部9により複数の被写体候補が検出された場合、図8に示すようにそのまま重畳表示しても良いし、以下のように表示制御しても良い。即ち、撮影者の指定および撮影モードによって被写体候補の重要度が予め分かっている場合や、被写体候補抽出結果の過去の履歴等からその重要度を算出した場合には、選択的に被写体候補を提示するようにしても良い。
図9は、複数の被写体候補の内、少なくともその一部が画像表示部7の外側にある場合に、被写体候補提示部10が情報表示を行った場合について示している(図2のステップS9)。この場合には、画像表示部7の外側にある被写体候補について矢印表示42で被写体候補が画像表示範囲からどれくらい離れているか、その概略情報を示し、メッセージ表示43である程度詳細な情報を提示している。なお、この情報を利用して、撮像部3が被写体候補を撮影できるように、自動的にパン・チルト角を変更したり、結像光学系1の画角を変更するように構成することも可能である。
以上のように、撮像装置の撮影画角外に被写体候補がある場合にも、被写体候補の存在を検知することが可能になる。さらに、撮影画角外にある被写体候補位置の情報を撮影者に的確に提示することが可能となる。
上記第1の実施形態では、撮像部3からの画像データ及び広範囲センサ8からの情報に基づいて被写体候補を検出するものとして説明した。しかし、広範囲センサ8から得られる情報が撮像部3の撮像範囲を含む場合には、撮像部3からの画像データを用いずに広範囲センサ8からの情報に基づいて被写体候補を検出することも可能である。
また、上記第1の実施形態では、広範囲センサ8が画像データを出力する場合について説明したが、例えば、温度センサの場合には温度を、また集音装置の場合には音と言ったように、検出対象に合わせてカテゴリを設定すればよい。具体的には、温度センサの場合には、例えば、35〜37度というような所定温度範囲にしたり、集音装置の場合には、例えば、検知するカテゴリを「笑い声」や「XXデシベル以上の音」等とすることができる。そして、撮像部3の撮像範囲内かどうかについては、検知した方向及び撮像部3の画角に基づいて判断すればよい。
<変形例>
上記第1の実施形態では、撮像部3と広範囲センサ8とがそれぞれ独立に構成されている場合について説明したが、同一の構成であってもよい。本変形例ではその場合について説明する。なお、撮像装置の基本的な構成及び処理は上述した第1の実施形態と同様であるため、第1の実施形態と異なる部分について説明する。
上記第1の実施形態では、撮像部3と広範囲センサ8とがそれぞれ独立に構成されている場合について説明したが、同一の構成であってもよい。本変形例ではその場合について説明する。なお、撮像装置の基本的な構成及び処理は上述した第1の実施形態と同様であるため、第1の実施形態と異なる部分について説明する。
図10は、同一構成によって実現される撮像部3と広範囲センサ8の関係を示す図であり、広範囲センサ8のセンシング領域を有するエリアセンサにより構成される。従って、エリアセンサの一部から出力される画像データが撮像部3から出力される画像データに対応し、このエリアセンサ全体または撮像部3に相当する領域以外から出力される画像データが広範囲センサ8から出力される画像データに対応する。
撮像部3の大きさは撮影者からの画角指示に応じて変化し、画角が狭くなるように指示されると(ズームイン)、例えば図10で実線で示す領域より狭い点線で示される領域の画像データが撮像部3の画像データとして出力される。反対に、画角が広くなるように指示されると(ズームアウト)、例えば図10で実線で示す領域より広い点線で示される領域の画像データが撮像部3の画像データとして出力される。なお、撮像部3の領域は、解像度を鑑みて、広範囲センサ8に対して一定の割合の範囲内となるように結像光学系1の画角を調整する。
以下、エリアセンサの中央近辺の領域を撮像部3、また、全体または撮像部3に相当する領域以外の領域を広範囲センサ8と呼ぶ。なお、撮像部3から出力される画像データが画像表示部7に表示される画像となる。
次に、撮像部3と広範囲センサ8が同一の装置であった場合に図2のステップS2で行われる撮像処理について、図11を参照して説明する。
まず、撮影者が不図示のシャッターを押下などして撮像指示信号が発せられると(ステップS31)、結像光学系1のカメラパラメータから現在の画角A1を求める(ステップS32)。これは、広範囲センサ8の画角に相当する。続いて撮影者の指定するカメラパラメータから撮像部3の画角A2を求める(ステップS33)。そして、求めた画角A2が、現在の画角A1に対して、所定範囲内にあるかを判断する(ステップS34)。所定範囲内に無い場合には、撮像部3の画角A2が所定範囲内となるように、結像光学系1の画角を結像光学系制御部2により調整した後(ステップS35)、実際の撮像指示信号を撮像部3に発して、撮影を行う(ステップS36)。A2がA1に対して所定範囲内にある場合には(ステップS34でYES)、そのままステップS36に進んで撮影を行う。撮影により得られた画像データは、画像記憶部6に一時記憶される。
次に、図2のステップS3で行われる本変形例における画像処理について、図12を参照して簡単に説明する。
まず、結像光学系制御部2から得たカメラパラメータより、結像光学系1の画角A1を求める(ステップS41)。上述したように、この画角A1は広範囲センサ8の画角である。更に、撮影者の指定する画角A2を求める(ステップS42)。
次に、画角A1及びA2に基づいて、エリアセンサから得られた画像データから、画角A2の画像となるように画像を切り出して、解像度変換を施す(ステップS43)。その後、所定の画像処理、例えば結像光学系1の歪みなど収差補正や、明るさの変換等、を施したのち(ステップS44)、画像表示部7に表示する(ステップS45)。所定の画像処理は、例えば結像光学系1の歪みなどの収差補正や、明るさを変換する処理である。他に、画像表示部7の解像度に合うように画像データの解像度を変換する処理等も行われる。なお、この所定の画像処理は、例えば、処理速度が重視されるような場合には、その一部または全部を行わないようにしてもよい。
上記の通り本変形例によれば、撮像部3と広範囲センサ8を同一構成により実現することができる。その場合、撮像部3と広範囲センサ8を別々に構成する場合と比較して、構成を単純にすることが可能となる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
次に、本発明の第2の実施形態について説明する。
本第2の実施形態では、第1の実施形態の構成に加え、更に移動体予測部を有する場合について説明する。
図13は、本第2の実施形態における撮像装置200の機能構成を示すブロック図である。図13に示す構成は、第1の実施形態で説明した図1の構成と比較して、第1の実施形態の構成に加えて移動体予測部11を更に備える。移動体予測部11は、撮像画角外にある被写体候補が撮像画角内に入ってくる時刻、及び撮像画角内にある被写体候補が撮像画角外に出て行く時刻を予測する。被写体候補提示部10はこの予測を情報として撮影者に提示する。なお、この他の構成要素については図1の構成と同様であるため同じ参照番号を付し、説明を省略する。
被写体候補抽出部9は、第1の実施形態における被写体候補抽出部9と同様に、人物の身体各部や車などや、予め登録された限定的種類でのマルチカテゴリ対応の物体検出部21を有する。さらに、本第2の実施形態では、物体検出されたオブジェクトが人物である場合、その年齢や性別などの属性情報を検出する状態検出部22が、動いている状態を検出する機能を有する。動いているかいないかを判定するための照合用分類モデルデータとしては、物体検出結果の時系列データであって、移動体の各部位の特徴点位置の変化パターンを用いる。移動体の各部位の特徴点位置は、3次元空間に時間軸を加えた4次元空間または撮像センサ面への投影2次元空間に時間軸を加えた3次元空間におけるものである。
図14は本第2の実施形態の被写体候補を提示する全体処理を示すフローチャートである。図14に示す処理は、第1の実施形態で説明した図2に示す処理とは、ステップS6における被写体候補の有無を判断する処理までが同じであるので説明を省略し、被写体候補があると判断された後の処理について説明する。
ステップS6において、被写体候補があると判断されるとステップS51に進み、移動体抽出処理を行う。この処理は前述したように、状態検出処理(図4のステップS22)の結果から、予め被写体候補でかつ動いている状態の物体をラベル付けしておいて、そのラベルを調べることによって行われる。なお、移動体抽出処理については、詳細に後述する。次に被写体候補が移動体か否かを判断する(ステップS52)。被写体候補が移動体で無い場合は、図2のステップS7〜S9と同様の処理を行い、ステップS56に進む。
一方、被写体候補が移動体であった場合は(ステップS52でYES)、被写体候補が画像表示部7に表示されているか、即ち、撮像部3により撮影された画像に含まれているかどうかを判定する(ステップS53)。被写体候補が画像表示部7に表示されている場合は、被写体候補提示部10は、被写体候補にマーカー表示を施し、さらに移動体予測部による情報を画像表示部7上にメッセージ出力したり、またはスピーカーから音声を出力する等して撮影者に提示する(ステップS54)。移動体予測部11による情報とは、例えば移動速度や、表示画面内から外側へ移動してしまう時刻、移動する物体をぶれなく撮影する所謂「流し撮り」を行うのに最適な指示情報となる撮像装置を動かす速度、露出、ピント制御などである。
一方、被写体候補が画像表示部7に表示されていない場合、即ち、広範囲センサ8から出力された情報のみから抽出された被写体情報である場合は(ステップS53でNO)、移動体予測部11によって得られた被写体候補に関する情報を画像表示部7に表示する。ここでは、例えば被写体の種類や属性のほかに、撮影画角内に被写体候補が入ってくる予想時刻や、上述のような流し撮りを行うための撮影者への最適な指示、シャッタータイミング、ピント、露出などの情報提示を行う。
ステップS52以降の処理を、全ての被写体候補について(ステップS56でYESとなるまで)行い、当該処理を終了する。
次に、図15を参照しながら、移動体予測部11について説明する。図15は、移動体予測部11の構成を示すブロック図である。フレームバッファ41は、動きベクトルを抽出するために、画像記憶部6に記憶された画像データ及び広範囲センサ8からの情報と被写体候補抽出部9の結果を一時的に記憶しておく。動きベクトル抽出部42は、フレームバッファ41から取得した画像データと広範囲センサ8からの情報、および被写体候補抽出部9の結果の時系列データを用いて、移動体である被写体候補の動きベクトルを取得する。移動速度算出部43は、動きベクトル抽出部42で抽出された移動体の速度を計算し、時系列データとして出力する。移動体位置予測部44は、移動体速度算出部43から取得した、移動体の速度の時系列データから、ある時刻の移動体の位置を予測し、被写体候補が撮像部3の画角の境界に来る時刻を算出する。
次に、移動体予測部11の処理について、図16のフローチャートを参照して説明する。この処理は、ステップS54及びS55で行われる。
まず、フレームバッファ41から画像の時系列データを取得する(ステップS60)。そして、時系列画像データから動きベクトルを抽出する(ステップS61)。ここで、動きベクトルは、公知の技術、たとえばオプティカルフローなどを用いて求めればよい。撮像装置200が動いている場合でも、グローバルな動きベクトルを取り去ることによって、注目する移動物体の動きベクトルだけを抽出することができる。続いて、結像光学系制御部2からカメラパラメータを取得する(ステップS62)。カメラパラメータから結像光学系1の焦点距離を取得し、また移動体は被写体候補抽出部9により予めその大きさが分かっているので、移動体までの距離が算出され、両者と動きベクトルの分布から移動体の移動速度を推定する(ステップS63)。続いて、推定された移動速度から、画像表示部7の表示範囲との位置関係を時系列で求める(ステップS64)。このとき、移動体だけに合焦させて撮影する、所謂「流し撮り」に最適な、撮像装置200を移動体に合わせて動かす速度をカメラパラメータから求めることも同時にできる。移動体が画像表示部7の表示範囲との境界に達する時刻を、フレームインまたはフレームアウトの予測時刻として提示する(ステップS65)。
図17は、被写体候補が移動体であって(ステップS52でYES)、且つ、画像表示部7の表示範囲内にあった場合(ステップS53でYES)の、移動体予測部11による結果の表示例である(ステップS54)。ここでは、移動体は人物であり、画面の右側から左側に移動している。被写体候補提示部10によって、人物の顔にマーカー(枠)表示がされ、移動速度が進行方向を向いた矢印とともに表示される。また、人物がフレームアウトすると予想される時刻をメッセージ表示している。
図18は、被写体候補が移動体であって(ステップS52でYES)、且つ、画像表示部7の表示範囲外にあった場合(ステップS53でNO)の、移動体予測部11による結果の表示例である(ステップS55)。ここでは移動体は特定の人物Aであり、表示画面の右外側から画面内に進入する場合を想定している。移動速度を、進行方向を向いた矢印とともに提示し、人物の名前と、フレームインする時刻をメッセージ表示している。また、流し撮りに最適な撮像装置の移動速度も表示している。
上記の通り本第2の実施形態によれば、上記第1の実施形態と同様の効果に加え、被写体候補が移動体である場合に、より詳しい情報を提示することが可能になる。
なお、上記第1及び第2の実施形態では、被写体候補抽出部9により抽出した被写体候補を示すマーカー表示を画像表示部7上で行う場合について説明したが、本発明では必ずしもマーカー表示を行わなくてもよい。例えば、抽出した被写体候補の情報に基づいて、被写体候補が撮像部3により撮像されるように撮像装置を制御するなど、撮像部3の撮像範囲外にある被写体候補の抽出結果を利用して様々な制御を行うことが考えられる。
また、本発明は、複数の機器(例えばカメラヘッド、ホストコンピュータ、インターフェイス機器、通信手段など)から構成されるシステムに適用しても、一つの機器(例えば、デジタルスチルカメラ、デジタルビデオカメラなど)からなる装置に適用してもよい。複数の機器で構成した場合には撮像以外の画像処理をホストコンピュータで実現するように構成することが可能であり、図2及び図15のステップS5以降の処理の一部または全部をホストコンピュータで行うことが可能である。
1 結像光学系
2 結像光学系制御部
3 撮像部
4 撮像動作制御部
5 画像記録部
6 画像記録部
7 画像表示部
8 広範囲センサ
9 被写体候補抽出部
10 被写体候補提示部
11 移動体予測部
21 物体検出部
22 状態検出部
23 個体認識部
31 特徴抽出部
32 モデルデータ記憶部
33 マッチング処理部
41 フレームバッファ
42 動きベクトル抽出部
43 移動体速度算出部
44 移動体位置予測部
2 結像光学系制御部
3 撮像部
4 撮像動作制御部
5 画像記録部
6 画像記録部
7 画像表示部
8 広範囲センサ
9 被写体候補抽出部
10 被写体候補提示部
11 移動体予測部
21 物体検出部
22 状態検出部
23 個体認識部
31 特徴抽出部
32 モデルデータ記憶部
33 マッチング処理部
41 フレームバッファ
42 動きベクトル抽出部
43 移動体速度算出部
44 移動体位置予測部
Claims (11)
- 画像を撮像して該画像の画像信号を出力する撮像手段と、
前記撮像手段の画角よりも広い領域の情報を感知するセンサ手段と、
少なくとも前記センサ手段によって得られた情報から、被写体候補を抽出する抽出手段と、
前記センサ手段からの情報及び前記撮像手段の画角に基づいて、前記抽出手段によって抽出された被写体候補が、前記撮像手段の撮像範囲内にあるか、前記撮像装置の撮像範囲外にあるかを判断する判断手段と
を有することを特徴とする撮像装置。 - 前記抽出手段は、前記撮像手段からの画像信号を更に用いて、被写体候補を抽出することを特徴とする請求項1に記載の撮像装置。
- 前記判断手段による判断結果を通知する通知手段を更に有することを特徴とする請求項1または2に記載の撮像装置。
- 前記被写体候補が移動体であるかどうかを判断し、移動体である場合には移動予測情報を出力する移動体検出手段を更に有し、
前記通知手段は、前記移動予測情報を更に通知し、前記移動予測情報は、前記被写体候補の移動速度及び方向と、前記被写体候補が前記撮像手段の撮像範囲内にある場合には撮像範囲外にフレームアウトするまで時間と、前記被写体候補が前記撮像装置の撮像範囲外にある場合には撮像範囲内にフレームインするまで時間の少なくともいずれかを含むことを特徴とする請求項3に記載の撮像装置。 - 前記通知手段は表示手段であって、前記被写体候補をマーカー表示することを特徴とする請求項3または4に記載の撮像装置。
- 前記通知手段は音声出力手段であって、前記判断手段による判断結果を音声により通知することを特徴とする請求項3または4に記載の撮像装置。
- 前記被写体候補が前記撮像手段の撮像範囲外にある場合に、前記通知手段は前記撮像手段の撮像範囲との位置関係を通知することを特徴とする請求項3乃至6のいずれかに記載の撮像装置。
- 前記判断手段により、前記被写体候補が前記撮像装置の撮像範囲外にあると判断された場合に、前記被写体候補が前記撮像装置の撮像範囲に入るように前記撮像手段を制御する制御手段を更に有することを特徴とする請求項1乃至7のいずれかに記載の撮像装置。
- 前記センサ手段は、撮像手段、集音手段、温度センサ、赤外線センサのいずれかであることを特徴とする請求項1乃至8のいずれかに記載の撮像装置。
- 前記撮像手段と前記センサ手段は、同一の撮像素子から画像信号の出力領域を選択することにより構成されていることを特徴とする請求項1または8に記載の撮像装置。
- 撮像装置と、該撮像装置に接続された画像処理装置とからなる撮像システムであって、
画像を撮像して該画像の画像信号を出力する撮像手段と、
前記撮像手段の画角よりも広い領域の情報を感知するセンサ手段と、
少なくとも前記センサ手段によって得られた情報から、被写体候補を抽出する抽出手段と、
前記センサ手段からの情報及び前記撮像手段の画角に基づいて、前記抽出手段によって抽出された被写体候補が、前記撮像手段の撮像範囲内にあるか、前記撮像装置の撮像範囲外にあるかを判断する判断手段と
を有することを特徴とする撮像システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005256862A JP2007074143A (ja) | 2005-09-05 | 2005-09-05 | 撮像装置及び撮像システム |
US11/417,578 US7945938B2 (en) | 2005-05-11 | 2006-05-04 | Network camera system and control method therefore |
US13/082,151 US8908078B2 (en) | 2005-05-11 | 2011-04-07 | Network camera system and control method therefor in which, when a photo-taking condition changes, a user can readily recognize an area where the condition change is occurring |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005256862A JP2007074143A (ja) | 2005-09-05 | 2005-09-05 | 撮像装置及び撮像システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007074143A true JP2007074143A (ja) | 2007-03-22 |
Family
ID=37935248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005256862A Withdrawn JP2007074143A (ja) | 2005-05-11 | 2005-09-05 | 撮像装置及び撮像システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007074143A (ja) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007142866A (ja) * | 2005-11-18 | 2007-06-07 | Fujifilm Corp | 撮像装置 |
JP2008276732A (ja) * | 2007-03-30 | 2008-11-13 | Fujifilm Corp | 画像処理装置、画像処理方法、画像管理装置、画像管理方法、プログラム、及び画像注文票 |
JP2008278480A (ja) * | 2007-04-02 | 2008-11-13 | Sharp Corp | 撮影装置、撮影方法、撮影装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2009118009A (ja) * | 2007-11-02 | 2009-05-28 | Sony Corp | 撮像装置、その制御方法およびプログラム |
JP2009130592A (ja) * | 2007-11-22 | 2009-06-11 | Nikon Corp | カメラ |
JP2009218719A (ja) * | 2008-03-07 | 2009-09-24 | Panasonic Corp | 撮像装置及び撮像方法 |
JP2010004381A (ja) * | 2008-06-20 | 2010-01-07 | Olympus Corp | 携帯情報端末 |
JP2010021597A (ja) * | 2008-07-08 | 2010-01-28 | Victor Co Of Japan Ltd | 撮像装置および撮像方法 |
JP2010141722A (ja) * | 2008-12-12 | 2010-06-24 | Panasonic Corp | 撮像装置 |
JP2011095373A (ja) * | 2009-10-28 | 2011-05-12 | Canon Inc | 表示制御装置、表示制御方法、プログラム及び記憶媒体 |
WO2011142480A1 (en) * | 2010-05-14 | 2011-11-17 | Ricoh Company, Ltd. | Imaging apparatus, image processing method, and recording medium for recording program thereon |
CN102265215A (zh) * | 2008-12-05 | 2011-11-30 | 索尼爱立信移动通讯有限公司 | 触摸聚焦的摄像机系统和方法 |
JP2011259384A (ja) * | 2010-06-11 | 2011-12-22 | Sharp Corp | 撮像装置、表示装置、プログラム及び記録媒体 |
US8254712B2 (en) | 2007-03-30 | 2012-08-28 | Fujifilm Corporation | Image processing apparatus, image processing method, image managing apparatus, image managing method, computer program product, and image order sheet |
JP2014093691A (ja) * | 2012-11-05 | 2014-05-19 | Olympus Imaging Corp | 撮像装置、撮像方法およびプログラム |
JP2015195018A (ja) * | 2014-03-18 | 2015-11-05 | 株式会社リコー | 画像処理装置、画像処理方法、運転支援システム、プログラム |
JP2016039394A (ja) * | 2014-08-05 | 2016-03-22 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびコンピュータプログラム |
WO2019069581A1 (ja) * | 2017-10-02 | 2019-04-11 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
-
2005
- 2005-09-05 JP JP2005256862A patent/JP2007074143A/ja not_active Withdrawn
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007142866A (ja) * | 2005-11-18 | 2007-06-07 | Fujifilm Corp | 撮像装置 |
JP4572815B2 (ja) * | 2005-11-18 | 2010-11-04 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
JP2008276732A (ja) * | 2007-03-30 | 2008-11-13 | Fujifilm Corp | 画像処理装置、画像処理方法、画像管理装置、画像管理方法、プログラム、及び画像注文票 |
US8254712B2 (en) | 2007-03-30 | 2012-08-28 | Fujifilm Corporation | Image processing apparatus, image processing method, image managing apparatus, image managing method, computer program product, and image order sheet |
JP2008278480A (ja) * | 2007-04-02 | 2008-11-13 | Sharp Corp | 撮影装置、撮影方法、撮影装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2009118009A (ja) * | 2007-11-02 | 2009-05-28 | Sony Corp | 撮像装置、その制御方法およびプログラム |
JP2009130592A (ja) * | 2007-11-22 | 2009-06-11 | Nikon Corp | カメラ |
JP2009218719A (ja) * | 2008-03-07 | 2009-09-24 | Panasonic Corp | 撮像装置及び撮像方法 |
JP2010004381A (ja) * | 2008-06-20 | 2010-01-07 | Olympus Corp | 携帯情報端末 |
JP2010021597A (ja) * | 2008-07-08 | 2010-01-28 | Victor Co Of Japan Ltd | 撮像装置および撮像方法 |
CN102265215A (zh) * | 2008-12-05 | 2011-11-30 | 索尼爱立信移动通讯有限公司 | 触摸聚焦的摄像机系统和方法 |
JP2010141722A (ja) * | 2008-12-12 | 2010-06-24 | Panasonic Corp | 撮像装置 |
JP2011095373A (ja) * | 2009-10-28 | 2011-05-12 | Canon Inc | 表示制御装置、表示制御方法、プログラム及び記憶媒体 |
US9057932B2 (en) | 2010-05-14 | 2015-06-16 | Ricoh Company, Ltd. | Imaging apparatus, image processing method, and recording medium for recording program thereon |
CN102986208B (zh) * | 2010-05-14 | 2016-10-12 | 株式会社理光 | 成像装置、图像处理方法和用于在其上记录程序的记录介质 |
JP2011244046A (ja) * | 2010-05-14 | 2011-12-01 | Ricoh Co Ltd | 撮像装置、画像処理方法、及びプログラム記憶媒体 |
CN102986208A (zh) * | 2010-05-14 | 2013-03-20 | 株式会社理光 | 成像装置、图像处理方法和用于在其上记录程序的记录介质 |
KR101489048B1 (ko) * | 2010-05-14 | 2015-02-02 | 가부시키가이샤 리코 | 촬상 장치, 화상 처리 방법 및 프로그램을 기록하기 위한 기록 매체 |
WO2011142480A1 (en) * | 2010-05-14 | 2011-11-17 | Ricoh Company, Ltd. | Imaging apparatus, image processing method, and recording medium for recording program thereon |
JP2011259384A (ja) * | 2010-06-11 | 2011-12-22 | Sharp Corp | 撮像装置、表示装置、プログラム及び記録媒体 |
US9641751B2 (en) | 2012-11-05 | 2017-05-02 | Olympus Corporation | Imaging apparatus, imaging method thereof, and computer readable recording medium |
JP2014093691A (ja) * | 2012-11-05 | 2014-05-19 | Olympus Imaging Corp | 撮像装置、撮像方法およびプログラム |
JP2015195018A (ja) * | 2014-03-18 | 2015-11-05 | 株式会社リコー | 画像処理装置、画像処理方法、運転支援システム、プログラム |
JP2016039394A (ja) * | 2014-08-05 | 2016-03-22 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびコンピュータプログラム |
WO2019069581A1 (ja) * | 2017-10-02 | 2019-04-11 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JPWO2019069581A1 (ja) * | 2017-10-02 | 2020-11-19 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
US11468574B2 (en) | 2017-10-02 | 2022-10-11 | Sony Corporation | Image processing apparatus and image processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007074143A (ja) | 撮像装置及び撮像システム | |
US7945938B2 (en) | Network camera system and control method therefore | |
US8314854B2 (en) | Apparatus and method for image recognition of facial areas in photographic images from a digital camera | |
JP4274233B2 (ja) | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム | |
EP2052347B1 (en) | Real-time face tracking in a digital image acquisition device | |
KR100911695B1 (ko) | 촬상 장치 및 촬상 방법 | |
US8050465B2 (en) | Real-time face tracking in a digital image acquisition device | |
US8879802B2 (en) | Image processing apparatus and image processing method | |
JP4553384B2 (ja) | 撮像装置及びその制御方法、コンピュータプログラム、記憶媒体 | |
JP2007074142A (ja) | 撮像装置及びその制御方法、及び画像処理装置及び方法 | |
US12002279B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
JP2021132362A (ja) | 被写体追尾装置、被写体追尾方法、コンピュータプログラム及び記憶媒体 | |
JP5539565B2 (ja) | 撮像装置及び被写体追跡方法 | |
JP4781248B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記録媒体 | |
JP5247419B2 (ja) | 撮像装置および被写体追跡方法 | |
JP2008148262A (ja) | 撮像装置及び撮像装置の制御方法、プログラム及び記憶媒体 | |
JP5383207B2 (ja) | 情報処理装置、制御方法、コンピュータプログラム、および記憶媒体 | |
JP7566471B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2013157675A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP7566830B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム | |
CN113691731B (zh) | 一种处理方法、装置和电子设备 | |
US20240212193A1 (en) | Image processing apparatus, method of generating trained model, image processing method, and medium | |
CN107147845A (zh) | 对焦方法、装置和终端设备 | |
JP2024033747A (ja) | 撮像装置、撮像装置の制御方法、プログラム | |
JP2009017134A (ja) | 撮像装置、撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20081202 |