JP2006014291A - 撮影システムおよび撮影方法 - Google Patents

撮影システムおよび撮影方法 Download PDF

Info

Publication number
JP2006014291A
JP2006014291A JP2005150837A JP2005150837A JP2006014291A JP 2006014291 A JP2006014291 A JP 2006014291A JP 2005150837 A JP2005150837 A JP 2005150837A JP 2005150837 A JP2005150837 A JP 2005150837A JP 2006014291 A JP2006014291 A JP 2006014291A
Authority
JP
Japan
Prior art keywords
imaging
image
photographing
unit
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005150837A
Other languages
English (en)
Other versions
JP2006014291A5 (ja
JP4463151B2 (ja
Inventor
Seiichi Watanabe
清一 渡辺
Yasunori Tanaka
康則 田中
Yukinobu Kano
志進 叶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Fujifilm Holdings Corp
Original Assignee
Fujinon Corp
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujinon Corp, Fuji Photo Film Co Ltd filed Critical Fujinon Corp
Priority to JP2005150837A priority Critical patent/JP4463151B2/ja
Publication of JP2006014291A publication Critical patent/JP2006014291A/ja
Publication of JP2006014291A5 publication Critical patent/JP2006014291A5/ja
Application granted granted Critical
Publication of JP4463151B2 publication Critical patent/JP4463151B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】広範囲にわたり詳細な画像情報を得ることができ、従って、所定の撮影時空間内の全領域における所定の撮影時間内の任意の時点における画像、特に動画像を、高精細かつリアルタイムで撮影することができる撮影システムおよび撮影方法を提供する。
【解決手段】本発明の撮影システムは、所定の撮影時空間を撮影するための撮影システムであり、所定の撮影時空間を撮像する少なくとも2つの焦点距離が異なる撮像モジュールを有し、各撮像モジュールは、各撮像モジュールは、焦点距離が短い撮像モジュールより、焦点距離が長い撮像モジュールの方が高倍率に撮影倍率が設定されている。
【選択図】図1

Description

本発明は、所定の撮影時空間内の撮影空間あるいは撮影領域内において、その撮影時間内に撮影された所定の撮影対象、すなわち被写体の画像を撮影対象との距離によらず、対象物の大きさを一定の大きさで撮影でき、所定の撮影時空間内の所定の連続3次元空間の全空間における所定の撮影時間内の任意の時点における画像、特に動画像を、高精細かつリアルタイムで記録することのできる撮影システムおよび撮影方法に関し、特に、競技場や遊技場、学校、店舗、駅、空港、道路、駐車場、自動車、鉄道、船舶、航空機、工事現場、農場、河川、もしくは山岳などに設けられ、スポーツイベントなどの撮影、防犯のための監視もしくは撮影、事故の検証、または農作物、自然現象もしくは災害の観察の観測などに用いられる撮影システムおよび撮影方法に関するものである。
現在、防犯等のための店舗内の監視、作物もしくは災害の観察、事故等の検証、またはスポーツイベントの撮影またはテレビ放送のための撮影などにおいて、広い視野を持つ広角レンズを搭載したカメラが用いられている。特に、従来から極めて広い視野を有するカメラとしては、超広角の魚眼レンズを用いたカメラが知られている。
このように広角レンズまたは魚眼レンズを用いることにより、広い範囲の領域内の撮影対象や被写体を撮影することができるので、広い範囲の撮影対象の全情報を記録することが可能である。
一方、様々なスポーツイベントの撮影またはテレビ放送のための撮影などにおいては、個々の選手の決定的な瞬間のシーンを高い鮮明度で得るために、望遠レンズまたはズームレンズを用いるカメラでの撮影が行われている。望遠レンズおよび長い焦点距離を持つズームレンズの視野は狭いために、個々の選手などの撮影対象を追尾しながら、決定的な瞬間のシーン撮影が行われている。
また、視野が魚眼レンズまたは広角レンズ等ほど広くなく、また、視野が望遠レンズまたはズームレンズほど狭くないレンズを用いるカメラを用いて広い範囲の撮影対象を撮影するために、複数台のカメラを連続的に、または分散して配置することにより広い視野を撮影することが行なわれている。
また、カメラを自動またはオペレータにより旋回(チルトまたはパニング)させて、広い視野を撮影することも行なわれている。
特に、撮影システムにおいて超高精細画像を得るために、ズームレンズを取り付けたカメラをパン軸回転ステージおよびチルト軸回転ステージを用いてパンおよびチルト方向に回転させるとともに、ズーム動作およびフォーカス動作を行い、広い撮影範囲で撮影し、撮影された複数の画像を合成して空間画像を得ることも行われている(特許文献1参照)。
さらに、特許文献2には、焦点距離の異なる2つの固定焦点レンズ(光学系)と各レンズに対して開閉するシャッタとを1つの鏡胴内に配置し、このシャッタに対向して鏡胴の外側において2つのレンズによる被写体像が結像する位置(合焦位置)に撮像素子を配置し、シャッタを切り換えて、撮影画面を、通常の画面サイズのテレ画面(通常画面)とこれより一回り大きな画面サイズのワイド画面とに切り換えることができる多焦点カメラと、外側に配置される撮像素子に対して異なる離間距離となるように、同じ焦点距離の3つの固定焦点レンズ(光学系)をシャッタとともに1つの鏡胴内に配置した多焦点カメラとが開示されている。
また、特許文献3には、撮像素子と、焦点距離の異なる2つのレンズ部分を持つ固定焦点レンズ(多重焦点レンズ)とを持ち、撮像素子に近景の被写体および遠景の被写体を結像(合焦)させることができ、近景および遠景の両方にピントが合った画像を得ることができるテレビカメラ(撮像装置)を複数台(実施例では16台)並べてアレイ化することにより、カメラアレイによって撮影された広い範囲の画像から、複数のユーザが同時かつ独立にピンとずれのない焦点の合った画像を選択することができる画像システムが開示されている。
さらにまた、特許文献4には、被写体像を結像するためのレンズと、被写体輝度に基づいて適正露光を得る絞り値を演算で求めること、または手動設定された絞り値を入力することにより、絞り値を設定する絞り回路と、複数の被写体距離に関する情報を記憶し絞り回路によって設定された絞り値では、記憶された複数の被写体距離が深度内に入らないと判断された際に、所定の絞り値でレンズのピント位置をずらしながら複数回撮影を繰り返すよう制御する制御手段とを有するカメラが開示されている。
特開2004−194075号公報 特開平11−311832号公報 特開平9−139878号公報 特開平10−108057号公報
ところで、広角レンズを用いるカメラで撮影された画像において、得られる個々の撮影対象の情報量は、それほど多くはなく、詳細な情報を得ることができず、画像情報としての鮮明度が低下する、例えば、撮影対象である被写体の高精細な画像を得ることができないという問題がある。特に、超広角の魚眼レンズを用いたカメラにおいては、得られた画像の周辺部では、像が歪んでしまい、対象物の詳細な像を得ることができないという問題点がある。このため、魚眼レンズを用いたカメラを防犯用に用いる場合には、1台のカメラで広範囲の撮影が可能であるものの、不審人物の顔を特定することができないという問題点がある。
また、野球またはサッカーなど、スポーツイベントの撮影用または中継用のカメラとして、魚眼レンズまたは広角レンズを用いた場合には、広い範囲を1台のカメラで撮影することができるものの、得られた画像の周辺部では、像の歪みまたは鮮明度の不足などから選手の顔の判別が困難になるという問題点がある。
一方、様々なスポーツイベントの撮影またはテレビ放送のための撮影などにおいて、望遠レンズまたはズームレンズを用いるカメラで、個々の選手などの撮影対象を追尾しながら、決定的な瞬間を撮影する場合には、追尾対象となっている選手または被写体などの撮影対象は、鮮明な画像の情報が得られるが、望遠レンズまたはズームレンズの視野外で生じた場面の画像情報を得ることができないという問題がある。
ところで、結像レンズ等の光学系を用いるカメラを用いて、撮影対象である被写体の鮮明な画像情報、すなわち詳細な情報を得るためには、被写体にピント(焦点)が合っている(合焦している)ことが必要である。被写体にピントが合う範囲は、光学系、すなわちレンズの焦点距離と絞り(明るさ)によって決まる被写界深度の範囲内である。この被写界深度の範囲を外れると、被写体にピントが合わず、得られる画像は、いわゆる、ピンボケとなってしまう。なお、レンズの焦点距離が長いと被写界深度は狭くなる。
ここで、望遠レンズを用いる場合には、長い焦点距離に対する被写界深度が浅いために、選手等の撮影対象が被写界深度方向に移動した場合に、被写界深度からはずれ、鮮明な画像の情報が得られない場合があるという問題がある。なお、長い焦点距離を持つズームレンズを用いる場合には、焦点距離に対する被写界深度が浅くても、移動する撮影対象を追尾するとともに焦点距離を調整しながら、被写界深度内で撮影することができるので、いつも鮮明な画像の情報を得ることができるが、熟練者でなければ撮影が困難であるという問題がある。
また、複数台のカメラを設置して、防犯または観察もしくは観測のために監視する場合には、死角を減らすため、多くのカメラが必要であるという問題点がある。
また、スポーツイベントの撮影または中継のために複数台のカメラを設置する場合には、各カメラにオペレータが必要である。また、選手の動きなどに、オペレータが追従できない場合には、シーンの情報が得られないという問題点がある。
さらに、カメラを自動またはオペレータによりチルトまたはパニングさせて広い範囲の空間を撮影する場合、広範囲な空間の画像、特に、特許文献1に開示の撮影システムにおいては、ズームレンズを取り付けたカメラを用いるので、広範囲な高精細な画像を得ることができるが、同時に撮影可能な視野が広くなるわけではない。このため、このような場合には、特許文献1に開示の撮影システムも含め、カメラがチルトまたはパニングにより撮影される範囲内であっても、それぞれ別箇所で発生した事象を捉えることができないという問題点がある。
また、特許文献2においては、簡単な構成、すなわち簡便な多焦点式の光学系、例えば焦点距離の異なるレンズを用いて多焦点カメラを実現しているが、シャッタを用いて通常のサイズのテレ画面とより大きいワイド画面を切り換えるものに過ぎず、同時にテレ画面とワイド画面とを撮影できるわけではなく、すなわち、特許文献1に開示の撮影システム同様に、同時に撮影可能な視野が広がるわけではないし、他方で発生した事象を捉えることができないという問題点がある。
また、特許文献3に開示の画像システムでは、1台のカメラにおいて、近景および遠景の両方にピントが合った画像を得ることができるが、広い範囲の空間を撮影するためには、多数のテレビカメラ(撮像装置)、実施例では、16台ものカメラを用いなければならないという問題があった。このため、装置構成が大型になり、場合によっては撮影できない撮影領域を生じさせる虞があるという問題がある。
さらに、特許文献4に開示のカメラでは、1台のカメラで距離の異なる被写体の全てにピントがあった状態の写真を得ることができるものの、ピントをずらして複数回の撮影が必要であり、撮影範囲内で同時刻で発生した事象を全て捉えることができないという問題点がある。このため、被写体が移動した場合には、撮影開始時における画像を得ることできない。
本発明の目的は、前記従来技術に基づく問題点を解消し、広範囲にわたり詳細な画像情報を得ることができ、従って、所定の撮影時空間内の全領域における所定の撮影時間内の任意の時点における画像、特に動画像を、高精細かつリアルタイムで撮影することができる撮影システムおよび撮影方法を提供することにある。
上記目的を達成するために、本発明の第1の態様は、所定の撮影時空間を撮影するための撮影システムであって、前記所定の撮影時空間を撮像する少なくとも2つの焦点距離が異なる撮像モジュールを有し、前記各撮像モジュールは、焦点距離が短い撮像モジュールより、焦点距離が長い撮像モジュールの方が高倍率に撮影倍率が設定されていることを特徴とする撮影システムを提供するものである。
ここで、本発明においては、前記各撮像モジュールは、前記撮影時空間内において、同一対象物を撮影した場合、同じ大きさの対象物画像となるように配置してもよい。
本発明においては、前記異なる焦点距離を持つ撮像モジュールの各々は、前記撮影時空間内の任意の時点において同じ大きさの対象物を撮影した場合、前記同じ大きさの対象物を鮮明に撮像できる合焦範囲を有するものであり、前記異なる焦点距離を持つ撮像モジュールの各々は、前記撮影方向における前記合焦範囲が連続するか、または一部が重なるように配置されていることが好ましい。
さらに、本発明においては、合焦範囲は、同一対象物が鮮明に撮像できるものであってもよい。
また、本発明においては、前記各撮像モジュールは、焦点距離毎に複数設けられ、焦点距離が異なる撮像モジュール毎に前記撮影方向と直交する方向に2次元的に広がる撮影範囲を撮影することが好ましい。
さらにまた、本発明においては、さらに、前記各撮像モジュールにより撮影された画像を表示する表示部を有することが好ましい。
また、本発明においては、前記撮像モジュールのうち、焦点距離が長い撮像モジュールは、焦点距離が短い撮像モジュールに比して密に配置されていることが好ましい。
さらに、本発明においては、前記各撮像モジュールは、前記撮影時空間内の任意の時点において同じ大きさの対象物を撮影した場合、同じ大きさの対象物画像となるように撮影倍率が設定されていることが好ましい。
本発明においては、例えば、前記各撮像モジュールは、前記撮影時空間内において、同一対象物を撮影した場合、同じ大きさの対象物画像となるように撮影倍率を設定してもよい。
また、本発明においては、前記撮像モジュールは、焦点距離毎に撮影距離が設定されていることが好ましい。
また、本発明においては、前記焦点距離が同じ全ての撮像モジュールによる撮影範囲が、前記焦点距離毎の前記撮影範囲の各中心が同一線上に位置するように、前記各撮像モジュールが配置されていることが好ましい。
また、本発明においては、前記焦点距離が短い第1の撮像モジュールによる第1の撮影範囲は、前記焦点距離が長い第2の撮像モジュールによる第2の撮影範囲よりも小さいことが好ましい。
また、本発明においては、前記焦点距離が短い第1の撮像モジュールによる第1の撮影範囲は、前記焦点距離が長い第2の撮像モジュールによる第2の撮影範囲よりも大きいことが好ましい。
また、本発明においては、前記各撮像モジュールは、撮影タイミングが同期していることが好ましい。
また、本発明においては、前記撮像モジュールは、撮影対象の画像を光電変換して前記撮影対象の画像データを取得する光電変換素子を有することが好ましい。
また、本発明の第2の態様は、焦点距離が短い撮像モジュールより、焦点距離が長い撮像モジュールの方が高倍率に撮影倍率が設定されている撮像モジュールを用いて、前記所定の撮影時空間を撮影することを特徴とする撮影方法を提供するものである。
ここで、本発明においては、前記各撮像モジュールは、前記撮影時空間内において、同一対象物を撮影した場合、同じ大きさの対象物画像となるように配置してもよい。
本発明の撮影システムおよび撮影方法によれば、所定の撮影時空間を撮像する撮像モジュールに焦点距離が異なる少なくとも2種類のものを用い、各撮像モジュールの撮影倍率を、焦点距離が短い撮像モジュールより、焦点距離が長い撮像モジュールの方が高倍率に設定することにより、撮影時空間内の任意の時点において同じ大きさの対象物を撮影した場合、常に同じ大きさの対象物画像となるように撮像することができ、この撮影時空間内の全領域における所定の撮影時間内の任意の時点における画像、特に動画像を、高精細かつリアルタイムで撮影できる。
例えば、本発明においては、焦点距離が異なる少なくとも2種類の各撮像モジュールを、撮影時空間内において同一対象物を撮影した場合、同じ大きさの対象物画像となるように配置してもよい。このような構成としても、撮影時空間内において、同一対象物を常に同じ大きさで撮像することができ、この撮影時空間内の全領域における所定の撮影時間内の任意の時点における画像、特に動画像を、高精細かつリアルタイムで撮影できる。
また、本発明の撮影システムおよび撮影方法においては、対象物へのピントの調整が不要であるともに、カメラをチルトまたはパニングさせる必要がなく、かつ撮像モジュールを直接操作するオペレータを必要とせず、撮影時空間内の広範囲にわたり、鮮明度の高い詳細な画像情報を得ることができる。このように、本発明の撮影システムおよび撮影方法によれば、撮影時空間内の任意の時点において同じ大きさの対象物を撮影した場合、常に同じ大きさの対象物画像となるように撮像することができるとともに、得られる画像が歪むことがない。また、本発明の撮影システムおよび撮影方法によれば、撮影時空間内において、同一対象物を常に同じ大きさで撮像することもでき、得られる画像が歪むこともない。
これにより、本発明の撮影システムおよび撮影方法によれば、最適のシャッターチャンスを逃すことがなくなる。また、ズーム機構およびオートフォーカス機構などのレンズの駆動機構が不要になるため、構成を簡素化することができる。このように、本発明の撮影システムおよび撮影方法によれば、画像記録を容易に行うことができる。
さらに、本発明の撮影システムおよび撮影方法によれば、撮像モジュールに、CCDタイプまたはCMOSタイプのイメージセンサなどの光電変換素子を用いることにより、撮像モジュールを小型化でき、ひいては、システム全体を小型化できる。
以下に、添付の図面に示す好適実施形態に基づいて、本発明の撮影システムおよび撮影方法を詳細に説明する。
図1は、本発明の第1の実施例に係る撮影システムによる撮影領域を示す模式図である。図2は、本発明の第1の実施例に係る撮影システムを示す模式的ブロック図である。
本実施例の撮影システム10は、所定の撮影時空間、すなわち所定の撮影空間Sの全てを任意の撮影時間内において連続して撮影可能なものである。
図1に示すように、撮影システム10には、撮影画像を表示するためのモニタ24が設けられている。
なお、本実施例の撮影システム10においては、所定の撮影空間Sを、後述するように、例えば、14個の撮像モジュール26を用いて、例えば、3種類の撮影距離d、d、dで撮影するものを例にして説明するが、本発明は、特にこれに限定されるものではない。
本実施例の撮影システム10において、撮影距離dにおける撮影範囲Aは、例えば、1つの撮影領域Dにより構成されるものである。また、撮影距離dにおける撮影範囲Aは、例えば、4つの撮影領域D〜Dにより構成されるものである。さらに、撮影距離dにおける撮影範囲Aは、例えば、9つの撮影領域D〜D14により構成されるものである。
なお、本実施例においては、撮影領域D〜Dは、それぞれ1つの撮像モジュールにより撮影される範囲であり、面積が同じである。また、各撮像モジュール26により、撮影距離d、d、dで焦点が合った鮮明な画像が得られることは言うまでもない。
図2に示すように、本発明の撮影システム10は、基本的に撮影部12と、一時記憶部14と、合成部16と、記録部18と、外部インターフェース(以下、外部I/Fという)20と、制御部22とを有する。外部I/F20に、モニタ24が接続されている。
ここで、撮影部12および一時記憶部14は、それぞれ、複数の撮像ユニット12aおよびこれに対応する複数のメモリ14aを備えるものである。
図2に示す撮影システム10は、撮影部12および一時記憶部14を備える撮影手段と、合成部16、記録部18、外部I/F20および制御部22とを備えるデータ処理部とが一体化されている。
なお、本発明において、一時記憶部14では、撮影部12の複数の撮像ユニット12aにそれぞれに対応する同数のメモリ14aを備えているが、本発明はこれに限定されず、2つ以上の撮像ユニット12a、または全ての撮像ユニット12aに対して1つのメモリ14aを設けるようにしても良い。しかしながら、所定の撮影時空間の全ての空間での全ての時間もしくは任意の時間における撮影対象のデジタル画像データを得るためには、全ての撮像ユニット12aからの画像データを同時かつ並行して連続的に取り込む必要があるため、各撮像ユニット12a毎に同数のメモリ14aを備えていることが好ましい。
撮影部12は、所定の撮影時空間において撮影対象となる被写体を含む撮影空間(撮影対象領域)を全てくまなく連続して撮影するものである。この撮影部12は、撮影空間において死角をないようにして全空間を撮影することができる必要最小限の複数の撮像ユニット12aが設けられているものである。この撮像ユニット12aにより得られる画像は、カラーでもモノクロであってもよく、特に限定されるものではない。
なお、本発明の撮影システム10において、撮影部12の複数の撮像ユニット12a(後述する撮像モジュール26(図4参照))の各々は、所定の焦点距離、および撮影システム10が撮影対象とする撮影空間Sの内の予め設定された所定の位置に合焦位置を持ち、この合焦位置に対して被写界深度の範囲(以下、合焦範囲をという)内を、予め設定された撮影対象領域となる所定の撮影対象空間とするもので、この撮影対象空間内に存在する撮影対象となる被写体を撮影するものである。各撮像ユニット12aにおいては、合焦範囲内では、同じ大きさの対象物を撮影した場合、すなわち、同一対象物を撮影した場合、常に同じ大きさで撮影する。例えば、同じ大きさの対象物(同一対象物)を撮影して、本実施例の各撮像ユニット12aにより得られる同じ対象物の画像(同一対象物画像)は撮影範囲S内では全て同じ大きさとなるように配置されている。
さらに、全ての撮像ユニット12aは、撮影タイミングが同期されており、同じタイミングで撮影空間Sを撮影している。この撮影タイミングは、例えば、制御部22による発生されたクロックなどにより同期されている。
ここで、図3は、本実施例の撮影システムの撮像ユニットの構成の一例を示すブロック図である。なお、本発明においては、複数の撮像ユニット12aは、撮像ユニット12aの構成は、基本的に、合焦位置が異なる以外は、すなわち、焦点距離により後述する撮像モジュールのレンズ構成が異なる以外は、全て同一であるので、図面に示す撮像ユニット12aを代表例として説明し、それ以外のものについての説明は省略する。
図3に示すように、撮像ユニット12aは、撮像モジュール26と、アンプ30と、A/D変換器32とを有するものである。
撮像モジュール26は、上述したように、撮像ユニット12aが予め設定された合焦位置および撮影対象領域または空間を持ち、この撮影対象領域(空間)内の撮影対象の画像を撮影し、画像信号として得るためのもので、撮像ユニット12aの持つ合焦位置および撮影対象領域または空間を設定するための、所定の焦点距離を持つ結像レンズ34と、結像レンズ34によって結像された撮影対象領域内の撮影画像(画像情報を担持する光を光電変換して)を、画像情報(画像信号)として読み取る撮像素子36とを備える。
結像レンズ34は、所要の焦点距離を有するレンズであれば、特に制限的ではなく、公知の結像レンズを用いることができるが、近年、カメラ付き携帯電話などに用いられる小サイズの結像レンズ、特に、高性能の小サイズのレンズなどを好ましく用いることできる。
また、撮像素子36は、撮影対象の画像情報を担持する光を電荷に変換し、すなわち、光電変換してアナログ画像信号として電気信号化するものであり、例えば、CCDタイプのイメージセンサ、またはCMOSタイプのイメージセンサなどを用いることができる。
なお、撮影部12の詳細な構成、撮像モジュール26、結像レンズ34および撮像素子36の具体的な構成については図5を用いて後に詳細に説明する。
アンプ30は、撮影対象に応じて撮像モジュール26により得られるアナログ画像信号(電荷)を増幅するものである。なお、撮像モジュール26によって得られるアナログ画像信号の強度が十分大きければ(電荷の量が十分多ければ)、アンプ30は、必ずしも必要ではない。
A/D変換器32は、アンプ30により増幅された撮影対象に応じて得られたアナログ画像信号(電荷)をデジタル画像信号(データ)に変換し、このデジタル画像データをメモリ14aに出力するものである。このA/D変換器32により、撮影対象の画像データをデジタル信号とし、このデジタル画像データがメモリ14aに記録される。
次に、一時記憶部14は、撮影部12の各撮像ユニット12aにより撮像された撮影対象の画像をデジタル画像データとして、一時的に記憶するものである。本発明の撮影システム10においては、一時記憶部14は、撮影部12によって撮影される撮影対象の画像を、所定の時点から所定の撮影時間内において連続的にリアルタイムで動画として取り込む必要がある。このため、一時記憶部14には、撮影部12の各撮像ユニット12aに対応して複数のメモリ14aが設けられており、各メモリ14aは、それぞれ接続された各撮像ユニット12aから連続して出力される撮影画像のデジタル画像データを順次一時的に記憶するものである。
こうして、一時記憶部14は、各メモリ14aに対応する各撮像ユニット12aの撮影画像のデジタル画像データを動画データとして順次連続して取り込むことができる。
このメモリ14aとしては、例えば、SRAM、またはDRAMなどの半導体メモリ、またはこれらを組み合わせたものが用いることができる。
合成部16は、一時記憶部14の複数のメモリ14aの全てに接続され、複数のメモリ14aから複数の撮像ユニット12a(撮像モジュール26)の各々で撮影された画像のデジタル画像データを読み出して、撮影空間の撮影方向に対して異なる合焦位置を持ついくつかの撮像ユニット12a(撮像モジュール26)で撮影された画像を、特に同一の撮影対象(被写体)の画像が同一のサイズの撮影対象(被写体)として再現されるように、連続した合成画像として合成するためのものである。デジタル画像データを合成するためのデジタル画像処理方法は、特に限定的ではなく、公知の合成処理方法またはソフトウエアなどを用いれば良い。
記録部18は、合成部16に接続され、合成部16で合成され、合成部16から出力された合成画像のデジタル画像データを、読み出し書き込み可能に記録して、保存するためのものである。この記録部18としては、例えば、SRAM、DRAM等の揮発性メモリ、またはEPROM、EEPROM、フラッシュメモリ等の不揮発性メモリなどの半導体記憶素子(メモリ)、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、磁気記録テープなどの記録メディア、またはこれらを組み合わせたものが用いられる。
外部I/F20は、記録部18に接続され、記録部18に保存されている合成画像のデジタル画像データを読み出して、モニタ24、外部PC、外部画像処理装置、外部の記録メディアドライブなどの画像データを扱う種々の装置に有線もしくは無線、またはインターネット、もしくはLANなどを介して送信または配信して、各撮像ユニット12aにより得られた画像、または合成画像などの各種画像をモニタ24に表示し、外部PCまたは外部画像処理装置で合成画像の画像データのデータ処理または画像処理を行い、合成画像の画像データを外部のメディアに記録するためのものである。
この外部I/F20としては、公知のデジタルデータ送信用または通信用I/Fを用いれば良い。なお、記録部18において、記録メディアなどに合成画像の画像データを記録できる場合には、この外部I/F20を設けなくても良いが、本発明の撮影システム10においては、備えていることが好ましい。
制御部22は、撮影部12(撮像ユニット12a)における撮像、一時記憶部14(メモリ14a)のデジタル画像データ書き込み/読み出し、合成部16における画像の合成処理、記録部18の合成画像の書き込み/読み出し、外部I/F20の画像データの送受信、モニタ24の画像表示を制御するものである。このモニタ24における画像表示は、静止画または動画を表示することを含む。
また、制御部22は、図示しないが、インターフェース、キーボード、マウス、モニタ、スキャナ、および各種の記録媒体のメディアドライブと接続されていても良い。
なお、制御部22は、一時記憶部14(メモリ14a)に一時記憶された画像データについて画像処理する画像処理機能を有していても良い。
また、本実施例においては、合成部16および記録部18に画像データを出力する構成にしているが、本発明は、これに限定されるものではない。制御部22により、一時記憶部14から画像データを外部I/F20に直接出力し、モニタ24に表示させることもできる。
モニタ24は、撮影部12により撮影して得られた画像を表示するものであり、外部I/F20に接続されている。
また、モニタ24は、合成部16で合成されて出力された合成画像のデジタル画像データが入力されて、合成画像の少なくとも一部もしくは全部を表示させるものでもある。
なお、本実施例の撮影システム10においては、撮像モジュール26が複数設けられている。このため、一時記憶部14(メモリ14a)に一時記憶された画像データに基づいて、制御部22の制御により、例えば、モニタ24に、各撮像ユニット12a毎に連続してまたは間欠的にメモリ14aを切り換えて、各撮像ユニット12a(各撮像モジュール26)により得られた画像を表示させる。
この場合、図4に示すように、モニタ24の画面24aを、撮像モジュール26の設けられた数以上、例えば、16の表示領域24bに分割して、各撮像モジュール26により得られた14個の画像の全てを表示領域24bにリアルタイムで表示させる。なお、モニタ24は、16の分割されているため、表示領域24c、24dは撮像モジュール26による画像が表示されない。
本実施例においては、撮像ユニット12a(撮像モジュール26)が多数設けられているため、また、全撮像ユニット12aの中のいくつかの撮像ユニット12aの組により撮影され、合成部16で合成された画像を、撮像ユニット12aの組を切り換えて、モニタ24に順次間歇的に表示させるようにしても良いし、さらに、モニタ24の画面を、撮像ユニット12aの組の数に分割して、各撮像ユニット12aの組により得られた合成画像を全てリアルタイムで表示させるようにしても良い。
撮像ユニット12aにより得られた全ての画像を合成部16により繋げてモニタ24に表示させてもよい。また、合成部16により撮影範囲A〜A毎の画像を作成し、これらの合成画像を連続または間欠的にモニタ24に表示させることもできる。
なお、モニタ24としては、例えば、CRT表示装置、液晶(LCD)表示装置、プラズマディスプレイ表示装置、および有機EL表示装置などを用いることができる。また、モニタ24の画面の分割数は、16に限定されるものではなく、撮影システム10に設けられた撮像モジュール26の配置数以上であれば、特に限定されるものではない。さらにモニタ24は、このモニタ24に表示させる表示形態に応じて、分割数を適宜変えて表示できることが好ましい。本発明の撮影システム10は基本的に以上のように構成される。
図5は、本実施例の撮影システムの撮像ユニットを構成する撮像モジュールの具体的な構成の一例を示す模式的断面図である。本発明においては、撮像モジュールの構成は、配置される位置によって、レンズの焦点距離が異なるだけであり、それ以外の構成は共通しているので、1つの撮像モジュールについてだけ説明し、他の撮像モジュールの説明は省略する。なお、図5において、アンプ30、およびA/D変換器32の図示は省略している。
図5に示すように、本実施例の撮影システム10の撮像モジュール26は、基本的に、結像レンズ34と、撮像素子36と、鏡筒60とを有する。
この撮像モジュール26においては、撮像素子36がフレキシブルプリント基板(以下、FPCという)40の表面40a上に実装されている。この撮像素子36を囲むように鏡筒60が設けられている。
また、基板44と、FPC40とは、例えば、ワイヤーボンディング、またはタブボンディングの実装手段により接続されている。
撮像素子36は、例えば、CCDイメージセンサ(以下、CCDセンサという)が用いられるものである。この撮像素子36は、基板44に、例えば、フォトダイオードにより構成される受光部(図示せず)が格子状に配置されている受光領域46が形成されている。また、基板44には、図5において図示していないアンプ30(図3参照)、およびA/D変換器32(図3参照)が形成されており、さらにはシフトレジスタなどのCCDを構成するに必要なものが、受光領域46の周辺に形成されている。このように、図5に示す撮像モジュール26は、実質的に撮像ユニット12aを示している。
また、基板44の表面には、受光領域46の周囲を囲むように隔壁48が形成されている。この隔壁48で囲まれた領域を覆うようにカバーガラス50が設けられている。このカバーガラス50により受光領域46は封止される。
さらに、撮像素子36において、カバーガラス50の上面には、赤外線カットフィルタ52が設けられている。
鏡筒60は、円筒状の筐体62を有し、この筐体62は、一端部が閉塞されており、他端部が開口されている。筐体62の他端部は、FPC40の表面40a上に接着等により堅固に取り付けられている。また、筐体62の内径は、基板44を内部に収納できる大きさを有し、開口部62a内に基板44が収納される。
筐体62の一端部側の閉塞面62bには、筐体62の中心軸Cに相当する位置を中心として、撮影光が入射する貫通孔62cが形成されている。また、筐体62の一端部側の内部には、結像レンズ34がレンズホルダ68を介して設けられている。
なお、中心軸Cは、結像レンズ34の光軸と一致している。このように、図5に示す撮像モジュール26は、実質的に撮像ユニット12aを示している。
本実施例の撮像モジュール26は、撮像ユニット12aに応じて、焦点距離が異なる複数種類のものが用いられる。この焦点距離が異なる場合、撮像モジュールにおいては、結像レンズ34の焦点距離が異なり、それに合わせて結像レンズ34の瞳位置を通る線Bと、受光領域46の受光面46aとの距離Lが異なる。また、焦点距離が異なる場合、撮像モジュールにおいては、焦点距離が短い撮像モジュールより、焦点距離が長い撮像モジュールの方が高倍率に撮影倍率が設定されている。それ以外の構成は、焦点距離が異なるいずれの撮像モジュールであっても同様の構成である。なお、撮像モジュール26は、光学式ズーム、機械式ズームまたは電子式ズームを備え、撮影倍率を変えることができるものであってもよい。
撮像素子36には、CCDセンサが用いられている。このCCDセンサの製造方法としては、例えば、シリコンウエハに多数のCCDセンサに対応する受光領域等を形成した後、シリコンウエハをダイシングして1個のCCDセンサ毎に切り出し、矩形のチップとし、さらにチップの上に隔壁を形成した後に、隔壁上にカバーガラスを載せて受光領域等を封止することにより製造する方法がある。
これ以外にも、このCCDセンサの製造方法としては、シリコンウエハに多数のCCDセンサに対応する受光領域等を形成した後、各CCDセンサに対応して隔壁を、例えば、碁盤目状に形成し、全てのCCDセンサを覆ってカバーガラスを貼着した後に、隔壁48を半分に切断するようにダイシングを行って製造する方法もある。
なお、撮像素子36は、固体撮像素子であれば、特に限定されるものではなく、CMOSセンサを用いることもできる。この撮像素子36に、固体撮像素子を用いることにより、撮像モジュール26を小型化することができる。
本発明の撮影部12の撮像ユニット12a(撮像モジュール26)の配置について図1および図6を参照して説明する。
ここで、図6は、本発明の第1の実施例に係る撮影システムの撮影モジュールの配置を説明するための模式図である。
本発明においては、撮影部12の撮像ユニット12a(撮像モジュール26)は、例えば、3種類の焦点距離f〜fを有するものを用いる。本実施例において、焦点距離f〜fは、例えば、f<f<fの関係にある。この場合、撮影倍率も、焦点距離f<焦点距離f<焦点距離fの順に高倍率に設定されている。
本実施例においては、焦点距離が最も短い撮像ユニット12a(焦点距離f)が、撮影距離dの撮像領域Dを撮影するように配置されている。また、焦点距離が次に短い撮像ユニット12a(焦点距離f)が撮影距離dの撮影領域D〜Dを撮影するように配置されている。さらに、焦点距離が最も長い撮像ユニット12a(焦点距離f)が撮影距離dの撮影領域D〜D14を撮影するように配置されている。このように、本発明においては、焦点距離f〜fに応じて撮影距離d〜dおよび撮影倍率が設定されている。
本実施例においては、撮影距離dにおける撮影範囲A(撮像領域D)を撮影する撮像ユニット12aの画角に基づく、撮影方向における範囲を撮影するために、撮影距離dにおいては撮影範囲Aを撮影する必要がある。この撮影範囲Aは、4つの撮像ユニット12aにより撮影される撮像領域D〜Dを有する。この撮影範囲Aにおける各撮像領域D〜Dは、それぞれ接している。
また、撮影距離dにおいては撮影範囲Aを撮影する必要がある。この撮影範囲Aは、9つの撮像ユニット12aにより撮影される撮像領域D〜D14を有する。この撮影範囲Aにおける各撮像領域D〜D14は、それぞれ接している。
このように、本実施例においては、撮影空間Sを撮影するために、合計14個の撮像ユニット12aが設けられており、撮像モジュール12aは、焦点距離が長いものほど密に配置されている。なお、撮影範囲A、Aにおける各撮像領域D〜D14は、撮像領域Dを撮影する撮像ユニット12aの画角に基づく範囲を撮影することができれば、一部が重なっていてもよい。この場合、合成部16により撮影画像が画像処理されて、1枚の画像とされる。
さらに、撮像ユニット12aは、撮影空間S内の任意の時点において、同じ大きさの対象物を撮影した場合、同じ大きさの対象物を鮮明に撮像できる、すなわち、同一対象物を鮮明に撮像できる合焦範囲を有するものである。
この合焦範囲は、例えば、焦点距離f〜fに応じて異なるものである。例えば、図6に示すように、撮影距離d(焦点距離f)を撮影する撮像ユニット12aは、合焦範囲δを有する。また、撮影距離d(焦点距離f)を撮影する撮像ユニット12aは、合焦範囲δを有する。撮影距離d(焦点距離f)を撮影する撮像ユニット12aは、合焦範囲δを有する。
本発明においては、各合焦範囲δ〜δが、撮影方向に対して一部が重なるように撮像モジュール12aが配置されている。これにより、撮影方向において、撮影空間S内の任意の時点において、同じ大きさの対象物を撮影した場合、すなわち、同一対象物を撮影した場合、常に同じ大きさで撮影することができる。なお、各合焦範囲δ〜δは、重なっている必要がなく、隣接する合焦範囲δ〜δが同士が接し、合焦範囲δ〜δが連続すればよい。
また、本発明においては、各撮影範囲A〜Aの中心P〜Pが、同一線上に位置するように各撮像モジュール12aを配置することが好ましい。また、本実施例においては、撮影距離d〜dの増加に伴い撮影範囲A〜Aを順次大きくしたが、本発明は、これに限定されるものではない。例えば、撮影距離d〜dの増加に伴い撮影範囲A〜Aを順次小さくしてもよい。さらには、撮影距離dの撮影範囲Aを最も大きくし、他の撮影範囲A、Aを小さくしてもよい。
また、撮像モジュール12aは、撮影空間S内の全域を撮影することができるように配置されるものである。このため、各撮影距離d〜dにおいて、撮影方向と直交する方向における撮影空間Sの全域をカバーする撮影範囲A〜Aとなるように2次元的な平面を撮影できるようにも配置されている。
さらに、本発明においては、撮像モジュール12aによる各撮影範囲A〜Aにおける撮影倍率は、撮影空間S内の任意の時点において、同じ大きさの対象物を撮影した場合、すなわち、同一対象物を撮影した場合、常に同じ大きさとなるように、所定の倍率に正確に設定されていることが好ましい。この場合、各合焦範囲δ〜δ内において撮影倍率が所定の範囲内となるように撮像モジュール12aが設けられている。これにより、撮像モジュール12aにより得られた画像においては、同じ対象物については撮影空間S内では同じ大きさとなる。このため、モニタ24に表示された画像またはプリントアウトされた画像から、撮影距離に拘らず対象物を正確に認識することができる。
また、本発明においては、撮像モジュール12aは、最適撮影距離となるように配置することが好ましい。これにより、撮像モジュールにより撮影された対象物までの距離を特定することができる。このように撮像ユニット12aを配置することにより、撮像モジュール26により得られた画像から被写体の大きさなどの形状の寸法を高い精度で得ることができる。
本実施例の撮影システム10においては、少なくとも2つの焦点距離が異なる撮像モジュール26を設け、各撮像モジュール26を撮影空間S内において、任意の時点で同じ大きさの対象物を撮影した場合、すなわち、同一対象物を撮影した場合、常に同じ大きさとなるように配置することにより、撮影空間S内の任意の時点において、同じ大きさの対象物を撮影した場合、すなわち、同一対象物を撮影した場合、常に同じ大きさで撮像することができる。このため、撮影空間S内の全領域における所定の撮影時間内の任意の時点における画像、特に動画像を、高精細かつリアルタイムで撮影することができる。これにより、画像記録を容易に行うことができ、最適な画像記録のタイミングを逃すことがなくなる。
また、本実施例の撮影システム10においては、得られた画像をモニタ24に種々の形態で表示することができ、記録することもできる。さらには、本実施例の撮影システム10においては、撮像モジュール26により撮影された画像を合成することもでき、得られた合成画像をモニタ24に表示させることもできる。
また、本実施例の撮影システム10においては、カメラのピントの調整が不要であるともに、カメラをチルトまたはパニングさせる必要がなく、撮像モジュールを直接操作するオペレータを必要とすることもない。このため、ズーム機構およびオートフォーカス機構などのレンズの駆動機構が不要になり、撮影システム10の構成を簡素化できる。
次に、本発明に係る撮影システムの第2の実施例について説明する。
図7は、本発明の第2の実施例に係る撮影システムを示す模式的ブロック図である。
なお、図7に示す撮影システム10aは、図2に示す第1の実施例の撮影システム10と、一時記億部14と合成部16との間に記録部38を備えている点、および撮影手段11aとデータ処理部13aとが分離されている点を除いて、同様の構成を有するものであるので、同一の構成要素には、同一の参照符号を付し、その詳細な説明は省略する。
本実施例の撮影システム10aは、互いに分離された撮影手段11aとデータ処理部13aとを有し、両者間は信号線によって接続されている。
撮影手段11aは、撮影部12および一時記億部14を備え、データ処理部13aは、記録部38、合成部16、記録部18、外部I/F20および制御部22を備える。
ここで、データ処理部13aの記録部38は、撮影手段11aの一時記憶部14の各メモリ14aに一時的に記憶されたデジタル画像データを読み出して、読み出し書き込み可能に保存するためのものである。
このため、合成部16は、記録部38から、複数の撮像モジュールの各々で撮影された画像のデジタル画像データを読み出して、撮影システム10aの撮影空間の撮影方向に対して異なる合焦位置を持つ複数の撮像モジュールで撮影された所定の撮影対象の画像を連続した合成画像として合成する。
なお、本実施例の撮影システム10aにおいては、記録部38を備えており、所定の撮影時空間内に撮影されたデジタル画像データが全て保存されているので、合成画像を記録保存する記録部18を備えていなくても良いのはもちろんである。後処理では、合成画像の方がデータ量が少ないので、画像データの解析には都合が良いが、正確な解析を行うには元のデータの方が良い。従って、必要とされる用途に従って、記録部18を備えるか否かを決めても良い。
本実施例の撮影システム10aは、撮影手段11aとデータ処理部13aとが分離されているので、撮影手段11aのみを必要な場所に配置し、オペレータによる監視または操作が必要なデータ処理部13aを別の場所に、撮影手段11aと離して配置することができる。このため、本発明の撮影システム10aは、コンビニエンスストアなどの店舗の防犯用監視システムとして用いることが有用である。例えば、本発明の撮影システム10aをコンビニエンスストアなどの店舗の防犯用として用いる場合には、撮影手段11aを、顧客の邪魔にならない店舗の天井または横壁の上方に取り付け、データ処理部13aを店舗外、例えば、裏側の事務室またはレジもしくはキャッシャが配置されるカウンタの内側に配置し、両者を通信ケーブルで接続することにより、有効な防犯監視システムとして用いることができる。
また、本実施例においては、記録部38から合成部16および記録部18に画像データを出力する構成にしているが、本発明は、これに限定されるものではない。記録部38から画像データを外部I/F20に直接出力し、モニタ24に表示させることもできる。なお、本実施例の撮影システム10aにおいても、第1の実施例の撮影システム10と同様の効果が得られることは言うまでもない。
次に、本発明に係る撮影システムの第3の実施例について説明する。
図8は、本発明の第3の実施例に係る撮影システムを示す模式的ブロック図である。
なお、図8に示す撮影システム10bは、記録部38が撮影手段11b側に備えられていて、データ処理部13b側に備えられていない点を除いて、図7に示す第2の実施例の撮影システム10aと、同様の構成を有するものであるので、同一の構成要素には、同一の参照符号を付し、その詳細な説明は省略する。
本実施例の撮影システム10bは、互いに分離された撮影手段11bとデータ処理部13bとを有し、両者間は信号線によって接続されている。
撮影手段11bは、撮影部12、一時記億部14および記録部38を備え、データ処理部13bは、合成部16、記録部18、外部I/F20および制御部22を備える。
ここで、撮影手段11bの記録部38は、一時記憶部14の各メモリ14aに一時的に記憶されたデジタル画像データを読み出して、読み出し書き込み可能に保存するためのものである。
このため、データ処理部13bの合成部16は、撮影手段11bの記録部38から、複数の撮像モジュールの各々で撮影された画像のデジタル画像データを読み出して、撮影システム10bの撮影空間の撮影方向に対して異なる合焦位置を持つ複数の撮像モジュールで撮影された所定の撮影対象の画像を連続した合成画像として合成する。
本実施例の撮影システム10bにおいては、撮影手段11b側に記録部38を備えている。このため、記録部38からのデジタル画像データの読み出しは、リアルタイムで連続して大量の画像データを処理する必要がないが、図7に示す撮影システム10aにおいては、データ処理部13aの記録部38は、撮影手段11aの一時記憶部14の各メモリ14a一時的に記憶されたデジタル画像データをリアルタイムで連続的に読み出して記録する必要があるので、撮影手段11aとデータ処理部13aとの間の信号線は、リアルタイムでの読み出しを可能とするものでなければならない。
従って、例えば、本発明の撮影システム10bをコンビニエンスストアなどの店舗の防犯用として用いる場合に、さらに有効な防犯監視システムとして用いることができる。
また、本実施例においては、記録部38から合成部16および記録部18に画像データを出力する構成にしているが、本発明は、これに限定されるものではない。記録部38から画像データを外部I/F20に直接出力し、モニタ24に表示させることもできる。なお、本実施例の撮影システム10bにおいても、第1の実施例の撮影システム10と同様の効果が得られることは言うまでもない。
本発明の撮影システムは、店舗などの監視システムなど監視、その他の防犯のための監視または撮影はもちろん、人物もしくは物の監視または撮影以外にも、スポーツイベントの撮影もしくは記録、または中継もしくは放送および道路などで生じる事故の記録もしくは検証に適用できる。また、本発明の撮影システムは、農作物または衝突現象などの自然現象、地震、または津波などの災害の観察または観測などにも用いることができる。さらには、本発明の撮影システムは、一般的にカメラが用いられていれば、どのようなものにも適用することができる。
なお、撮影空間としては、駅、駅構内、交差点、高速道路の出入り口などの道路、駐車場、工事現場、港湾、空港、自動車、鉄道、航空機、船舶などの車内、機内、船内など、幼稚園、保育園、小学校、中学校、高等学校、大学などの学校、会社、マンションなどの住居、広場、美術館、博物館、図書館、競馬場、遊園地、サッカー場、野球場、陸上競技場、テニスコート、プール、スケート場、アリーナ、バスケット、バレーなどが行われる体育館などの屋外/屋内競技場や遊技場、またはキャンプ場、農場、河川、山岳などが挙げられる。
また、本発明の撮影システムにおいては、記録された画像を編集し、CD、DVD、またはビデオテープなどの記憶媒体に記録して提供することもできる。
さらに、本発明の撮影システムを車、モータサイクルまたは自転車に搭載することにより、事故の瞬間まで画像記録が可能となる。この場合、記録部は、事故が起きた1時間位前の画像データを保存しておくことが好ましい。なお、事故の際に、衝撃または火災などにより、記録部は、破損する虞があるため、車外に設けることが好ましい。
次に、本発明の第4の実施例について説明する。
本発明の第4の実施例は、本発明の撮影システムをコンビニエンスストアなどの店舗の防犯用の監視システムに適用したものである。
図9は、本発明の第4の実施例に係る撮影システムを示す模式的ブロック図である。
なお、図9に示す撮影システム10cは、図2に示す第1の実施例の撮影システム10と、合成部16および記録部18が設けられていない点、警報部23が設けられている点、一時記憶部14の機能が異なる点、および制御部22の機能が異なる点を除いて、同様の構成を有するものであるので、同一の構成要素には、同一の参照符号を付し、その詳細な説明は省略する。
本実施例の撮影システム10cは、一時記憶部14および警報部23が設けられており、この警報部23は、制御部22により制御される。
本実施例の一時記憶部14は、第1の実施例の撮影システム10の記憶部18(図2参照)の機能も兼ねるものである。また、一時記憶部14に記憶された画像データは、制御部22に出力される。一時記憶部14のメモリ14aとしては、例えば、SRAM、またはDRAMなどの半導体記憶素子、ハードディスク、磁気記録テープ、またはこれらを組み合わせたものが用いられる。
本実施例の制御部22は、第1の実施例の制御部22の機能に加えて、一時記憶部14に記憶された画像データについて画像処理する画像処理機能を有する。さらに制御部22は、画像登録機能を有し、撮影画像が登録された画像であるか否かを判別する判別機能を有するものである。加えて、制御部22は、撮影ユニット12aにより撮影された画像の中から、特定の対象物を抽出し、追跡する画像追跡機能も備える。
本実施例において、画像登録機能を用いて、画像登録する場合には、スキャナまたは各種の記録媒体から登録したい画像を入力し、登録する。このとき、制御部22においては、登録画像の画像特徴量を算出し、登録画像と画像特徴量とを対応付けて保存される。画像特徴量としては、例えば、二値化処理により得られた輪郭画像、または濃度パターンが用いられる。
判別機能とは、撮影画像について、画像特徴量を算出し、得られた画像特徴量と、登録されている登録画像の画像特徴量とを、例えば、相関係数を用いて比較し、登録された画像であるか否かを判別する機能である。
画像追跡機能とは、全ての撮像ユニット12aで撮影された全ての画像について、画像特徴量の算出を行い、その中から、例えば、所定の登録された画像の画像特徴量と比較して、特定画像を抽出する。この作業を繰り返し行い、撮影対象領域内における特定の対象物を追跡することである。制御部22は、画像追跡して得られた結果を、記録部18に記録させることもできる。これ以外にも、オペレータにより、対象物の画像が指定され、この指定された画像を登録画像としてもよい。
さらに、制御部22は、登録された画像、または登録されていない画像を判別し、モニタ24または警報部23に警報信号を出力し、モニタ24または警報部23に警告を発生させるものである。例えば、防犯に用いた場合、登録されていない人物が確認された場合、警告を発生させ、さらには、鍵と連動させて、扉に鍵を掛けるようにすることができる。
警報部23は、制御部22により警報信号が入力されると、音声信号および光信号の少なくとも一方により、オペレータに注意を喚起させるものである。
警報部23において、音声信号を発生するものは、例えば、スピーカであり、このスピーカから警告音が発せられる。また、光信号を発生するものは、例えば、ライトまたはLEDなどの発光素子であり、この発光素子が点灯または点滅させられる。
本実施例の撮影システム10を監視システムに利用する場合、モニタ24をオペレータが監視している場合には、警報部23による警告、またはモニタ24に警報を表す警告画面を表示させることは、必ずしも必要ではない。しかし、オペレータの負担を軽減するために、警報部23により自動的に警報を発することが好ましい。
図10は、本発明の第4の実施例に係る撮影システムの外観を示す側面図である。本実施例の撮影システム10cは、360°全方位を撮影するものである。
図10に示すように、撮影システム10cは、撮影部12(図9参照)、および一時記憶部14(図9参照)が、例えば、半球状のシェル構造体である筐体70に収納されて構成されているものである。この筐体70は、例えば、店舗の天井72に取り付けられる。また、各撮像ユニット12aに、接続された各メモリ14a(図9参照)が筐体70内に設けられている。
筐体70には、極(最下点)に相当する位置に取付穴が形成されており、この取付穴に撮像ユニット12a(撮像モジュール26)が結像レンズ34を外側に向けて設けられている。
また、筐体70には、その表面に、取付穴(図示せず)の中心が同一平面の縁部に位置するように、所定の間隔で形成されている。本実施例においては、極を通る中心線Vに対して垂直方向の位置が異なり、中心線Vと直交する3つの平面α、β、γの縁部に中心が位置する取付穴が、所定のピッチで形成されている。その取付穴に撮像ユニット12aが取り付けられている。これにより、半球状の筐体70の表面に沿って撮像モジュール26が設けられる。
本実施例においては、3つの平面α、β、γのうち、極に最も近い平面αの縁部には、焦点距離は同じ撮像ユニット12a(撮像モジュール26)が、例えば、4つ設けられている。次に、極に近い平面βの縁部には、焦点距離は同じである撮像ユニット12a(撮像モジュール26)が、例えば、8つ設けられている。最も極から遠い平面γの縁部には、焦点距離は同じである撮像ユニット12a(撮像モジュール26)が、例えば、6つ設けられている。このように、合計19個の撮像ユニット12a(撮像モジュール26)が設けられている。
本実施例においては、極から遠くなるにつれて、撮像ユニット12a(撮像モジュール26)は、焦点距離が長いものが用いられている。例えば、撮像ユニット12aの撮影倍率は、焦点距離が短い撮像モジュールよりも焦点距離が長い撮像モジュールの方が高倍率に設定されている。
なお、本発明においては、一時記憶部14は、必ずしも筐体70内に設ける必要はない。例えば、無線または有線により筐体70の外部に一時記憶部14を設けて接続してもよい。
図11は、本実施例の撮影システムを店舗に設置した状態を示す模式的部分断面図である。図12は、図11に示す撮影システムの各撮像ユニットの撮影範囲を示す模式的平面図である。
図11に示すように、撮影システム10cは、店舗80の天井72に設置されており、撮影システム10cは、店舗80の床82(内部)を俯瞰して撮影するものである。
撮影システム10cにおいて、極(最下部)に設けられた撮影ユニット12aの撮影範囲は、撮影範囲Sである。また、平面αに設けられた撮影ユニット12aの撮影範囲は、撮影範囲Sである。平面βに設けられた撮影ユニット12aの撮影範囲は、撮影範囲Sである。平面γに設けられた撮影ユニット12aの撮影範囲は、撮影範囲Sである。
本実施例の撮影システム10cにおいては、図11および図12に示すように、店舗80の床82における撮影範囲S〜Sの面積は全て同じであり、各撮影範囲S〜Sは、隣接する各撮影範囲S〜Sと重なり、店舗80内の床82に死角が生じないように、各撮影ユニット12a(図2参照)が配置されている。
なお、本実施例においては、図12に示すように、床82が長方形状の店舗80を監視するものである。床82が長方形状であるため、撮影範囲Sに比して、撮影範囲Sで撮影する領域が小さい。このため、本実施例においては、最も焦点距離が長い撮像モジュールの数が、撮影範囲Sを撮影する撮像モジュールの数に比して少ない。
本発明の撮影システム10cにおいては、筐体70に設けられる位置によって、撮像モジュール26の焦点距離を変え、いずれの撮像モジュール26で撮影対象物を撮像した場合においても、同じ大きさになるように、撮像モジュール26は結像レンズが選択されている。
本実施例においては、例えば、焦点距離が4段階に異なる撮像モジュールが用いられている。撮影範囲Sから撮影範囲Sに向かうにつれて、撮像モジュールは、焦点距離が長いものが用いられている。また、撮影範囲Sから撮影範囲Sに向かうにつれて、撮影範囲が広くなるため、撮影モジュールの数を多く配置する必要がある。さらに、不要な撮像領域の重なりを減らすために、焦点距離が長いものは、焦点距離が短いものよりも上方に配置する必要がある。
また、各平面における撮像モジュールの焦点距離が同じであるため、各モジュールは、中心線Vに対して等距離、すなわち、同一平面の縁部に円状または円弧状に配置する必要がある。
ここで、図13は、本発明の第4の実施例に係る撮影システムの撮像ユニットの配置状態を示す模式図である。なお、図13において、撮像ユニット12aは黒丸(●)で示す。
図13に示すように、本実施例においては、各平面α、β、γの縁部に所定のピッチdα、dβ、dγで配置されている。撮像ユニット12aは、焦点距離によらず、各ピッチdα、dβ、dγを同じにし、同じ数均等に配置することより、本発明の効果を達成することができる。しかしながら、この場合、撮像領域の重なりが増加するとともに、撮像モジュールの数が多くなり、記録手段の容量を増やす必要がある。これにより、制御部の負担も多くなる。このため、遠く撮影範囲Sを撮像する撮像ユニット12aの数を多くして、ピッチdγを小さくする。すなわち、撮像モジュールを密に配置する。近くの撮影範囲Sを撮像する撮像ユニット12aの数を少なくして、ピッチdγを大きくする。すなわち、撮像モジュールを疎に配置する。このように、撮影範囲に応じて、撮像モジュールの数を適宜設定することにより、撮像モジュールの数を、死角が生じない状態で最も少なくすることができる。
本実施例においては、焦点距離が異なる複数の撮像モジュールを設けることにより、撮影領域において、撮影対象物の大きさを常に同じ大きさで撮像して、記録することができる。従来の魚眼レンズを用いた1つのカメラのように、像が歪むことがない。このため、撮影対象を歪むことなく、判別可能に記録することができる。
また、撮影領域内においては、複数の撮像モジュールにわたって撮影されても、追跡することができ、さらに、対象物を常に同じ大きさで撮影することができるため、特定の対象物の追跡を容易に行うことができる。このため、防犯に適用した場合には、不審人物の特定を容易に行うことができる。
さらには、玄関の軒先を撮影システムの撮影範囲として、家族について画像登録しておくことにより、家族以外の人が玄関に来た場合には、警報部を作動させるようにしてもよい。また、隣接する家に撮影システムを設置して、相互に不審人物の監視を行うようにすることもできる。
また、本実施例の撮影システム10cは、360°全方位撮影可能としたが、本発明は、これに限定されるものではない。撮影対象領域に応じて適宜、撮影可能な角度を設定することができる。例えば、撮影範囲が180°である場合、撮影システム10cは、筐体70を中心線Vを含む垂直面で切断した形状を有するものである。
さらに、撮像ユニット(撮像モジュール)を円状に配置しているが、撮像モジュールの配列は、これに限定されるものではない。例えば、エスカレータ、またはエレベータホール、または長方形状の通路を撮影するような場合には、撮像モジュールを直線状に配置しても、本実施例と同様の効果を得ることができる。このように、本発明においては、撮像ユニットは、焦点距離毎に円弧状または直線状に配列されるピッチおよび長さは、撮影対象領域に応じて定めることができる。
また、本実施例においては、筐体70に取付穴を形成し、この取付穴に撮像モジュールを取り付けているが、本発明はこれに限定されるものではない。筐体70に直接取り付けるのではなく、例えば、リング状部材を有するフレームに取り付けるようにしてもよい。
また、筐体70の形状も、特に限定されるものではない。撮像モジュールを筐体に直接取り付けるものでなければ、設置する場所に応じた形状にすることができる。
また、本実施例においては、特定の選手を追う場合にも、予め選手の特徴などを入力しておくことにより、複数の撮像モジュールにわたって撮影されても、容易に追跡処理が行える。これにより、視聴者の好みに応じた映像を容易に提供することができる。また、記録された画像を編集し、CD、DVD、またはビデオテープなどの記憶媒体に記録して提供することもできる。
さらに、本実施例の撮影システム10cにおいては、複数の撮像ユニット12aに対して、1つのメモリ14aを設ける構成にしてもよい。例えば、図14に示す撮影システム90aのように、2つの撮像ユニット12aに対して、一時記憶部15aの1つのメモリ14aを設ける構成としてもよい。この場合、撮像ユニット12a毎にメモリのポートなどを割り当てることにより、各撮像ユニット12aを識別することができる。また、無線で接続する場合には、各撮像ユニット12a毎に、例えば、周波数を変えるか、または送信信号に識別情報を付加して出力させる。このようにして、各撮像ユニット12aを識別することができる。
また、本実施例の撮影システム10cにおいては、例えば、図15に示す撮影システム90bのように、全ての撮像ユニット12aに対して、1つのメモリ14aを設ける構成にしてもよい。すなわち、一時記憶部15bに1つのメモリ14aを設ける構成としてもよい。この場合、撮像ユニット12a毎にメモリ14aのポートなどを割り当てることにより、各撮像ユニット12aを識別することができる。また、無線で接続する場合には、各撮像ユニット12a毎に、例えば、周波数を変えるか、または送信信号に識別情報を付加して出力させる。このようにして、各撮像ユニットを識別することができる。
本発明は、基本的に以上のようなものである。以上、本発明の撮影システムおよび撮影方法について詳細に説明したが、本発明は上記実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良または変更をしてもよいのはもちろんである。
本発明の第1の実施例に係る撮影システムによる撮影領域を示す模式図である。 本発明の第1の実施例に係る撮影システムを示す模式的ブロック図である。 本発明の第1の実施例の撮影システムの撮像ユニットの構成の一例を示すブロック図である。 本発明の第1の実施例の撮影システムのモニタを示す模式図である。 本実施例の撮影システムの撮像ユニットを構成する撮像モジュールの具体的な構成の一例を示す模式的断面図である。 本発明の第1の実施例に係る撮影システムの撮影モジュールの配置を説明するための模式図である。 本発明の第2の実施例に係る撮影システムを示す模式的ブロック図である。 本発明の第3の実施例に係る撮影システムを示す模式的ブロック図である。 本発明の第4の実施例に係る撮影システムを示す模式的ブロック図である。 本発明の第4の実施例に係る撮影システムの外観を示す側面図である。 本実施例の撮影システムを店舗に設置した状態を示す模式的部分断面図である。 図11に示す撮影システムの各撮像ユニットの撮影範囲を示す模式的平面図である。 本発明の第4の実施例に係る撮影システムの撮像ユニットの配置状態を示す模式図である。 本発明の第4の実施例に係る撮影システムの第1の変形例を示す模式的ブロック図である。 本発明の第4の実施例に係る撮影システムの第2の変形例を示す模式的ブロック図である。
符号の説明
10、10a、10b 撮影システム
11a,11b 撮影手段
12 撮影部
12a 撮像ユニット
14 一時記億部
14a メモリ
16 合成部
18,38 記録部
20 外部インターフェース(外部I/F)
22 監視部
24 モニタ
26 撮像モジュール
30 アンプ
32 A/D変換器
34 結像レンズ
36 撮像素子
40 フレキシブルプリント基板(FPC)
44 基板
46 受光領域
46a 受光面
50 カバーガラス
60 鏡筒
62 筐体
64 フランジ部
〜A 撮影範囲
〜D14 撮影領域

Claims (13)

  1. 所定の撮影時空間を撮影するための撮影システムであって、
    前記所定の撮影時空間を撮像する少なくとも2つの焦点距離が異なる撮像モジュールを有し、
    前記各撮像モジュールは、焦点距離が短い撮像モジュールより、焦点距離が長い撮像モジュールの方が高倍率に撮影倍率が設定されていることを特徴とする撮影システム。
  2. 前記異なる焦点距離を持つ撮像モジュールの各々は、前記撮影時空間内の任意の時点において同じ大きさの対象物を撮影した場合、前記同じ大きさの対象物を鮮明に撮像できる合焦範囲を有するものであり、
    前記異なる焦点距離を持つ撮像モジュールの各々は、前記撮影方向における前記合焦範囲が連続するか、または一部が重なるように配置されている請求項1に記載の撮影システム。
  3. 前記各撮像モジュールは、焦点距離毎に複数設けられ、焦点距離が異なる撮像モジュール毎に前記撮影方向と直交する方向に2次元的に広がる撮影範囲を撮影する請求項1または2に記載の撮影システム。
  4. さらに、前記各撮像モジュールにより撮影された画像を表示する表示部を有する請求項1に記載の撮影システム。
  5. 前記撮像モジュールのうち、焦点距離が長い撮像モジュールは、焦点距離が短い撮像モジュールに比して密に配置されている請求項1〜4のいずれか1項に記載の撮影システム。
  6. 前記各撮像モジュールは、前記撮影時空間内の任意の時点において同じ大きさの対象物を撮影した場合、同じ大きさの対象物画像となるように撮影倍率が設定されている請求項1〜5のいずれか1項に記載の撮影システム。
  7. 前記撮像モジュールは、焦点距離毎に撮影距離が設定されている請求項1〜6のいずれか1項に記載の撮影システム。
  8. 前記焦点距離が同じ全ての撮像モジュールによる撮影範囲が、前記焦点距離毎の前記撮影範囲の各中心が同一線上に位置するように、前記各撮像モジュールが配置されている請求項1〜7のいずれか1項に記載の撮影システム。
  9. 前記焦点距離が短い第1の撮像モジュールによる第1の撮影範囲は、前記焦点距離が長い第2の撮像モジュールによる第2の撮影範囲よりも小さい請求項8に記載の撮影システム。
  10. 前記焦点距離が短い第1の撮像モジュールによる第1の撮影範囲は、前記焦点距離が長い第2の撮像モジュールによる第2の撮影範囲よりも大きい請求項8に記載の撮影システム。
  11. 前記各撮像モジュールは、撮影タイミングが同期している請求項1〜10のいずれか1項に記載の撮影システム。
  12. 前記撮像モジュールは、撮影対象の画像を光電変換して前記撮影対象の画像データを取得する光電変換素子を有する請求項1〜12のいずれか1項に記載の撮影システム。
  13. 所定の撮影時空間を撮影するための撮影方法であって、
    焦点距離が短い撮像モジュールより、焦点距離が長い撮像モジュールの方が高倍率に撮影倍率が設定されている撮像モジュールを用いて、前記所定の撮影時空間を撮影することを特徴とする撮影方法。
JP2005150837A 2004-05-25 2005-05-24 撮影システムおよび撮影方法 Active JP4463151B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005150837A JP4463151B2 (ja) 2004-05-25 2005-05-24 撮影システムおよび撮影方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004154482 2004-05-25
JP2005150837A JP4463151B2 (ja) 2004-05-25 2005-05-24 撮影システムおよび撮影方法

Publications (3)

Publication Number Publication Date
JP2006014291A true JP2006014291A (ja) 2006-01-12
JP2006014291A5 JP2006014291A5 (ja) 2009-02-12
JP4463151B2 JP4463151B2 (ja) 2010-05-12

Family

ID=35780907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005150837A Active JP4463151B2 (ja) 2004-05-25 2005-05-24 撮影システムおよび撮影方法

Country Status (1)

Country Link
JP (1) JP4463151B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008060947A (ja) * 2006-08-31 2008-03-13 Fujinon Corp 監視カメラシステム
JP2008199195A (ja) * 2007-02-09 2008-08-28 Fujifilm Corp カメラ装置及びその制御方法
JP2009527150A (ja) * 2006-02-13 2009-07-23 ソニー株式会社 マルチレンズアレイシステム及び方法
WO2010134502A1 (ja) * 2009-05-18 2010-11-25 小平アソシエイツ株式会社 画像情報出力方法
JP2013223028A (ja) * 2012-04-13 2013-10-28 National Maritime Research Institute 全方位画像取得装置および画像情報提供システム
JP2016036066A (ja) * 2014-08-01 2016-03-17 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP2017505566A (ja) * 2013-12-09 2017-02-16 シゼイ シジブイ カンパニー リミテッド 多面映像の生成方法及びシステム
JP2017069986A (ja) * 2017-01-18 2017-04-06 株式会社リコー 撮像装置および画像処理装置
WO2023032274A1 (ja) * 2021-08-31 2023-03-09 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000069345A (ja) * 1998-08-18 2000-03-03 Casio Comput Co Ltd ズーム機能付きカメラ
JP2003037757A (ja) * 2001-07-25 2003-02-07 Fuji Photo Film Co Ltd 画像撮像装置
JP2003179797A (ja) * 2001-12-13 2003-06-27 Minolta Co Ltd 画像処理装置、デジタルカメラ、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000069345A (ja) * 1998-08-18 2000-03-03 Casio Comput Co Ltd ズーム機能付きカメラ
JP2003037757A (ja) * 2001-07-25 2003-02-07 Fuji Photo Film Co Ltd 画像撮像装置
JP2003179797A (ja) * 2001-12-13 2003-06-27 Minolta Co Ltd 画像処理装置、デジタルカメラ、およびプログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009527150A (ja) * 2006-02-13 2009-07-23 ソニー株式会社 マルチレンズアレイシステム及び方法
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
JP2008060947A (ja) * 2006-08-31 2008-03-13 Fujinon Corp 監視カメラシステム
US9001210B2 (en) 2006-08-31 2015-04-07 Fujifilm Corporation Surveillance camera system
JP2008199195A (ja) * 2007-02-09 2008-08-28 Fujifilm Corp カメラ装置及びその制御方法
US8593486B2 (en) 2009-05-18 2013-11-26 Kodaira Associates Inc. Image information output method
JP4854819B2 (ja) * 2009-05-18 2012-01-18 小平アソシエイツ株式会社 画像情報出力方法
WO2010134502A1 (ja) * 2009-05-18 2010-11-25 小平アソシエイツ株式会社 画像情報出力方法
JP2013223028A (ja) * 2012-04-13 2013-10-28 National Maritime Research Institute 全方位画像取得装置および画像情報提供システム
JP2017505566A (ja) * 2013-12-09 2017-02-16 シゼイ シジブイ カンパニー リミテッド 多面映像の生成方法及びシステム
JP2016036066A (ja) * 2014-08-01 2016-03-17 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP2017069986A (ja) * 2017-01-18 2017-04-06 株式会社リコー 撮像装置および画像処理装置
WO2023032274A1 (ja) * 2021-08-31 2023-03-09 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
JP4463151B2 (ja) 2010-05-12

Similar Documents

Publication Publication Date Title
US20050270387A1 (en) Photographing system and photographing method
JP4463151B2 (ja) 撮影システムおよび撮影方法
JP4943695B2 (ja) 多焦点カメラの撮影光学系
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
US10735671B2 (en) Intelligent high resolution video system
ES2845933T3 (es) Método y sistema de producción automática de televisión
US20190238800A1 (en) Imaging systems and methods for immersive surveillance
CN101513058B (zh) 用于检测和阻遏源自戏剧演出的内容信号的系统和方法
EP2223526B1 (en) Systems and methods of creating a virtual window
WO2010048618A1 (en) Systems and methods for high resolution imaging
WO2002069623A1 (fr) Dispositif d'entree d'images
CN102111545A (zh) 图像处理设备、图像处理方法以及程序
JP2010271675A (ja) 全天動画撮影システム
JP3157769B2 (ja) Tv音声制御装置
JP4933086B2 (ja) 多焦点カメラの撮像ユニット取付構造
KR20220166148A (ko) 화각 가림현상을 최소화하는 서라운드 카메라 장치
JP2016046774A (ja) 撮像装置
CN103986865A (zh) 成像设备、控制方法和程序
KR100923233B1 (ko) 가시범위가 향상된 전방위 수퍼파노라마 감시장치
JP2007140273A (ja) 多焦点カメラの筐体
WO2002065762A1 (en) Method for eliminating blooming streak of acquired image
JP2005167443A (ja) 複眼光学系
JP2003324718A (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
KR20000058519A (ko) 파노라마 촬영용 섹터렌즈 배치 방법
EP3765816A1 (en) Monocentric multiscale (mms) camera having enhanced field of view

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080313

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080313

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100216

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4463151

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140226

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250