JP2004101616A - 移動撮影システム、移動撮影方法、移動体、及び信号発生装置 - Google Patents

移動撮影システム、移動撮影方法、移動体、及び信号発生装置 Download PDF

Info

Publication number
JP2004101616A
JP2004101616A JP2002259982A JP2002259982A JP2004101616A JP 2004101616 A JP2004101616 A JP 2004101616A JP 2002259982 A JP2002259982 A JP 2002259982A JP 2002259982 A JP2002259982 A JP 2002259982A JP 2004101616 A JP2004101616 A JP 2004101616A
Authority
JP
Japan
Prior art keywords
signal
moving
subject
optical signal
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002259982A
Other languages
English (en)
Other versions
JP4284949B2 (ja
Inventor
Shogo Kusano
草野 彰吾
Mitsuharu Oki
大木 光晴
Hidenori Koyaizu
小柳津 秀紀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002259982A priority Critical patent/JP4284949B2/ja
Publication of JP2004101616A publication Critical patent/JP2004101616A/ja
Application granted granted Critical
Publication of JP4284949B2 publication Critical patent/JP4284949B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【目的】移動する被写体を自動的に追尾して確実に撮影できる移動撮影システムの提供を目的とする。
【解決手段】本発明の移動撮影システムは、撮影装置を搭載して移動可能とされる例えば無人ヘリコプター10の如き移動体と、被写体3に取り付けられ前記撮影装置で認識可能な所要の光信号を発生させる信号発生装置2とを具備し、信号発生装置2からの光信号にはID情報などの撮影や移動体の制御に用いる情報を含ませることができる。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は移動するような被写体を自動的に追尾して撮影を行う移動撮影システムや移動撮影方法、及び前記システムに用いられる移動体や信号発生装置に関する。
【0002】
【従来の技術】
従来から、景勝地に行った際に、スチルカメラやビデオカメラで、風景をバックに人物を撮影することが良く行われている。三脚などの器具を使用しない場合では、スチルカメラやビデオカメラは、撮影者が手で持って操作するように構成されており、その場合、景色を撮影する本人は、撮影時には、通常写真やビデオ映像に映ることが出来ない。また、同行する家族や友人の中の一人が、撮影役となって記念写真を撮影する場合、撮影役となった人は景勝地の景色を楽しむ時間を一部犠牲にする必要がある。また、他人にカメラを渡して撮影を依頼する場合、撮影に応じてくれる第三者を探す手間が発生すると共に、機種によってはカメラ操作が容易ではなく、所望の出来栄えの写真などを期待できない場合もある。
【0003】
このような諸問題を解決する案として、三脚などによりカメラを固定してタイマーや遠隔操作によって撮影する方法がある。このような場合、撮影する度ごとに撮影者は三脚上のカメラのタイマーを設定して動作開始させる必要があり、被写体の方もタイマー時間を配慮する必要があるなど撮影のために煩雑な準備を行う必要がある。また他の解決策として例えば ”案内撮影システム”に開示される技術(例えば、特許文献1参照。)があり、この公報によると、景勝地の決められた場所に案内撮影システムと称される装置が設置されており、一般客は、このシステム備え付けのカメラで撮影することが可能とされる。
【0004】
【特許文献1】
特開平9−233465号公報
【0005】
【発明が解決しようとする課題】
しかしながら、上述の案内撮影システムにおいては、備え付けのカメラで撮影することから、撮影する場所を任意に選ぶことはできず、例えば、スキー場で滑っている人を撮影する場合や、または山登りをしている人を撮影する場合などの移動中の人物を撮影することは不可能であった。
【0006】
また、別の移動する被写体を追いかけて撮影するシステムとして、カメラを設置した雲台が回転し、カメラの向きを自動制御して被写体を自動追尾する撮影システムも存在する。この場合は、被写体である人間がカメラ雲台の回転範囲から見えない位置に移動した場合や、撮影システムから遠く離れた場所に移動した場合には撮影が不可能となる。さらに、これら従来技術では、被写体となる人物を、カメラの視野の中に入らせて撮影させるため、撮影されることを意識せざるをえず、人物の自然な表情やしぐさを撮影することが一般的に困難とされ、また移動している人物を確実に認識できる方法がなく、また、その人物を自動追尾しながら撮影することも容易ではない。
【0007】
そこで、本発明は、移動する被写体を自動的に追尾して確実に撮影できる移動撮影システム及び移動撮影方法の提供を目的とする。
【0008】
【課題を解決するための手段】
本発明の移動撮影システムは、上述の技術的な課題に鑑み、撮影装置を搭載して移動可能とされる移動体と、被写体に取り付けられ前記撮影装置で認識可能な所要の光信号を発生させる信号発生装置とを具備することを特徴とする。
【0009】
本発明においては、先ず、被写体を撮影するための撮影装置が移動可能な移動体に搭載される。このため固定点からカメラの方向を制御するような方式とは異なり、スキー場で滑っている人や山登りをしている人のように大きな移動を伴う場合でも確実に追尾が可能である。更に、その移動体に搭載される撮影装置は信号発生装置で発生する所要の光信号を認識することができ、撮影装置側に撮影者を要せずに、撮影の制御信号、撮影した画像の記録のための識別信号、更には移動体の移動のための信号を送ることが可能となる。
【0010】
また、本発明の移動撮影方法は、撮影装置で認識可能な所要の光信号を発生させる信号発生装置を被写体に取り付け、前記被写体を移動させると共に前記撮影装置を搭載した移動体を作動させ、前記撮影装置によって前記信号発生装置からの前記光信号を探知し、探知された前記光信号を基に前記移動体は前記被写体を追尾し且つ前記被写体を前記撮影装置によって撮影することを特徴とする。
【0011】
信号発生装置を被写体に取り付けることで、当該信号発生装置からの光信号は被写体から送信されたものとすることができ、例えば被写体である撮影者が撮影の設定や制御を行う時でも、取り付けられた信号発生装置を操作することで、移動体への制御を図ることが可能となる。撮影装置は移動体に取り付けられることから、大きな移動を伴う場合でも確実に追尾が可能となる。この被写体を追尾するときの制御として信号発生装置からの光信号を利用することができ、撮像装置は被写体を撮影する機能と信号発生装置からの光信号を受信する機能の2つを合わせた機能を発揮し、被写体を自動的に追尾して確実に撮影できることになる。
【0012】
また、本発明の他の移動撮影方法は、撮影装置で認識可能な所要の光信号を発生させる信号発生装置を被写体に取り付け、前記撮影装置を移動体に搭載した後、前記被写体を移動させると共に前記撮像装置で前記所要の光信号を捉え、該光信号に含まれる制御情報に基づいて前記移動体が制御されることを特徴とする。
【0013】
移動体には撮像装置が取り付けられ、被写体に取り付けられる信号発生装置からの所要の光信号を受信する。この光信号には、制御信号を含ませることが可能とされ、その制御信号を移動体の制御に用いることで、被写体側からの移動体の制御が実現されることになる。
【0014】
また、本発明の更に他の移動撮影方法では、撮影装置で認識可能な所要の光信号を発生させる信号発生装置を被写体に取り付け、前記撮影装置を移動体に搭載した後、前記被写体を移動させると共に前記撮像装置で前記所要の光信号を捉え、該光信号に含まれる制御情報に基づいて前記撮影装置の撮影動作が制御されることを特徴とする。
【0015】
この移動撮影方法では、被写体の撮影が移動体に取り付けられた撮影装置を用いて行われるが、その撮影動作は当該撮影装置で捉えた光信号に基づいて制御されるものとすることができ、被写体が撮影者であっても撮影についての制御を確実に行うことができる。
【0016】
本発明のまた更に他の移動撮影方法では、撮影装置で認識可能な所要の光信号を発生させる信号発生装置を被写体に取り付け、前記撮影装置を移動体に搭載した後、前記被写体を移動させると共に前記撮像装置で前記所要の光信号を捉え、該光信号に含まれる認識情報に対応付けられて前記撮影装置で撮影された画像データが前記撮像装置に接続される記憶部に記録されることを特徴とする。
【0017】
この移動撮影方法では、被写体の撮影が移動体に取り付けられた撮影装置を用いて行われるが、その撮影動作は当該撮影装置で捉えた光信号に基づいて所定の記録部に記録されるものとすることができ、例えば後で対応する認識情報を利用しながら画像データに編集などを加える場合に便利である。
【0018】
【発明の実施の形態】
以下、本発明の移動撮影システム及び移動撮影方法について、図面を参照しながら説明する。
【0019】
本発明の一実施の形態の移動撮影システムは、図1に示すように、ID認識カメラ11を搭載した無人ヘリコプター10を移動体とし、被写体としてのユーザー3はスキーヤーであって、そのスキーウエアの肩付近にタグ状の光ビーコン装置2を取り付けている。すなわち、本実施形態においては、ユーザー3は自分のスキーをしている姿を追尾してくる無人ヘリコプター10でカメラに収録し、後にその撮影されたデータを見ることができるようになっている。
【0020】
ユーザー3は、スキー板4を両足に図示しない金具、スキー靴を介して取り付けており、ユーザー3が着ているスキーウエアの肩付近にはタグ状の光ビーコン装置2が取り付けられている。光ビーコン装置2は、後で詳しく説明するように、光信号を発生させる光信号発生装置であり、例えば、移動体である無人ヘリコプター10の制御、ID認識カメラ11の制御、記録される画像データへの識別番号の付与などを可能とする。また、図1では、ユーザー3は1名であるが、本実施形態においては、ユーザー3は1名に限定されず、複数名のユーザーがいる場合や光ビーコン装置が取り付けられる対象としては人間と物や、人間と動物、或いは動物だけなどの組み合わせとすることも可能である。
【0021】
無人ヘリコプター10は移動体として機能する飛行体であり、特に本実施形態の移動撮影システムにおいては、撮影装置としてのID認識カメラ11が無人ヘリコプター10の前方に搭載される。無人ヘリコプター10には、メインローター12とテールローター13が後述する飛行体制御部からの制御に応じて回転するように設けられており、これらの各ローターの動作によって無人ヘリコプター10は所望の飛行を行うことができる。メインローター12は回転によって上向きの揚力を発生させる回転翼であり、テールローター13はメインローター12の回転の反作用を打ち消すための回転翼である。
【0022】
このような無人ヘリコプター10に搭載される撮像装置としてのID認識カメラ11は通常の画像データを取得するための撮像装置として機能すると共に、光ビーコン装置2で発生する光信号を受信してその信号の内容である制御命令や認識データ(ID)などを解析可能とする機能を有している。光信号はここでは発光ダイオードの点滅パターンによって形成され、シーンとして撮影される画像データとは区別して処理されることになる。
【0023】
図2は無人ヘリコプター10の内部回路構成を示す図である。無人ヘリコプター10には、例えばCMOS型固体撮像素子により光を取り込む構造の撮像部20が設けられており、この撮像部20からの信号はIDカメラ処理部21に送られる。IDカメラ処理部21は、撮像部20で得られた信号をシーンとして撮影される画像データと、光ビーコン装置2から送信された光信号を分離する機能を有しており、光信号に含まれる無人ヘリコプター10の制御のための信号や、撮像部で撮影されたデータのID番号の信号を抽出したり、或いは撮像部20での撮影方法についての信号の抽出なども可能となる。なお、撮像部20とIDカメラ処理部21によって図1に示すID認識カメラ11が構成されるが、ID認識カメラ11の構成例については、後で図15を参照しながら詳しく説明する。
【0024】
IDカメラ処理部21はメモリ23と飛行体制御部24に電気的に接続される。飛行体制御部24は、例えば、当該無人ヘリコプター10のメインローター12とテールローター13がモーターで駆動される場合、メインローター12とテールローター13のそれぞれのモーターに送られる制御信号を次の飛行動力部25に送出する。飛行動力部25は、メインローター12とテールローター13のそれぞれのモーターや、ホバリングや前進や後進飛行のためのローターの各ブレードの制御のためのアクチュエーターなどから構成されており、飛行体制御部24からの制御信号を受けて作動する。従ってIDカメラ処理部21は光信号に含まれる無人ヘリコプター10の制御信号は飛行体制御部24を介して飛行動力部25に送られることになり、この飛行動力部25において無人ヘリコプター10の飛行制御が行われる。
【0025】
前述のIDカメラ処理部21は、DRAM、SRAMなどの半導体メモリデバイスからなるメモリ23にも接続されており、メモリ23は撮像部20でシーンとして撮影される画像データを、データの抽出されるID番号と共に格納するように構成されている。このように画像データをID番号と共に記録することでデータを編集や選択しながら表示する場合に便利である。このメモリ23は画像制御部26にデータバスを介して接続されており、この画像制御部26に内蔵されるマイコンの指示に従って必要な画像データを外部出力部29、ネットワークインターフェイス30、及び画像表示部27に出力できる。外部出力29は、飛行終了後に画像データを他の機器に出力する場合に使用される接続部であり、例えばピンプラグ端子、DV端子の接続部やUSBポート、LAN用のイーサネット(登録商標)の接続部、RS232C、或いはカード状やスティック状の記憶媒体などが使用できる記憶装置などであっても良い。ネットワークインターフェイス30は、ワイヤレスでインターネットなどに接続できる機能を有しており、例えばBluetooth(規格名:商標名)の如きスペクトラム拡散通信を用いた近距離無線通信や、無線LANのIEEE(Institute of Electronic and Electronics Engineers)802.11仕様や、その他の通信が可能とされる。このようなネットワークインターフェイス30を利用することで、画像データをインターネットを介して配信することも可能であり、例えばユーザー3はスキー場での撮影後に自宅に帰って、インターネット経由で自分や友人のスキーをしているところの画像データを見ることができ、そのような画像データは知り合いや家族などへの配信も可能となる。画像表示部27は無人ヘリコプター10に搭載される小型のモニターとして機能する装置であり、例えば液晶表示装置、ダイオードアレイディスプレイやプラズマディスプレイなどの装置が用いられる。このような画像表示部27を設けることで撮影現場での編集や撮影し直しの必要があるか無いかなどの確認を容易に行うことができる。画像表示部27は、図示を省略しているが、例えば飛行時には折り畳めるような構造或いはシャッターが閉まる構造で無人ヘリコプター10に取り付けられ、画像表示部27を見る時には画像表示部27が外側から見ることができる状態にされる。
【0026】
画像制御部26は更に入力部28にも接続されている。入力部28は、画像データの出力を外部出力部29とネットワークインターフェイス30の間で切り換えたり、画像表示部27の表示を制御するためのスイッチやテンキーなどによって構成される。この入力部28は、例えば無人ヘリコプター10の着陸後の編集用にリモコンでの信号を受信するようにしても良い。
【0027】
図2に示す無人ヘリコプター10では、その内部回路構成から撮像部20で撮影した画像からシーンについての画像データと光ビーコン装置2からの光信号とをIDカメラ処理部21で分離し、それぞれ飛行体である無人ヘリコプター10の飛行制御や、画像処理のために各画像データにID番号を付与したり、撮影方法の制御などを行うことが可能とされる。
【0028】
次に、図3を参照しながら、光ビーコン装置31について説明する。本実施形態で使用される光ビーコン装置31は、光信号の発生装置であって、例えばユーザー3の衣服の一部に取り付けられ、無人ヘリコプター10に対する所要の制御を可能とする。
【0029】
先ず、その外形形状については、図3に示すように、矩形で略平板状の光ビーコン装置本体33の表面にキー入力部34が形成され、その表面には発光ダイオード35も光の射出方向を表面側とするように設けられている。この光ビーコン装置本体33は、タグのように一方の側面から裏面側に亘る保持部32が設けられており、この保持部32を用いてユーザー3の衣服の一部例えば肩や帽子などに取り付ける。保持部32は帯状であってその帯状部分を閉じてユーザー3の衣服の一部に挿通部が場合ではその挿通部に保持部32を通過させることで取り付けることができ、また、磁石やベロクロ(商品名)の如き部材によって着脱自在に取り付けるようにしても良い。また、衣服の首の部分には、通常商品のタグや衣服を吊るす際の輪となる部分があり、その部分に保持部32を通過させてユーザー3から脱落しないようにすることも可能である。キー入力部34では、無人ヘリコプター10の制御や、撮影方法の制御、更には画像処理の制御など種々の制御を行うために、例えば予め設定された入力コードを入力することができ、発光ダイオード35から所要の光信号を出力させることが可能となる。
【0030】
図4はこの光ビーコン装置31の内部回路構成を示す図である。この内部回路はマイクロプロセッサ37を中心に構成されており、キー入力部39からの信号を受けてメモリ41に格納されている光信号パターンをマイクロプロセッサ37が選択し、その選択に応じてLED駆動部40に信号を送って発光ダイオード36を点滅させる。この光ビーコン装置31には、ボタン電池、太陽電池、或いは燃料電池などの電源38が搭載されており、電源38はマイクロプロセッサ37、メモリ41、LED駆動部40に電力を供給するように構成される。
【0031】
これら図3、図4を用いて説明する光ビーコン装置は一例に過ぎず、種々の変形例も可能である。例えば、その外形については、矩形で略平板状とされ、ユーザー3の衣服に取り付けるものとして説明したが、例えば、帽子やヘルメットの上面に発光ダイオードなどの信号発生部分を取り付けたものを用いたり、衣服や靴の一部に発光ダイオードなどの信号発生部分を予め組み込んだものを用いたり、時計やネックレスなどの装飾材の一部の発光ダイオードなどの信号発生部分を設けたり、例えば、スキーなどではスキー板やボード、或いはストックの一部に信号発生部分を設けるようにすることも可能である。
【0032】
また、光ビーコン装置の構造についても、より単純な構造で構成することが可能である。例えば単純なユーザーの追尾だけを実行するような場合であって、その撮影方法や画像処理方法も変更しない場合や、複数の被写体を区別するだけの場合は、キー入力部39などは設けなくとも良く、発光ダイオード35をタグに配設した構造であっても良い。
【0033】
次に図5を参照しながら、本実施形態の移動撮影方法について、その手順に従って説明する。ここで例示的に説明する移動撮影方法は、光ビーコン装置を用いて無人ヘリコプターなどの飛行体を制御すると共にID番号を利用して撮影後に画像の選択を容易ならしめる例である。
【0034】
先ず、手順S1としてユーザーが光ビーコン装置31を身に付ける。光ビーコン装置31は図3に示すような矩形で略平板状の装置であり、その保持部32を例えばユーザー3のスキー服の肩部分に挿通させてユーザー3に取り付けた状態とさせる。
【0035】
続いて、ユーザー3が光ビーコン装置31を操作して飛行体である無人ヘリコプター10の飛行移動を開始させる(手順S2)。この場合には、光ビーコン装置31に飛行開始のためのキー入力を行い、そのキー入力に応じて光ビーコン装置31の発光ダイオード35を点滅させる。この時、ユーザー3の位置は無人ヘリコプター10のID認識カメラ11によって捉えることができる位置にいることが望ましく、そのような位置で発光ダイオード35を点滅させることで無人ヘリコプター10が離陸して飛行を開始する。無人ヘリコプター10の内部では、前述のIDカメラ処理部21がID情報の抽出を行い、飛行開始命令に該当するID番号を受信したものと認識される場合、飛行体制御部24に飛行開始の信号が送られ、その飛行体制御部24からメインローター12、テールローター13の回転開始などの信号が飛行体動力部25に送られて、無人ヘリコプター10の飛行が開始する。
【0036】
無人ヘリコプター10が離陸する際には、多少ローリングなどの飛行動作を伴うこともあり得るが、ID認識カメラ11は常に光ビーコン装置31からの信号を捕捉するように動作する。すなわち、急激な風やエアポケット、更には被写体であるユーザー3が急に動いたり、障害物に隠れた場合には、ID認識カメラ11は光ビーコン装置31からの信号を一時的に受信しなくなるが、ID認識カメラ11は常に光ビーコン装置31からの信号を探知し、或る方向において光ビーコン装置31からの信号が無いものと判断されるときには探知される領域を広げて探し続ける動作を行う。このID認識カメラ11の作動時において、被写体が移動する場合には、光ビーコン装置31の位置からその移動を無人ヘリコプター10が追尾する。従って、被写体としてのユーザー3がスキーのゲレンデを滑り降りるような状況においても、無人ヘリコプター10は光ビーコン装置31からの信号を捉えながらユーザー3を確実に自動的に追尾することができる。
【0037】
ID認識カメラ11は常に光ビーコン装置31からの信号を探知するように動作をするが、実際にはシーンとしての画像を撮像する画像モードと、光ビーコン装置31からの光信号を抽出するためのIDモードの切替を繰り返すように構成されている。この画像モードにおける信号処理とIDモードにおける信号処理については後述する。ID認識カメラ11が光ビーコン装置31を認識したら、被写体を撮影し、そのID番号と共にメモリ23に記録する(手順S3)。ID認識カメラ11が被写体を撮影する場合、複数の被写体がそれぞれ光ビーコン装置31を有し、それぞれID番号を信号として発生させる場合がある。このような場合、異なる複数の被写体についての画像とID番号が関連付けられてメモリ23に記憶されることから、ID番号を利用して撮影後に確認する場合や編集する場合に素早く処理することができる。
【0038】
次に、手順S4では、撮影が終了した状態で、光ビーコン装置31に飛行体の飛行終了を意味するキー入力を行い、光ビーコン装置31はそのキー入力を受けて発光ダイオード35を点滅させて光信号を無人ヘリコプター10の撮像部20に送る。その結果、撮像部20から信号がIDカメラ処理部21に送られ、そこから飛行体制御部24に飛行停止の信号を送り、その飛行体制御部24から飛行動力部25に各動力部の停止信号を送って、無人ヘリコプター10の飛行を停止させる。無人ヘリコプター10の位置が空中の高い位置にあって飛行停止の信号を受けた場合では、自動運転によって着陸するように制御される。
【0039】
この状態で、無人ヘリコプター10のメモリ23には、被写体について画像データがID番号と共に記録されており、手順S5では、ユーザー3が光ビーコン装置31を制御して、自己のIDを有する画像を表示するように制御を行う。具体的には、先程と同様に光ビーコン装置31のキー入力部34を操作して、画像表示を指令する信号を光ビーコン装置31から出力する。
【0040】
このユーザー3による指示に応答してそのユーザー3のID番号にかかる画像が表示される。この表示は無人ヘリコプター10の画像表示部27を利用して行われ、そのユーザー3にかかる画像が連続的にコマ送りや時系列的に並べる方法で表示される(手順S6)。表示された画像を見ながら、手順S7でユーザー3が必要な画像を選択する。ここで必要な画像とは、保存して編集したり、印刷などの加工に使用する画像である。また、選択できる画像としては、静止画像でも良く動画像でも良い。このユーザー3による画像の選択動作は、光ビーコン装置31のキー入力部34を用いることも可能であり、無人ヘリコプター10の入力部28を用いても良い。
【0041】
ユーザー3が選んだ画像は、無人ヘリコプター10の外部出力部29から所要のオーディオ・ビデオ装置に送られる(手順S8)。また、ユーザー3が選んだ画像が送られる外部出力部29からパーソナルコンピュターなどの機器に出力するようにしても良く、また、ネットワークインターフェイス30を介してインターネットに接続するサーバーその他の情報端末に送信するようにしても良い。
【0042】
このように図5に示すフローでは、無人ヘリコプター10の飛行開始や飛行終了などの命令や、被写体をID番号と共に記録することを光ビーコン装置31を操作することで、遠隔的に且つ自動的に操作でき、特に被写体の移動が高速である場合でも容易に追尾することが可能であり、また、光ビーコン装置31からの光信号に含まれるID番号によって、複数の被写体をそれぞれID番号別に撮影し保存するようにすることも可能である。
【0043】
以上の例では、カメラを搭載する飛行体を例えば無人ヘリコプターとし、その用途をスキーなどの行楽地での撮影とした例について説明したが、本実施形態の移動撮影システムは他の形態や用途についても適用できる。ここで他の形態や用途について説明すると下記の表1に例示列挙されるものが挙げられる。
【0044】
【表1】
Figure 2004101616
【0045】
この表1に列挙したものは、例示に過ぎないものであるが、カメラを搭載する移動体としては、空中を移動するものに限らず、陸上や水面上、或いは水中などの種々の場所を移動できるものが挙げられる。また、用途についても、行楽用途に限らず、スポーツ記録や映画や自然観察など種々の応用が可能である。場所や具体的なイベントも限定されずに種々のものに適用できる。撮影対象も人だけに限らず、種々の生物であっても良く、車や船などであっても良い。また、撮影対象は単数とは限らず、複数であっても良い。光ビーコン装置31は、キー入力の操作が加わるために被写体が人間の場合となるが、例えば被写体が動物の場合では操作が不要で光信号を出力するような光ビーコン装置がその被写体としての動物に取り付けられる。
【0046】
次に図6を参照しながら、光ビーコン装置の操作によって飛行体の飛行予定を変更する例について説明する。撮影の途中であっても、本実施形態の移動撮影システムでは、光ビーコン装置が無人ヘリコプターの如き飛行体と交信でき、都合に応じて飛行予定を変更することができる。
【0047】
先ず、手順S11として、ユーザーが光ビーコン装置を身に付ける。光ビーコン装置は図3に示すような矩形で略平板状の装置とすることも可能であり、所要の光信号を出力できる他の装置であっても良い。
【0048】
次に、手順S12ではユーザーが光ビーコン装置を操作して、例えば無人ヘリコプターの如き飛行体の飛行を開始させる。この時、この場合には、光ビーコン装置に対して飛行開始のための操作を行い、その操作に応じて光ビーコン装置の発光ダイオードを点滅させる。この発光ダイオードの点滅は、飛行体に搭載されるID認識カメラに捕捉され、飛行体が離陸して飛行が開始される。
【0049】
飛行体の離陸の後、前述のように、被写体としてのユーザーが離陸した飛行体に自動的に追尾されて撮影が開始する。例えば、飛行体の離陸前の設定では、ユーザーの20m後ろから45度の角度で撮影すると言うような設定であった場合において、飛行体の離陸した後で撮影が開始すれば、その離陸前の設定に従って撮影が開始される。このような離陸前の設定は、このフローでは変更可能であり、手順S13ではユーザーが光ビーコン装置を操作して、飛行体の位置を変更させる光信号を光ビーコン装置が出力させる。このような飛行体の位置の変更例としては、たとえば飛行体の離陸前の設定でユーザーの20m後ろから45度の角度で撮影するという設定内容であったものを、ユーザーの正面20m手前から45度の角度で撮影するという設定内容に変更できる。
【0050】
光ビーコン装置が飛行体の位置を変更させる光信号を出力すると、飛行体のID認識カメラが光ビーコン装置からの光信号を受信し、その光信号に含まれるID番号の形式の制御信号に従って飛行中の飛行体がその位置を修正する(手順S14)。この修正によって、例えば飛行体は20m後ろからの追尾状態からユーザーの前側に移動して撮影を続けることになり、このような撮影位置の変更によって、被写体であるユーザーの後ろ姿だけが撮影される状況からユーザーの顔の表情も撮影できるような変更ができることになる。このような撮影位置の変更は、特に離陸前のプログラムとは独立して行うことができ、撮影の状況で撮影位置を移動させる場合に極めて有効である。
【0051】
次に図7を参照しながら、光ビーコン装置の操作によって撮影方法を変更する例について説明する。本実施形態の移動撮影システムでは、撮影の途中であっても、光ビーコン装置が無人ヘリコプターの如き飛行体と交信でき、都合に応じて撮影方法を変更することができる。
【0052】
先ず、手順S21として、ユーザーが光ビーコン装置を身に付ける。光ビーコン装置は図3に示すような矩形で略平板状の装置とすることも可能であり、所要の光信号を出力できる他の装置であっても良い。
【0053】
次に、先の図6の手順S12と同様に、手順S22ではユーザーが光ビーコン装置を操作して、例えば無人ヘリコプターの如き飛行体の飛行を開始させる。この時、この場合には、光ビーコン装置に対して飛行開始のための操作を行い、その操作に応じて光ビーコン装置の発光ダイオードを点滅させる。この発光ダイオードの点滅は、飛行体に搭載されるID認識カメラに捕捉され、飛行体が離陸して飛行が開始される。
【0054】
飛行体の離陸の後、前述のように、被写体としてのユーザーが離陸した飛行体に自動的に追尾されて撮影が開始する。例えば、飛行体の離陸前の設定で、被写体の全身を画像のフレーム一杯とするような設定であったとすると、撮影が開始すると、そのようなユーザーの頭から足先にかけての映像がID認識カメラによって撮影されて行くことになる。このような撮影が進行してうちに、ユーザーの都合や環境や事故などに応じて、ユーザーは身に付けている光ビーコン装置を操作して撮影の方法を変更させる光信号を光ビーコン装置から送出させる(手順S23)。このような撮影方法の変更の一例としては、被写体の全身を画像のフレーム一杯とする撮影法から、景色を十分に入れてカメラが引いた状態の撮影をするように変更できる。ある種類の撮影方法の変更は、飛行体の位置の変動を伴わずに可能であり、ズームアップやズームダウンなどのレンズ系の操作や、静止画の場合のシャッター速度の調整、フィルターの付加、時計の表示の制御など各種の変更が可能であり、それらは光ビーコン装置を操作することで可能となる。
【0055】
光ビーコン装置が撮影の方法を変更させる光信号を出力すると、飛行体のID認識カメラが光ビーコン装置からの光信号を受信し、その光信号に含まれるID番号の形式の制御信号に従って撮影の方法が修正される(手順S24)。すなわち、その光信号によって、例えば、飛行体の離陸前の設定で、被写体の全身を画像のフレーム一杯とするような設定であった場合、景色を十分に入れてカメラが引いた状態の撮影をするように修正される。このような変更は、カメラ手元にある場合には容易に行うことが可能であるが、カメラが飛行体に搭載されている場合においては、光ビーコン装置からの光信号が有効に変更できる手段として利用できることになる。
【0056】
次に図8乃至図13を参照して、自動撮影時の追尾方法の例について説明する。図6、図7のフローチャートの制御は追尾の途中で変更する場合を含んでいるが、以下に説明するように、光ビーコン装置からの光信号を利用して自動的な撮影を追尾しながら行うことも可能である。なお、本明細者においては、”追尾”とは必ずしも後ろから追跡するような場合のみを指すのではなく、任意に側面や正面などに廻り込んで被写体を追うような場合も含むものである。
【0057】
先ず、自動撮影時の追尾の基本的な流れは、図8に示すように、光ビーコン装置を身に付けたユーザーが該光ビーコン装置を操作して例えば無人ヘリコプターの如き飛行体の飛行を開始させる(手順S31)。この開始直後では、飛行体は光ビーコン装置の光信号の捕捉よりも離陸時の姿勢制御が優先することから、光ビーコン装置の光信号を見失うことがあり、そのような場合では、飛行体が旋回して、或いはID認識カメラが固定でない場合にはID認識カメラの撮像範囲を変更しながら、ユーザーが身に付けている光ビーコン装置からの光信号を探知する(手順S32)。この段階では徐々に光ビーコン装置が光信号によって探知されることになるが、光ビーコン装置の光信号がID認識カメラに捉えられたところで、光ビーコン装置からの光信号が発見されたことになり、その段階で自動撮影を行う追尾を開始する(手順S33)。
【0058】
この自動撮影による追尾の開始時には、優先するモードが選択される。本システムで使用できるモードは4つあり、その4つのモードはフレーミングモード、距離・角度モード、ズームモード、撮影方向モードである。フレーミングモードは、被写体を画面のどこに配置して撮影するかを設定するモードであり、左側、右側、中央、上側、下側などの設定が可能である。図9はフレーミングモードの一例を示す図であり、図9の(a)が被写体を画面の右側に配置する例であり、図9の(b)が被写体を画面の中央に配置する例である。図9において、ユーザー3はフレーム45の中に捉えられるように写されるが、フレーミングモードの設定によって、ユーザー3の位置が概ね決められることになり、フレーミングモードが右側を被写体とする場合には図9の(a)に示す状態とされ、フレーミングモードが中央を被写体とする場合には図9の(b)に示す状態とされて撮影が行われることになる。
【0059】
図10は距離・角度モードを説明するための図である。飛行体である無人ヘリコプター10と光ビーコン装置31を身に付けたユーザー3との間の距離Dと無人ヘリコプター10の飛行する角度θが設定され、この設定された距離Dを角度θを維持するように追尾を行う。このような距離Dや角度θについては、無人ヘリコプター10が常時光ビーコン装置31からの光信号によって把握できるデータであり、常時設定値とのずれが修正されて撮影が続けられることになる。
【0060】
図11はズームモードを説明するための図であって、図11の(a)が被写体をズームダウンして撮影した場合の画面であり、図11の(b)が被写体をズームアップして撮影した場合の画面である。ズームモードとしては、図11の(a)と(b)の2段階のズームだけではなく、無段階若しくは2以上の多段階とすることもできる。図11の(a)に示すように被写体をズームダウンして撮影した場合では、被写体としてのユーザー3がフレーム45に対して相対的に小さく撮影されて景色が画面上大きな面積を占めるように写され、図11の(b)に示すように被写体をズームアップして撮影した場合では、ユーザー3がフレーム45に対して相対的に大きな面積を占めるように撮影されることになる。
【0061】
図12は撮影方向モードを説明するための図であり、被写体をどの方向から撮影するのかが設定できることになる。この撮影方向モードでは、例えば上から、前から、横から、後ろからというような選択が可能であり、前からと言う設定をした場合では、ID認識カメラは被写体であるユーザー3の正面からの映像を自動的に撮り続けることになる。
【0062】
また、自動撮影を継続させる際に移動する被写体を追うことや光信号を見失うことなども起こりうる事象であり、本実施形態の移動撮影システムでは、そのような場合についても対処可能であって、特に移動速度を予測して、的確な撮影方向や角度での撮影が可能とされる。図13は自動撮影時の追跡方法について説明するためのフローチャートである。
【0063】
先ず、無人ヘリコプターの如き飛行体が飛行を開始したものとすると、その飛行体は周囲を360度旋回して光ビーコン装置からの光信号を探索する(手順S41)。この光信号の探索には、ID認識カメラが使用され、具体的には前述の図2の如き回路におけるIDカメラ処理部21によってID信号の抽出が行われる。この手順S42の段階で光ビーコン装置からの光信号が発見されなければ(NO)、手順S43に進み、探索回数RNのカウント数を1つ増加させる。次に手順S44で探索回数RNが最大探索数Fに達しているか否かが判断され、最大探索数Fに達していない場合(NO)には、もう一度光ビーコン装置からの光信号の探索を繰り返すために、制御は手順S41に戻り、飛行体は周囲を360度旋回して光ビーコン装置からの光信号を探索する。手順S44で探索回数RNが最大探索数Fに達している場合(YES)には、飛行体は着陸して(手順S45)処理を終了する。
【0064】
手順S42で光ビーコン装置からの光信号を発見した場合(YES)、その光信号に含まれるID信号が読み取られる(手順S46)。この読み取り動作によって、ID信号がIDカメラ処理部で抽出され、それが目標とする被写体のID番号に対応する信号か否かが判断される(手順S47)。すなわち、一台の飛行体で一度に複数の被写体を追尾する場合には、それぞれの被写体が所要の光ビーコン装置を保持し、各光ビーコン装置が異なるID信号を含むことから、被写体の区別をID信号で認識できることになる。
【0065】
読み取った結果のID信号が目標とする被写体のものではない場合(NO)、手順S41に戻り、再びその飛行体は周囲を360度旋回して光ビーコン装置からの光信号を探索して、前述の制御を繰り返す。手順S47で読み取った結果のID信号が目標とする被写体のものである場合(YES)、飛行体は正しい被写体を捉えていることになり、飛行体は追尾を開始する(手順S48)。
【0066】
この自動追尾による撮影時には、光信号が撮影画像の範囲内で移動するのを検知する(手順S49)。この光信号の移動は、被写体の移動を意味するものと飛行体側で把握され、光信号の移動により、被写体の次の移動方向や移動速度が予測され、その予測値に対応するように飛行体の向きや位置を変えるものとされる(手順S50)。
【0067】
図14は光ビーコン装置31からの信号を捕捉しながら追尾する際の概念図であり、図14の(a)から(c)に亘って順次ユーザー3の移動に従って光ビーコン装置31が右上から左やや下側に移動していくことになるが、その画面内での移動速度や移動方向がIDカメラ処理部で抽出されて、その動きの予測値に応じて飛行体やID認識カメラの位置が移動して行くことになる。このため例えばスキーのように高度差が大きく移動する距離も長い場合であっても確実にスキーヤーを被写体として捉えることが可能である。
【0068】
このような撮影を行い、途中で光ビーコン装置31からの光信号を飛行体が外してしまうこともある。例えば、撮影時に被写体が物陰に隠れたり、光信号が何らかの原因で途絶えた際には、光信号を捕捉しているか否かの判断(S51)がNOとなり、探索回数RNを一旦リセットした後、手順S43に進み、探索回数RNを1つ増加させて、以降、探索回数がFまで増加した場合には飛行体は着陸する(手順S45)。
【0069】
手順S51で、光信号を捕捉しているか否かの判断(S51)がYESの場合、以降、飛行を継続するが、光ビーコン装置からの光信号からなるリモコン信号の受信に応じ、そのリモコン信号に応じて撮影方法を変化させたり、飛行体の飛行を中止したりすることが可能である。これら撮影方法の変更や飛行体の制御については、それぞれ図7や図6を参照しながら説明した前述の例のように制御されるものである。
【0070】
次に、図15を参照しながらID認識カメラの例について更に説明する。本実施形態に移動撮影システムにおいては、光ビーコン装置と共にID認識カメラが光ビーコン装置からの光信号の受信用に用いられ、種々の制御が可能となる。ここでID認識カメラとは、十分高速に撮像可能な2次元配列の受光ブロックと各受光器から出力される光電変換によって蓄積された電荷量またはそれを変換した電圧値、電流値、A/D変換によるデジタル値などを演算することが可能カメラであって、各画素または複数画素単位で、光の点滅パターンからその時系列信号を読み出すことができ、かつ画像も取得することが可能なカメラである。すなわち、このID認識カメラによれば、画像とID情報(IDデータ、X、Y座標)が得られることになる。
【0071】
ID認識カメラの構成としては、通常の撮像素子に演算部を結合させることも可能であるが、例えば、文献S.Yoshimura, T.Sujmiyama, K.Yonemoto, K.Ueda, ”A 48Kframes/s CMOS Image Sensor for Real−time 3−D Sensing and Motion Detection” ISSCC Digest of  Technical Papers, pp.94−95, Feb.2001や特開2001−326857号公報に開示されるような演算機能付き撮像素子を用いても良い。すなわち、演算機能付き撮像素子では、1つの撮像素子でありながら、デジタル画像と演算処理した画像を得ることが可能である。また、CMOS 構造とすることで、CMOS(Complementary Metal−Oxide Semiconductor)の半導体製造技術から従来のCCD素子では困難な高速撮像を実現することも可能である。
【0072】
図15にID認識カメラの一例の要部を示す。ID認識カメラは、主にイメージセンサ部51とデコード処理部61からなる。イメージセンサ部51は光信号を電気信号に変換するための領域であるが、本カメラにおいては、イメージセンサ部51は受光エリア52と演算エリア53から構成される。なお、イメージセンサ部51が図2に示す装置の撮像部20に該当し、デコード処理部61が図2に示す装置のIDカメラ処理部21に該当する。
【0073】
受光エリア52は、カメラのレンズ等を介して受光した光を電気信号に変換するCMOS固体撮像素子の如き受光素子54と、この受光素子54からの信号を増幅する増幅部55とを有している。一方、演算エリア53は、受光エリア52からの信号を一時的に蓄積する記憶部56と、記憶部56に蓄積された信号のレベルと基準信号レベルを比較するための比較部57と、比較部57からの比較結果に応じた出力を行う出力部58とを有している。記憶部56には、画素ごとの信号が例えば異なるタイミングで蓄積されて行き、比較部57には一括して読み出される。
【0074】
また、前述のデコード処理部61は、画像信号を処理する画像デコード処理部62と、これと並列して配置されるIDデコード処理部63とを有している。IDデコード処理部63が光ビーコン装置から発せられた光信号をデコードしてID情報を抽出する回路部分であり、また、同時にそのID情報にかかる座標についても抽出されるように構成されている。
【0075】
ここで、イメージセンサ部51で行われる演算とは、
【0076】
[数1]
F(N)+F(N−1)−F(N−2)−F(N−3)・・・(1)
【0077】
ここで、Nはフレーム番号を表し、F(N)はNフレーム目の受光部に蓄積された輝度を表すものである。光ビーコン装置からの光信号は点滅する点光源と考えられることから、式(1)の値は、点光源が存在する画素についての4フレーム間の演算となる。この演算により、光の変化を検出することができるため、その演算結果を用いて、後述するIDデコード処理を行うことで、点滅パターンを復元し、光ビーコンからの信号を受信することが可能となる。この(1)式によらず、他の演算例えば1次微分や2値化画像の比較などによっても演算は実現可能であるが、本実施形態では、光変化の検出の安定性を考え、(1)式を用いて説明する。
【0078】
また、本実施形態のID認識カメラにおいては、外部からの信号、例えば光ビーコン装置からの光信号を用いることによって、上記の画像処理結果とA/D変換したデジタル画像の両方を得ることができる。例えば、前記画像処理結果と前記A/D変換したデジタル画像を交互に得ることで、ID認識カメラはID情報用の画像処理結果とシーンについての画像の両方を取得することが可能である。このID認識カメラが扱う信号を時分割でモード分けし、例えばここで画像モード、IDモードがそれぞれ30fps(フレーム/秒)や60fpsといったフレームレートにすることも可能である。すなわち、イメージセンサ部51から出力される信号を画像モードとIDモードで交互に送信されるように設定し、それぞれが対応するデコード処理部62、63で処理されてデコードされることになる。
【0079】
図16は画像モードとIDモードが交互に送信される例であり、画像モードには撮影された画像情報が含まれて送信される。IDモードの期間内には、IDデコード処理区間P2とID重心区間P1が含まれており、これらの区間P1、P2に含まれるID情報から上述の如き各種の制御が可能となる。画像モードにおける信号を画像デコード処理部62で処理することで画像読み出しが実現され、IDモードにおける信号を画像デコード処理部62で処理することでID読み出しが実現される。なお、図16においては、画像モードとIDモードが同時間のように示されているが、同時間でも良いし、同時間である必要もない。
【0080】
次に、前記イメージセンサ部51における輝度信号レベルについての画像処理について簡単に説明する。図17に示すように、前記イメージセンサ部51において、画像モードでは、受光素子(フォトダイオード)54の各画素で検出した輝度を示す信号レベルが、基準信号レベルVrefと比較され、前記基準信号レベルVrefよりも大きくなったときに、アクティブになるような信号が出力される。すなわち、受光素子54に入射した光は、該受光素子54で光電変換され、さらに増幅部55で増幅された信号が、記憶部56にフレーム毎に蓄積されて行く。図17はフレーム数に応じた明るい画素(高輝度時)と暗い画素(低輝度時)の輝度信号レベルの変化を示しており、一画面の初めでは、フレーム数はゼロでリセットレベルVrsに輝度信号レベルがある。しかし、図17に示すように、明るい画素ほど早く基準信号レベルVrefに達し(図中TH)、暗い画素ほど基準信号レベルVrefに達するまでの時間(図中TL)が長くかかることになる。実際のセンサからの出力は、比較部57において、各画素について各画素の輝度信号が、前記基準信号レベルVrefに達したかどうかの比較結果(コンパレータ出力)を2値(0,1)で出力することで行われる。図17では、高輝度時の変化で時間THのところで、2値の出力が”0”から”1”に変化する例を示している。このイメージセンサ部51は、高速に撮像して上記演算を行い、1画面分の結果をセンサ外に出力することが可能である。
【0081】
明るい画素や暗い画素からの信号が基準信号レベルVrefに達するまでの時間(TH、TL)を計測するためには、このイメージセンサ部51が1画面単位で結果を出力するので、このフレーム数をカウントしておいて、各画素で何番目のフレームでイメージセンサ部51の出力信号がアクティブすなわち2値の出力が”0”から”1”に変化するかを記録することで、その画像が得られることになる。画像情報として、正しい明るさに変換するためには、明るい画素ではアクティブに遷移するまでの時間が短く、暗い画素ではアクティブに遷移するまでの時間が長いことから、この基準信号レベルVrefに到達するまでの時間(フレーム数)の逆数を計算すればよい。この動作により、画像のA/D変換動作が実現できることになる。このイメージセンサ部51からのセンサ出力が画像処理デコード部62に送られ、画像処理デコード部62で画像を得るための処理が行われる。
【0082】
次にIDデコード処理について説明する。まず、イメージセンサ部51と光ビーコン装置の周波数について説明すると、イメージセンサ部51のフレームレートfsは、光ビーコン装置の光信号の点滅周波数fpの例えば3倍に設定される。これは「シャノンの標本化定理」より、センサ部のサンプリングレートは、光ビーコン装置からの光信号の点滅周期より2倍以上のサンプリングレートが必要とされるからであり、またID認識カメラのシステムにおいては、fsとfpの位相の違いが出ることから、この位相差の影響を加味して、本実施形態では3倍とする。例えば、センサ部の周波数が例えば12KHzの場合、光ビーコンの点滅周期は4KHzと設定される。以下説明がわかりやすいように、本実施形態では、センサの周波数が12KHzの場合、光ビーコンの点滅周期は4KHzとして説明する。
【0083】
次に、光ビーコン装置の構造例について、図18を参照しながら説明する。先に、光ビーコン装置については、図3、図4を参照して、その一例について説明したが、ここでは図18を参照して更に他の構成例について説明する。図18の(a)に示す光ビーコン装置の例では、光ビーコン装置71は、光源72、点滅制御部73、送信データ保存用メモリ74を有する構造とされる。光源72は点滅制御部73からの駆動信号に応じて点滅動作するように構成されており、点滅制御部73は状況や設定に応じた出力データを送信データ用保存用メモリ74から取り出して動作する。光源72は高速に点滅することができる光源であれば、如何なる光源でも良く、出力波長もセンサが反応する範囲であれば良い。すなわち、光源72の波長域としては例えば可視光だけではなく、赤外線域なども使用可能である。応答速度、寿命の点から、LEDは最適な光源の1つである。また点滅制御部73は、発信器とデジタル回路(IC,ASIC,FPGA、ワンチップマイコンなどで実現可能)によって、送信データ保存用メモリ74の内容に基づいて、上記光源72を点滅させる。
【0084】
また、図18の(b)は、通信路79を通じて、送信データを可変とすることが可能な光ビーコン装置75の構成例を示しており、(a)と同様に、光ビーコン装置75は、光源76、点滅制御部77、データ送受信部78を有する構造とされる。光源76は点滅制御部77からの駆動信号に応じて点滅動作するように構成されており、点滅制御部77は通信路79を介して信号が供給されるデータ送受信部78からの制御信号に応じて点滅する。ここで通信路79とは、有線・無線の通信回線、例えば電話回線ISDN, RS−232C, RS−422, Ethernet (登録商標)(10base−T, 100base−T), USB,IEEE1394, IEEE802.11a, IEEE802.11b, BlueTooth(商標名)などの通信手段を指す。またデータ送受信部78は、この通信手段に対応するデータ通信用IC及びドライバを指し、通信路79を介して受信した光ビーコン装置の送信データは、このデータ送受信部78経由で、点滅制御部77に渡され、光源76の点滅パターンとなる。
【0085】
ここで、光ビーコン装置から送信される光信号の符号化方式について説明する。デジタル通信では、受信側で安定して受信できるように一般に送信データは符号化される。本実施形態では、光ビーコン装置から送信されるデータ(点滅パターン)は、マンチェスタ符号化を用いて符号化される。マンチェスタ符号化は、図19に示すように、送信データ0に対して発信データを10、送信データ1に対して発信データを01とする符号化方式であり、これを用いることで光ビーコン装置が有効なデータを送信している間は、必ず光の輝度変化があることになり、前記イメージセンサ部51を用いた4フレーム間の輝度変化を調べる演算にて、点滅のパターンを受信するのに都合の良い符号化となることが分かる。図19の例では、8ビットの”01001001”のデータを送信する場合の符号化について説明しており、それぞれ1ビットが”1”の場合、”01”に符号化され、1ビットが”0”の場合、”10”に符号化される。
【0086】
本実施形態において、固定長8ビットのデータを送る場合を例に挙げて説明する。送信データの1データフレームは、図19に示す送信データのフォーマットのように、スタートコード、送信データから構成される。前記スタートコードは、送信データの1フレームの先頭であることを受信側に知らせることを目的とするものであるので、例えばマンチェスタ符号化された送信データ部分には現れない”0001”というビットを割り当てる。また前記送信データは8ビットデータをマンチェスタコード符号化した16ビットデータである。したがって、この1データフレームをLEDの点滅で送信する場合に、送信データの1を点灯、0を消灯と割り当てて、光信号の点滅周期、本実施形態では4KHz(250μs毎)で点滅させる。これで8ビットのIDデータが送出されることになる。
【0087】
このような符号化された点滅信号は、前述のID認識カメラのイメージセンサ部に入射し、イメージセンサ部は、IDモード時には、演算ブロック単位(各画素または複数画素単位)において、光ビーコン装置からの点滅する光信号を受光して、(2)式のような4フレーム間の演算を行い、その演算結果をセンサ外に出力する。
【0088】
[数2]
F(N)+F(N−1)−F(N−2)−F(N−3)・・・(2)
【0089】
ただし、ここで実際には、この式のF(N),F(N−1),F(N−2),F(N−3)は本イメージセンサ内ではアナログ量として扱われ、その演算結果を外部から制御可能な閾値によって、2値化される。したがって、本イメージセンサの1つの動作モードとしては、(2)式の結果を、正の値の閾値で、2値化したものを出力することが可能である。すなわち、これは、閾値レベルをTHRとすると、
【0090】
[数3]
F(N)+F(N−1)−F(N−2)−F(N−3) ≧ THRのとき、1
【0091】
F(N)+F(N−1)−F(N−2)−F(N−3) < THRのとき、0・・・(3)
【0092】
を出力する。これは、LEDの点滅の立ち上がりエッジを検出することになる。図20に、前項で説明した送信データ(8bitデータ)を送った場合の、センサ出力を示す。このとき、センサのサンプルパルスは12KHzであり、12KHz単位で(3)式の演算結果を出力している。このセンサ出力を、図15に示すIDデコード処理部63に入力し、ID(ここでは光ビーコン装置からの8bitの送信データ)と座標を算出する。
【0093】
前述のように、画像モードとIDモードは、画像とIDを交互にモードを切り替えて、ID認識カメラを実現している。例えばこれを30frame/secで切り替えると、このID認識カメラは、画像を15fps,IDを15fpsで取得可能なカメラとなる。ここで、画像モードの区間では、画像デコード処理を行いつつ、前IDモード区間でデコードした結果(ID)をID認識カメラから出力することができる。またIDモード区間では、IDデコード処理を行いつつ、前画像デコード区間でデコードした結果(画像)をID認識カメラから出力することができる。本実施形態では、このIDモードは、図16に示すようにIDデコード処理区間P1とID重心計算区間P2の2つに分けている。
【0094】
ここで図20を参照しながら、IDデコード方法について説明すると、光ビーコンが固定長8bitのデータ(01001001)を送信する場合、イメージセンサ部は、IDモード時には、前項で説明したように立ち上がりエッジを検出する演算を行い、センサ出力は図20のようになる。以下、簡単のため、センサの或る1画素(または1演算ユニット)に注目して、IDデコードの手順を示す。
【0095】
また本実施形態では、固定長8bitで説明しているが、ビット数を拡張することは、本実施形態で開示したものから、当業者は容易に行うことができるものである。また、固定長ではなく、ビット長を可変にしたい場合でも、スタートコードだけではなく、エンドコードを設け、その検出手段(スタートコードと同様の方法)を付加するだけで、実現される。
【0096】
先ず、スタートコードの検出は、IDデコードの最初の手順として、送信データのスタートコードを検出する。スタートコードは、本実施形態では”0001”と定義したので、センサ出力としては、0が9回(イメージセンサの9フレーム分)以上出た後、初めて1を受信するとそれをスタートコードと見なすことができる。
【0097】
続いてIDデータの受信は次のように進められる。スタートコードを受信を完了した次のフレームから6フレーム目のセンサ出力が、IDデータの0ビット目のデータ(b0)すなわちLSBとなる。そして、このb0から6フレーム毎のセンサ出力がb1, b2, b3, b4, b5, b6, b7となり、8ビットのデータを受け取ることができる。図20では6フレームは6クロックとして描かれており、6クロック毎にセンサ出力がサンプリングされてIDデータの抽出が行われることになる。
【0098】
本実施形態では、エラーチェック機能が備わっており、光ビーコンの点滅が、蛍光灯照明など光ビーコン以外のものと干渉しないように、光ビーコン以外のものによるセンサへの影響を排除する工夫を施している。すなわち、マンチェスタコード符号化したデータを、光ビーコンの点滅周波数fpの3倍の周波数fsでセンサで受信し、(3)式のような演算を行った場合、次のような法則が成立する。この法則について、図21を参照しながら説明すると。先ず、b0〜b7の各ビットが”0”である場合、その”0”であるビットの3フレーム前のセンサ出力と6フレーム前のセンサ出力は、必ず反転している。この法則については、図21では、矢印αで示しており、b1が”0”であることから、その3クロック前のデータと6クロック前のデータが反転していれば正常で、反転していなければエラーとみなされることになる。次の法則はb1〜b7の各ビットが1である場合、3フレーム前のセンサ出力は必ず”0”であるというものであり、この条件を満たさない場合には、それがエラーと見なされる。図21では、その法則を表す部分を矢印βで示している。b6が”1”であることから、その3クロック前のデータが”0”であれば正常で、逆に”1”であればエラーとして処理されることになる。
【0099】
次に、本実施形態におけるID重心計算について説明する。このID重心計算は前述のような方法で求めた各画素(または各演算モジュール)のIDから、そのIDの画像上の座標を求める方法であり、その一例をここで説明する。例えば、IDの種類ごと(この場合、IDは8ビットであるから、256種類)に、そのI,J座標の和と個数を求め、各I,J座標の和を個数で割ると、各IDごとの重心座標を求めることができる。光ビーコン毎にIDが異なる場合には、この方法で座標を計算することが可能である。
【0100】
図22はIDデコード処理部の内部構成図である。センサ出力はこのブロックの入力として、IDデコード回路81に供給され、このIDデコード回路81は、各画素のIDを前述のIDデコード手順で示した手順でセンサ出力より復号化する。本実施形態では、IC,ASIC,FPGAなどのデバイスで実現することを念頭において説明をするが、処理能力が十分であれば、マイクロプロセッサやDSPによってソフトウェアで実現することも可能である。
【0101】
センサ出力を受けるIDデコード回路81は、フラグレジスタ82とデータレジスタ83に接続され、IDデコード回路81でデコードしたデータが送られる。データレジスタ83は、デコード途中またはデコードを完了したIDを記憶しておくためのレジスタであり、フラグレジスタ82はIDをデコードするために必要なフラグ類を記憶するためのレジスタである。図23に各レジスタの詳細を示す。フラグレジスタ82は、最初の1ビットがスタートフラグであり、次の4ビットがゼロカウンタ値である。その次の3ビットが位相カウンタ値であり、次のビットがエンドフラグであり、以下、IDカウンタ値と半位相前ビットが続く。なお、IDカウンタ値は次に受け取るデータが何ビット目のデータかを示す値であり、例えば1であれば、次はb1を受信する順番であることを示すことになる。また、データレジスタ83は8ビットのデータレジスタであり、b0〜b7までの8ビットのデータが並ぶことになる。
【0102】
フラグレジスタ82のデータとデータレジスタ83のデータは、フレームメモリ85に送られて蓄積される。フレームメモリ85は、センサの各画素または各演算モジュール毎にデコードしたデータ(ID)とフラグを格納するメモリであって、センサが1画素につき1演算モジュールをもつ場合には、センサの画像サイズであるM×Nと同じサイズとなり、データ幅は図23に示すようにデータレジスタ83とフラグレジスタ82のビット幅の和、すなわち、本実施形態では、データ幅としては21ビット以上で構成される。
【0103】
図22のタイミング制御部84は、IDデコード処理部63全体のタイミング制御を行うモジュールである。具体的には、IDデコード回路81とセンサ出力のタイミングの同期をとり、所望のセンサ出力に対して、対応するフレームメモリ85のデータをデータレジスタ83、フラグレジスタ82にロードして、IDデコード処理を進めるためのタイミング信号を生成して供給する。また、このときフレームメモリ85へのアドレス信号、リードライトなどの制御信号を生成する。また、タイミング制御部84は、ID重心計算回路86、IDレジスタ87、ID座標格納メモリ88のタイミング制御を行う。
【0104】
図24を参照して、IDデコード処理の流れを説明する。画像モードとIDモードが交互に送信される信号においてIDモードに入ると、まずは手順S61においてフレームメモリ85をすべて初期化して、”0”を書き込む。またタイミング制御部84に内蔵されているフレームメモリ85用のアドレスカウンタを初期化する。
【0105】
このような初期化の後、手順S62でフレームメモリ85からレジスタへの読み出しが行われる。すなわち、タイミング制御部84がフレームメモリ85にアドレス信号、リード信号及びチップセレクト信号を与え、現在IDデコード回路が受け取っているセンサ出力に対応する座標のフラグ情報及びデータ(ID)情報を読み出し、それぞれフラグ情報をフラグレジスタ82に、データ(ID)情報をデータレジスタ83に書き込む。初期化の直後の手順では、フレームメモリ85からの出力データは”0”である。
【0106】
次に、手順S63に進み、当該IDデコード処理部としては、IDデコードメイン処理が行われる。ここでIDデコードメイン処理の具体的な手順を図25に示す。先ず、手順S71でフラグレジスタ82内のエンドフラグが”1”であるかどうかが調べられる。もしエンドフラグが”1”である場合には、既に現在のIDモード期間中に光ビーコン装置からのデータを受信完了したので、何も処理せずに当該IDデコードメイン処理を抜ける。もしエンドフラグが”0”である場合には、IDデコードメイン処理を続け、手順S72に進む。
【0107】
手順S72では、フラグレジスタ82内のスタートフラグが”1”か否かが調べられる。もしフラグレジスタ82内のスタートフラグが”0”の場合には、次に説明するスタートコード検出処理(手順S73:図26参照)を行った後、IDデコードメイン処理を抜ける。もしフラグレジスタ82内のスタートフラグが”1”の場合には、後述のデータ受信処理(手順S74)を行った後、IDデコードメイン処理を抜ける。IDデコードメイン処理を抜けた時点で、図24の流れの手順S64に戻ることになるが、図24に示す手順S64以下については後述する。
【0108】
図26を参照しながら、図25の手順S73の処理であるスタートコード検出処理について説明する。最初に、フラグレジスタ82内のゼロカウンタ値が”9”であるかどうかを調べる(手順S81)。ゼロカウンタは、スタートコード”0001”を検出するための前半の処理に必要であり、イメージセンサの周波数が光ビーコン信号の点滅周波数の3倍であることから、まずは”0”を9回以上受け取っていることが、スタートコードの条件となる。ゼロカウンタ値が”9”以下であれば(NO)、ゼロカウンタ値を1増加させて(手順S82)、スタートコード検出処理を抜ける。またゼロカウンタ値が9であれば(YES)、スタートコード検出処理を続ける。
【0109】
続いて手順S83で現在センサから来た値が1かどうかを調べる。もし入力が”0”であれば、まだスタートコードが来ていないと判断できるので、何もせずにスタートコード検出処理を抜ける。もし入力が”1”であれば、スタートコードを受信したと判断して、スタートフラグを”1”に設定した後(手順S84)、スタートコード検出処理を終える。
【0110】
次に、データ受信処理について図27を参照しながら説明する。データ受信処理は先のスタートフラグが”1”の場合(図25参照)の手順であり、このデータ受信処理では、初めに、手順S91で位相カウンタ値が”4”であるかどうかが調べられる。本実施形態では、前述のように受信データのエラーチェックが行われる。その場合に受信データの各ビットの3フレーム前の受信データが使用され、このエラーチェックのタイミングが位相カウンタの値が”4”の時と同期するように設定されている。手順S91では、位相カウンタが”4”であるかどうかを調べ、もし位相カウンタ値が”4”であれば(YES)、半位相前ビットにセンサ出力を書き込む(手順S97)。もし位相カウンタ値が”4”でなければ(NO)、データ受信処理を続け、手順S92に進む。
【0111】
前述のように、イメージセンサの周波数が光ビーコン信号の点滅周波数の3倍であることから、6クロック毎にデータを受信すれば良い。この位相カウンタは0〜7の値をとり、位相カウンタの値が”7”のときにセンサ出力が、光ビーコン装置からの点滅データから送信データを復元したものになる。そこで手順S92では位相カウンタ値が”7”であるかどうかを調べる。もし位相カウンタ値が”7”でなければ(NO)、手順S98に進み位相カウンタを1増加させて、データ受信処理を抜ける。もし位相カウンタ値が”7”であれば(YES)、次のエラーチェック処理に進む。
【0112】
ここでエラーチェック処理について図28を参照しながら説明する。このエラーチェック処理は図27の手順S93の具体的な内容に該当する。初めに、図28の手順S101で、入力(センサ出力)が”1”であるかどうかを判定する。もし入力が”1”だった場合には、フラグレジスタ82内の半位相前ビットが”0”であるかどうかを調べ(手順S102)、半位相前ビットが”0”であれば正常(OK)であり、半位相前ビットが”1”であればエラー発生(NG)とする。この手順S102の判断は、図21の矢印βに対応する判断であり、半位相前ビットは3クロック前のデータである。
【0113】
もし手順S101で入力が”0”だった場合には、手順S103に進み、半位相前ビットと1ビット前のデータの比較が行われる。1ビット前のデータはデータレジスタ内のデータであり、どのビットかはIDカウンタ値からわかる。ただしIDカウンタ値が”0”の場合には、1ビット前のデータは”1”とする。手順S103の判断では、同じでなければ即ち反転していれば−正常(OK)であり、同じであればエラー発生(NG)とされる。この比較は図21の矢印αに対応する判断であり、半位相前ビットは3クロック前のデータであり、1前ビットは6クロック前のデータである。
【0114】
このようなエラーチェック処理が行われた後、再びデータ受信処理について図27を参照しながら説明する。エラーチェック処理の結果、もしエラーチェック処理がNGであれば、手順S96でフラグレジスタ82、データレジスタ83に”0”を設定する。逆にエラーチェック処理の結果が、もし正常(OK)であれば、手順S94でIDカウンタ値を調べて、入力(センサ出力)をデータレジスタ83の記録するべき場所に記録する。続いて位相カウンタの値を”1”に設定し、IDカウンタの値を1つ増加させる(手順S95)。この処理でデータ受信処理を終えて、データがエラーの無い場合に限り、入力データがデータレジスタ83に書き込まれることになる。
【0115】
このデータ受信処理の終了により、IDデコードメイン処理(図25)も終了し、図24のIDデコード処理の手順S64に戻る。この手順S64では、フラグレジスタ82とデータレジスタ83の内容がフレームメモリ85に書き込まれることになる。このときのアドレスは、タイミング制御部84にあるアドレスカウンタ値である。
【0116】
各レジスタ82、83からフレームメモリ85への書き込みが行われた後、デコード完了時間に達しているか否かが判断される。先に図16に示したように、この本実施例のID認識カメラでは、画像とIDを交互に取得するようになっており、それぞれの区間を画像モード、IDモードと呼んでいる。このIDモードの区間も、IDデコード処理区間、ID重心計算区間に分かれており、それぞれ時間を規定している。ここでデコード完了時間とは、IDデコード処理区間を終える時間のことを指しており、その時間がきたかどうかの判断をこの手順S65では行う。
【0117】
この時間の管理は、図22に示すタイミング制御部84が行う。もしデコード完了時間に達していれば、次のID重心計算処理(手順S69)に進む。もしデコード完了時間になっていなければ、手順S66でフレームが終了であるかどうかを調べ、終了であればアドレスカウンタを0に初期化し(手順S68)、或いはフレームが終了でなければアドレスカウンタをカウントアップして(手順SS67)、それぞれ手順S62に戻り、次のフラグ及びデータ(ID)情報をフレームメモリ85からレジスタ82、83へ転送してIDデコード処理を継続する。
【0118】
ここでID重心計算処理について、図29を参照しながら説明する。先ず、初めにID座標格納メモリ88を全てデータ”0”にするように初期化する(手順S111)。次に、手順S112ではフレームメモリ85からIDレジスタ87へのデータの読み出しが行われる。この時、データ制御部からの制御信号によってフレームメモリ85からデータ(ID)情報を読み出し、IDレジスタ87に書き込みがなされる。
【0119】
次に、手順S113で、その読み出したIDに相当するデータをID格納座標メモリ88から読み出す。ID格納座標メモリは、図22に示すように、本実施形態では、送信データを8ビットとしているので256種類のIDの情報を順番に格納したもので、それぞれのIDの情報とは、各IDの重心計算に必要な「I座標の和」「J座標の和」「個数(IDが検出された画素数)」から成る。したがって、ここでは、IDレジスタ87に格納されたIDから、それにIDに対応する「I座標の和」「J座標の和」「個数(IDが検出された画素数)」をID重心計算部86に読み出すことになる。
【0120】
ID重心計算部86はI座標の和、J座標の和、個数+1を計算で求めるように作動する(手順S114)。すなわち、「I座標の和」は「I座標の和」にフレームメモリ85のI座標値を加えた値に更新され、「J座標の和」は「J座標の和」+フレームメモリ85のJ座標値を加えた値に更新され、「個数(IDが検出された画素数)」は「個数(IDが検出された画素数)」を1つ増加させた値に更新される。その計算結果はID重心計算部86からID座標格納メモリ88に書き込まれる(手順S115)。タイミング制御部84がIDレジスタ87の内容を、対応するID座標格納メモリ88に書き戻す。
【0121】
次に手順S116に進み、タイミング制御部84のアドレス信号によって、フレームメモリ85の全座標読み出しを終了したか否かが判断される。もし終了していなかったら、タイミング制御部84は、そのアドレスカウンタの値を増加させて(手順S117)、フレームメモリ85から次のアドレスのIDデータを、IDレジスタに読み出し、ID重心計算処理を継続する。手順S116で、もしフレームメモリ85の全座標読み出しを終了していれば、ID重心計算処理を終える。
【0122】
なお、本実施形態では、これまでにID認識カメラ内では、「I座標の和」「J座標の和」「個数(IDが検出された画素数)」を計算するところを示したが、各IDの重心座標は、これらの値をID認識カメラから受け取れば次式で簡単に計算できる。
【0123】
[数4]
重心座標(Ig,Jg)=(I座標の和、J座標の和)/個数
【0124】
また各IDの位置は、重心以外にも、外接四角形の中心など他の手法も用いることも可能である。
【0125】
このような重心座標の計算によって、ID情報を発しながら大きく移動する被写体についても確実にID認識カメラの画角内に捉えることができ、被写体を自動的に追尾して確実に撮影できることになる。
【0126】
上述の実施形態では、IDデコード処理をセンサの出力順序によって順次行うように説明し、例えばラスタスキャンでセンサ出力がされるならば、ラスタスキャンで読み出し、1つのIDデコード回路で復号化をするように構成するが、これに限らずIDデコード処理を高速に行いたい場合には、並列化を図り各ライン毎にIDデコード回路(N個)をもつことで、N倍高速な回路構成が実現できる。また回路規模は大きくなるが、各画素毎にIDデコード回路を持っても良い。
【0127】
また、上述の実施形態では、信号処理方法としてマンチェスター符号化を用いてエラー検出を行うようにしているが、他の符号化方式を用いても良く、エラー検出だけではなく、エラー訂正などを行うように構成することも可能であり、また、1つの被写体に複数のIDを割り当て、確実な追尾を図るような撮影方法も可能である。
【0128】
【発明の効果】
上述のように、本発明の移動撮影システム及び移動撮影方法によれば、ID認識カメラを搭載した飛行体などの移動体によって被写体を撮影することができるため、移動する被写体を自動的に追尾して確実に撮影できる。また、光ビーコン装置を操作して、無人の飛行体などに撮影プログラムや追尾方式の変更などの制御も可能であり、途中で撮影に支障が生じた場合でも柔軟な対応が可能である。また、カメラで複数の被写体を追う場合であっても、それぞれに被写体にID情報を付与し、且つそれらを位置情報と共に自動的に把握することができるため、移動する複数の被写体であっても確実な撮影が可能である。
【図面の簡単な説明】
【図1】本発明の移動撮影システムの一例の構成を示す模式図である。
【図2】本発明の移動撮影システムの一例の移動体側の構成を示すブロック図である。
【図3】本発明の移動撮影システムにおける光ビーコン装置の一例を示す模式的な外観斜視図である。
【図4】図3の光ビーコン装置の内部回路構成を示すブロック図である。
【図5】本発明の移動撮影システムの一例の一般的な動作を説明するためのフローチャートである。
【図6】本発明の移動撮影システムの一例における飛行体の位置変更動作を説明するためのフローチャートである。
【図7】本発明の移動撮影システムの一例における撮影方法の変更動作を説明するためのフローチャートである。
【図8】本発明の移動撮影システムの一例における自動撮影時の追尾方法を説明するためのフローチャートである。
【図9】本発明の移動撮影システムの一例における自動撮影時のフレーミングモードを説明するための模式図である。
【図10】本発明の移動撮影システムの一例における自動撮影時の距離・角度モードを説明するための模式図である。
【図11】本発明の移動撮影システムの一例における自動撮影時のズームモードを説明するための模式図である。
【図12】本発明の移動撮影システムの一例における自動撮影時の撮影方向モードを説明するための模式図である。
【図13】本発明の移動撮影システムの一例における自動撮影時の追跡方法について説明するためのフローチャートである。
【図14】本発明の移動撮影システムの一例における光ビーコン装置からの信号を捕捉しながら追尾する際の概念図である。
【図15】本発明の移動撮影システムの一例におけるID認識カメラの構成例を示すブロック図である。
【図16】本発明の移動撮影システムの一例における画像モードとIDモードの関係を示す図である。
【図17】本発明の移動撮影システムの一例における画像出力のためのA/D変換動作を示す図である。
【図18】本発明の移動撮影システムの一例における装置の構成例を示すブロック図である。
【図19】本発明の移動撮影システムの一例における送信データのフォーマットを示す図である。
【図20】本発明の移動撮影システムの一例におけるIDデコード処理を示すタイミングチャートである。
【図21】本発明の移動撮影システムの一例におけるIDデコード処理中のエラーチェック処理を示すタイミングチャートである。
【図22】本発明の移動撮影システムの一例におけるIDデコード処理部の構成を示すブロック図である。
【図23】本発明の移動撮影システムの一例におけるレジスタの構成を示すブロック図である。
【図24】本発明の移動撮影システムの一例におけるIDモード時の処理手順を示すフローチャートである。
【図25】本発明の移動撮影システムの一例におけるIDデコードメイン処理を示すフローチャートである。
【図26】本発明の移動撮影システムの一例におけるスタートコード検出処理を示すフローチャートである。
【図27】本発明の移動撮影システムの一例におけるデータ受信処理を示すフローチャートである。
【図28】本発明の移動撮影システムの一例におけるエラーチェック処理を示すフローチャートである。
【図29】本発明の移動撮影システムの一例におけるID重心計算処理を示すフローチャートである。
【符号の説明】
2 光ビーコン装置
3 ユーザー
10 無人ヘリコプター
11 ID認識カメラ
12 メインローター
13 テールローター
20 撮像部
21 IDカメラ処理部
23 メモリ
24 飛行体制御部
25 飛行動力部
26 画像制御部
27 表示部
28 入力部
29 外部出力部
30 ネットワークインターフェイス
31 光ビーコン装置
32 保持部
33 光ビーコン装置本体
34 キー入力部
35、36 発光ダイオード
37 マイコン
38 電源
39 キー入力部
40 LED駆動部
41 メモリ
81 デコード回路
82 フラグレジスタ
83 データレジスタ
84 タイミング制御部
85 フレームメモリ
86 IDレジスタ
87 ID重心計算回路
88 ID座標格納メモリ

Claims (20)

  1. 撮影装置を搭載して移動可能とされる移動体と、被写体に取り付けられ前記撮影装置で認識可能な所要の光信号を発生させる信号発生装置とを具備することを特徴とする移動撮影システム。
  2. 前記所要の光信号は発光装置が発する光の点滅パターンであることを特徴とする請求項1記載の移動撮影システム。
  3. 前記所要の光信号には認識情報が含まれることを特徴とする請求項1記載の移動撮影システム。
  4. 前記移動体は前記所要の光信号に含まれる制御情報に基づいて制御されることを特徴とする請求項1記載の移動撮影システム。
  5. 前記移動体は無人制御の推進可能な装置であることを特徴とする請求項4記載の移動撮影システム。
  6. 前記撮像装置には記憶部が接続され、前記撮像装置で撮影された画像データが前記光信号に含まれる認識情報と対応付けられて記録されることを特徴とする請求項1記載の移動撮像システム。
  7. 前記記憶部から出力された画像データを処理して画像表示する画像表示部を更に有することを特徴とする請求項5記載の移動撮像システム。
  8. 撮影装置で認識可能な所要の光信号を発生させる信号発生装置を被写体に取り付け、前記被写体を移動させると共に前記撮影装置を搭載した移動体を作動させ、前記撮影装置によって前記信号発生装置からの前記光信号を探知し、探知された前記光信号を基に前記移動体は前記被写体を追尾し且つ前記被写体を前記撮影装置によって撮影することを特徴とする移動撮影方法。
  9. 前記撮像装置で前記光信号を捉え、該光信号に含まれる制御情報に基づいて前記移動体が制御されることを特徴とする請求項8記載の移動撮影方法。
  10. 前記移動体は前記光信号に含まれる識別番号によって目標の被写体であることが確認されたときに追尾動作を開始することを特徴とする請求項8記載の移動撮影方法。
  11. 前記移動体は前記光信号の移動によって前記被写体の移動方向及び移動速度を予測し、前記移動体はその予測に適合するように移動することを特徴とする請求項8記載の移動撮影方法。
  12. 前記移動体は光信号を失った場合に再度探知を行うことを特徴とする請求項8記載の移動撮影方法。
  13. 撮影装置で認識可能な所要の光信号を発生させる信号発生装置を被写体に取り付け、前記撮影装置を移動体に搭載した後、前記被写体を移動させると共に前記撮像装置で前記所要の光信号を捉え、該光信号に含まれる制御情報に基づいて前記移動体が制御されることを特徴とする移動撮影方法。
  14. 前記移動体は無人制御の推進可能な装置であることを特徴とする請求項8記載の移動撮影方法。
  15. 撮影装置で認識可能な所要の光信号を発生させる信号発生装置を被写体に取り付け、前記撮影装置を移動体に搭載した後、前記被写体を移動させると共に前記撮像装置で前記所要の光信号を捉え、該光信号に含まれる制御情報に基づいて前記撮影装置の撮影動作が制御されることを特徴とする移動撮影方法。
  16. 前記撮影装置における撮影動作の制御として、被写体の画面内の位置を主に固定するモード、被写体に対する撮影方向を主に固定するモード、被写体と移動体の間の距離及び角度を主に固定するモード、被写体の画面内の大きさを主に固定するモードの内の1つまたは複数を選べるように制御されることを特徴とする請求項15記載の移動撮影方法。
  17. 撮影装置で認識可能な所要の光信号を発生させる信号発生装置を被写体に取り付け、前記撮影装置を移動体に搭載した後、前記被写体を移動させると共に前記撮像装置で前記所要の光信号を捉え、該光信号に含まれる認識情報に対応付けられて前記撮影装置で撮影された画像データが前記撮像装置に接続される記憶部に記録されることを特徴とする移動撮影方法。
  18. 当該移動体の移動のための動力を発生させる動力発生部と、
    前記動力発生部に生ずる動力を制御する移動体制御部と、
    所要の光信号を認識できると共に被写体についての画像データを取得できる撮像装置とを有し、前記撮像装置で認識された光信号には前記移動体制御部に送られる制御信号が含まれることを特徴とする移動体。
  19. 前記移動体は無人制御の推進可能な装置であることを特徴とする請求項18記載の移動体。
  20. 撮像装置を用いて被写体を撮影した際に認識可能な所要の光信号を発生させる信号発生部と、前記信号発生部を被写体に取り付ける際に用いられる保持部とを有することを特徴とする信号発生装置。
JP2002259982A 2002-09-05 2002-09-05 移動撮影システム、移動撮影方法、及び撮影装置 Expired - Fee Related JP4284949B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002259982A JP4284949B2 (ja) 2002-09-05 2002-09-05 移動撮影システム、移動撮影方法、及び撮影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002259982A JP4284949B2 (ja) 2002-09-05 2002-09-05 移動撮影システム、移動撮影方法、及び撮影装置

Publications (2)

Publication Number Publication Date
JP2004101616A true JP2004101616A (ja) 2004-04-02
JP4284949B2 JP4284949B2 (ja) 2009-06-24

Family

ID=32260830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002259982A Expired - Fee Related JP4284949B2 (ja) 2002-09-05 2002-09-05 移動撮影システム、移動撮影方法、及び撮影装置

Country Status (1)

Country Link
JP (1) JP4284949B2 (ja)

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318005A (ja) * 2004-04-26 2005-11-10 Sony Corp 情報処理装置
JP2008252508A (ja) * 2007-03-30 2008-10-16 Sanyo Electric Co Ltd 撮像装置及び撮影方法
JP2009027747A (ja) * 2004-05-31 2009-02-05 Casio Comput Co Ltd 撮像装置、及び、プログラム
JP2010160626A (ja) * 2009-01-07 2010-07-22 Nec Corp 入出港管理システム、処理方法、入出港管理装置、プログラム、船舶、点滅制御回路、及び移動体識別システム
JP2011142644A (ja) * 2011-02-04 2011-07-21 Sanyo Electric Co Ltd 撮像装置
CN103716531A (zh) * 2012-09-28 2014-04-09 卡西欧计算机株式会社 摄影系统、摄影方法、发光装置、摄影装置
JP2014075635A (ja) * 2012-10-02 2014-04-24 Casio Comput Co Ltd 撮影システム、撮影方法、発光装置、撮影装置、及びプログラム
JP2014086804A (ja) * 2012-10-22 2014-05-12 Nikon Corp 補助撮像装置及びプログラム
JP2014207661A (ja) * 2013-03-21 2014-10-30 カシオ計算機株式会社 撮影システム、撮像装置、発光装置、撮像方法、発光方法及びプログラム
JP2015115000A (ja) * 2013-12-13 2015-06-22 株式会社東芝 走行体装置
JP2015125470A (ja) * 2013-12-25 2015-07-06 株式会社東芝 走行体装置
JP2016101774A (ja) * 2014-11-27 2016-06-02 みこらった株式会社 浮揚移動台
CN105847207A (zh) * 2016-06-08 2016-08-10 金陵科技学院 基于光波信息的无人机身份识别装置及信息调制解调方法
KR20160119956A (ko) * 2015-04-07 2016-10-17 (주)코아텍 드론을 이용한 추적 시스템
JP2016220004A (ja) * 2015-05-19 2016-12-22 オリンパス株式会社 撮像装置
JP2016220005A (ja) * 2015-05-19 2016-12-22 オリンパス株式会社 撮像装置
JP2017011469A (ja) * 2015-06-22 2017-01-12 カシオ計算機株式会社 撮影装置、撮影方法、およびプログラム
JP2017509520A (ja) * 2014-10-27 2017-04-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 飛行情報を提供する方法
JP2017072986A (ja) * 2015-10-07 2017-04-13 パナソニックIpマネジメント株式会社 自律飛行装置、自律飛行装置の制御方法及びプログラム
US20170108877A1 (en) * 2014-07-30 2017-04-20 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
JP2017529029A (ja) * 2014-07-07 2017-09-28 ルイ ディップDIEP, Louis カメラ制御および画像ストリーミング
WO2017168457A1 (ja) * 2016-03-28 2017-10-05 株式会社 スカイロボット 自動追随撮影システム
JP2017185928A (ja) * 2016-04-07 2017-10-12 カシオ計算機株式会社 飛行型カメラ装置、飛行型カメラシステム、端末装置、飛行型カメラ装置の制御方法およびプログラム
JP2017199172A (ja) * 2016-04-27 2017-11-02 Kyb株式会社 車両用周囲状況提示システム、無人飛行体、および車両用周囲状況提示方法
JP2017200821A (ja) * 2017-07-24 2017-11-09 みこらった株式会社 防御装置及び防御システム
US9826873B2 (en) 2013-12-13 2017-11-28 Toshiba Lifestyle Products & Services Corporation Traveling body device
JP2017222350A (ja) * 2017-07-24 2017-12-21 みこらった株式会社 防御装置及び防御システム
JP2017538300A (ja) * 2015-08-26 2017-12-21 シャオミ・インコーポレイテッド 無人航空機の撮影制御方法及び撮影制御装置、電子デバイス、コンピュータプログラム及びコンピュータ読取可能記憶媒体
WO2018037955A1 (ja) * 2016-08-26 2018-03-01 ソニー株式会社 情報処理装置および方法、並びに記録媒体
JP2018129063A (ja) * 2018-03-14 2018-08-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 無人航空機を制御するための方法、無人航空機、及び無人航空機を制御するためのシステム
US10134298B2 (en) 2014-09-30 2018-11-20 SZ DJI Technology Co., Ltd. System and method for supporting simulated movement
WO2019004098A1 (ja) * 2017-06-26 2019-01-03 オリンパス株式会社 撮像システム、撮像端末、撮像方法、およびプログラム
JP2019059476A (ja) * 2019-01-16 2019-04-18 みこらった株式会社 浮揚移動台
JP2019146074A (ja) * 2018-02-22 2019-08-29 大日本印刷株式会社 撮影システム及び撮影制御装置
JP2019168886A (ja) * 2018-03-23 2019-10-03 カシオ計算機株式会社 検出体領域検出装置、撮像装置、飛行装置、検出体領域検出方法、撮像方法及びプログラム
US10558218B2 (en) 2016-01-28 2020-02-11 Fujitsu Ten Limited Vehicle surroundings monitoring apparatus, monitoring system, remote monitoring apparatus, and monitoring method
CN110914638A (zh) * 2017-07-18 2020-03-24 杭州他若定位科技有限公司 使用反射光源的智能物体追踪
WO2020170534A1 (ja) * 2019-02-18 2020-08-27 ソニー株式会社 飛行体、情報処理方法及びプログラム
JP2021004033A (ja) * 2019-01-16 2021-01-14 みこらった株式会社 浮揚移動台及び浮揚移動台用プログラム
US10901412B2 (en) 2017-08-10 2021-01-26 Panasonic Intellectual Property Corporation Of America Moving body, control method, and recording medium
JP2021037951A (ja) * 2019-11-07 2021-03-11 みこらった株式会社 防御装置及び防御システム並びに防御装置用のプログラム
JPWO2021124524A1 (ja) * 2019-12-19 2021-06-24
JP2021183496A (ja) * 2020-09-30 2021-12-02 みこらった株式会社 浮揚移動台及び浮揚移動台用プログラム
JP2021184634A (ja) * 2014-10-17 2021-12-02 ソニーグループ株式会社 制御装置および制御方法
JP2022027784A (ja) * 2019-11-07 2022-02-14 みこらった株式会社 防御装置及び防御システム並びに防御装置用プログラム
JP2022068257A (ja) * 2016-08-16 2022-05-09 本郷飛行機株式会社 情報処理システム
US11364637B2 (en) 2017-07-18 2022-06-21 Hangzhou Taro Positioning Technology Co., Ltd. Intelligent object tracking
WO2022259799A1 (ja) * 2021-06-09 2022-12-15 富士フイルム株式会社 制御装置、飛行体システム、制御方法、及びプログラム
WO2023238208A1 (ja) * 2022-06-06 2023-12-14 株式会社RedDotDroneJapan 空中撮影システム、空中撮影方法及び空中移動体管理装置

Cited By (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318005A (ja) * 2004-04-26 2005-11-10 Sony Corp 情報処理装置
JP2009027747A (ja) * 2004-05-31 2009-02-05 Casio Comput Co Ltd 撮像装置、及び、プログラム
JP4640483B2 (ja) * 2004-05-31 2011-03-02 カシオ計算機株式会社 撮像装置、及び、プログラム
US8144235B2 (en) 2007-03-30 2012-03-27 Sanyo Electric Co., Ltd. Image pickup device and image pickup method
JP2008252508A (ja) * 2007-03-30 2008-10-16 Sanyo Electric Co Ltd 撮像装置及び撮影方法
JP2010160626A (ja) * 2009-01-07 2010-07-22 Nec Corp 入出港管理システム、処理方法、入出港管理装置、プログラム、船舶、点滅制御回路、及び移動体識別システム
JP2011142644A (ja) * 2011-02-04 2011-07-21 Sanyo Electric Co Ltd 撮像装置
CN103716531A (zh) * 2012-09-28 2014-04-09 卡西欧计算机株式会社 摄影系统、摄影方法、发光装置、摄影装置
CN103716531B (zh) * 2012-09-28 2017-03-01 卡西欧计算机株式会社 摄影系统、摄影方法、发光装置、摄影装置
US9380198B2 (en) 2012-09-28 2016-06-28 Casio Computer Co., Ltd. Photographing system, photographing method, light emitting apparatus, photographing apparatus, and computer-readable storage medium
JP2014075635A (ja) * 2012-10-02 2014-04-24 Casio Comput Co Ltd 撮影システム、撮影方法、発光装置、撮影装置、及びプログラム
JP2014086804A (ja) * 2012-10-22 2014-05-12 Nikon Corp 補助撮像装置及びプログラム
JP2014207661A (ja) * 2013-03-21 2014-10-30 カシオ計算機株式会社 撮影システム、撮像装置、発光装置、撮像方法、発光方法及びプログラム
JP2015115000A (ja) * 2013-12-13 2015-06-22 株式会社東芝 走行体装置
US9826873B2 (en) 2013-12-13 2017-11-28 Toshiba Lifestyle Products & Services Corporation Traveling body device
JP2015125470A (ja) * 2013-12-25 2015-07-06 株式会社東芝 走行体装置
JP2017529029A (ja) * 2014-07-07 2017-09-28 ルイ ディップDIEP, Louis カメラ制御および画像ストリーミング
US11194323B2 (en) 2014-07-30 2021-12-07 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
US11106201B2 (en) 2014-07-30 2021-08-31 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
US20170108877A1 (en) * 2014-07-30 2017-04-20 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
US11217112B2 (en) 2014-09-30 2022-01-04 SZ DJI Technology Co., Ltd. System and method for supporting simulated movement
US10134298B2 (en) 2014-09-30 2018-11-20 SZ DJI Technology Co., Ltd. System and method for supporting simulated movement
US11530050B2 (en) 2014-10-17 2022-12-20 Sony Corporation Control device, control method, and flight vehicle device
JP7226487B2 (ja) 2014-10-17 2023-02-21 ソニーグループ株式会社 制御装置および制御方法
JP2021184634A (ja) * 2014-10-17 2021-12-02 ソニーグループ株式会社 制御装置および制御方法
US11884418B2 (en) 2014-10-17 2024-01-30 Sony Group Corporation Control device, control method, and flight vehicle device
JP2017509520A (ja) * 2014-10-27 2017-04-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 飛行情報を提供する方法
US10086954B2 (en) 2014-10-27 2018-10-02 SZ DJI Technology Co., Ltd. UAV flight display
JP2016101774A (ja) * 2014-11-27 2016-06-02 みこらった株式会社 浮揚移動台
KR20160119956A (ko) * 2015-04-07 2016-10-17 (주)코아텍 드론을 이용한 추적 시스템
KR101690502B1 (ko) * 2015-04-07 2016-12-28 (주)코아텍 드론을 이용한 추적 시스템
JP2016220004A (ja) * 2015-05-19 2016-12-22 オリンパス株式会社 撮像装置
JP2016220005A (ja) * 2015-05-19 2016-12-22 オリンパス株式会社 撮像装置
JP2017011469A (ja) * 2015-06-22 2017-01-12 カシオ計算機株式会社 撮影装置、撮影方法、およびプログラム
JP2017538300A (ja) * 2015-08-26 2017-12-21 シャオミ・インコーポレイテッド 無人航空機の撮影制御方法及び撮影制御装置、電子デバイス、コンピュータプログラム及びコンピュータ読取可能記憶媒体
JP2017072986A (ja) * 2015-10-07 2017-04-13 パナソニックIpマネジメント株式会社 自律飛行装置、自律飛行装置の制御方法及びプログラム
CN107015568A (zh) * 2015-10-07 2017-08-04 松下知识产权经营株式会社 自主飞行装置、自主飞行装置的控制方法
US10353403B2 (en) 2015-10-07 2019-07-16 Panasonic Intellectual Property Management Co., Ltd. Autonomous flying device, control method of autonomous flying device, and non-transitory recording medium
US10558218B2 (en) 2016-01-28 2020-02-11 Fujitsu Ten Limited Vehicle surroundings monitoring apparatus, monitoring system, remote monitoring apparatus, and monitoring method
WO2017168457A1 (ja) * 2016-03-28 2017-10-05 株式会社 スカイロボット 自動追随撮影システム
JP2017185928A (ja) * 2016-04-07 2017-10-12 カシオ計算機株式会社 飛行型カメラ装置、飛行型カメラシステム、端末装置、飛行型カメラ装置の制御方法およびプログラム
JP2017199172A (ja) * 2016-04-27 2017-11-02 Kyb株式会社 車両用周囲状況提示システム、無人飛行体、および車両用周囲状況提示方法
CN105847207B (zh) * 2016-06-08 2023-01-24 金陵科技学院 基于光波信息的无人机身份识别装置及信息调制解调方法
CN105847207A (zh) * 2016-06-08 2016-08-10 金陵科技学院 基于光波信息的无人机身份识别装置及信息调制解调方法
US11671888B2 (en) 2016-08-16 2023-06-06 Hongo Aerospace Inc. Information processing system
JP2022068257A (ja) * 2016-08-16 2022-05-09 本郷飛行機株式会社 情報処理システム
CN109564725A (zh) * 2016-08-26 2019-04-02 索尼公司 信息处理装置和方法以及记录介质
WO2018037955A1 (ja) * 2016-08-26 2018-03-01 ソニー株式会社 情報処理装置および方法、並びに記録媒体
JP2022008501A (ja) * 2016-08-26 2022-01-13 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
JP7173251B2 (ja) 2016-08-26 2022-11-16 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
JPWO2018037955A1 (ja) * 2016-08-26 2019-06-20 ソニー株式会社 情報処理装置および方法、並びに記録媒体
US11127286B2 (en) 2016-08-26 2021-09-21 Sony Corporation Information processing device and method, and recording medium
WO2019004098A1 (ja) * 2017-06-26 2019-01-03 オリンパス株式会社 撮像システム、撮像端末、撮像方法、およびプログラム
CN110914638B (zh) * 2017-07-18 2021-11-26 杭州他若定位科技有限公司 使用反射光源的智能物体追踪
CN110914638A (zh) * 2017-07-18 2020-03-24 杭州他若定位科技有限公司 使用反射光源的智能物体追踪
US11364637B2 (en) 2017-07-18 2022-06-21 Hangzhou Taro Positioning Technology Co., Ltd. Intelligent object tracking
JP2020526853A (ja) * 2017-07-18 2020-08-31 ハンジョウ タロ ポジショニング テクノロジー カンパニー リミテッドHangzhou Taro Positioning Technology Co.,Ltd. インテリジェントな物体追跡
JP2017222350A (ja) * 2017-07-24 2017-12-21 みこらった株式会社 防御装置及び防御システム
JP2017200821A (ja) * 2017-07-24 2017-11-09 みこらった株式会社 防御装置及び防御システム
US10901412B2 (en) 2017-08-10 2021-01-26 Panasonic Intellectual Property Corporation Of America Moving body, control method, and recording medium
JP7000910B2 (ja) 2018-02-22 2022-01-19 大日本印刷株式会社 撮影システム及び撮影制御装置
JP2019146074A (ja) * 2018-02-22 2019-08-29 大日本印刷株式会社 撮影システム及び撮影制御装置
JP2018129063A (ja) * 2018-03-14 2018-08-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 無人航空機を制御するための方法、無人航空機、及び無人航空機を制御するためのシステム
JP2019168886A (ja) * 2018-03-23 2019-10-03 カシオ計算機株式会社 検出体領域検出装置、撮像装置、飛行装置、検出体領域検出方法、撮像方法及びプログラム
JP2022105047A (ja) * 2018-03-23 2022-07-12 カシオ計算機株式会社 撮像装置、飛行装置、撮像方法及びプログラム
JP2019059476A (ja) * 2019-01-16 2019-04-18 みこらった株式会社 浮揚移動台
JP2021004033A (ja) * 2019-01-16 2021-01-14 みこらった株式会社 浮揚移動台及び浮揚移動台用プログラム
WO2020170534A1 (ja) * 2019-02-18 2020-08-27 ソニー株式会社 飛行体、情報処理方法及びプログラム
JP2022027784A (ja) * 2019-11-07 2022-02-14 みこらった株式会社 防御装置及び防御システム並びに防御装置用プログラム
JP7198526B2 (ja) 2019-11-07 2023-01-04 みこらった株式会社 防御装置及び防御システム並びに防御装置用プログラム
JP2021037951A (ja) * 2019-11-07 2021-03-11 みこらった株式会社 防御装置及び防御システム並びに防御装置用のプログラム
JP7026868B2 (ja) 2019-12-19 2022-02-28 三菱電機株式会社 目標追尾装置および目標追尾方法
WO2021124524A1 (ja) * 2019-12-19 2021-06-24 三菱電機株式会社 目標追尾装置および目標追尾方法
JPWO2021124524A1 (ja) * 2019-12-19 2021-06-24
JP7153397B2 (ja) 2020-09-30 2022-10-17 みこらった株式会社 浮揚移動台及び浮揚移動台用プログラム
JP2022184999A (ja) * 2020-09-30 2022-12-13 みこらった株式会社 浮揚移動台及び浮揚移動台用プログラム
JP2021183496A (ja) * 2020-09-30 2021-12-02 みこらった株式会社 浮揚移動台及び浮揚移動台用プログラム
WO2022259799A1 (ja) * 2021-06-09 2022-12-15 富士フイルム株式会社 制御装置、飛行体システム、制御方法、及びプログラム
WO2023238208A1 (ja) * 2022-06-06 2023-12-14 株式会社RedDotDroneJapan 空中撮影システム、空中撮影方法及び空中移動体管理装置

Also Published As

Publication number Publication date
JP4284949B2 (ja) 2009-06-24

Similar Documents

Publication Publication Date Title
JP4284949B2 (ja) 移動撮影システム、移動撮影方法、及び撮影装置
US20230156319A1 (en) Autonomous media capturing
US20230291997A1 (en) Imaging Apparatus and Display Control Method Thereof
CN111294488B (zh) 摄像设备及其控制方法和存储介质
US9088721B2 (en) Imaging apparatus and display control method thereof
JP6641447B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US20130329029A1 (en) Digital camera system
US20100073497A1 (en) Operation input apparatus, operation input method, and program
JP7233162B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6476692B2 (ja) システム並びに装置、制御方法
JP2014075635A (ja) 撮影システム、撮影方法、発光装置、撮影装置、及びプログラム
JP2004334269A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US11729488B2 (en) Image capturing apparatus, method for controlling the same, and storage medium
JP7403218B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2020188326A (ja) 撮像管理システム
JP2004208229A (ja) 対象物識別システム、発光装置及び検出装置
JP2021107874A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2024001637A (ja) 撮像装置およびその制御方法
JP2023074369A (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP2014120927A (ja) 撮像装置、撮像装置のプログラム、及びリモート撮影システム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050527

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090303

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090316

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120403

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120403

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees