JP2017034320A - 移動機構を持った撮像装置 - Google Patents

Abstract

【課題】ヘリカメラなど飛行体にカメラを備ええた装置でズームをスムーズにさせたいがヘリの移動は環境（強風や障害物が通るなど）によって一定の速度でズームをするのが難しい。【解決手段】ヘリの速度の増減によってズーム速度が一定に保てない時は光学（デジタル）ズームを使ってトータルのズーム速度が一定になるように補正する。【選択図】図３

Description

本発明は、ラジコンなどのヘリコプタにデジタルカメラなどの撮像装置を設置した移動機構を持った撮像装置に関する。

近年、デジタルカメラの小型化により、飛行機能をもつ無人飛行体、例えば、ラジコンヘリにデジタルカメラを設置したヘリカメラが開発されている。ヘリカメラを用いることで、人が簡単には撮影できない場所、位置、方向からの撮影が可能となり映像表現の幅を広げることが可能になっている。カメラを移動することによる映像表現はいくつか存在し、その中の一つにカメラを被写体に対して前後に移動するドリーイン、ドリーアウトがある。

しかし、カメラを移動することによって得られる映像表現をヘリコプタなどの飛行体に設置したカメラで行うと、強風などによってヘリに所望の動きをさせることが困難になり、所望の映像を取得することができない。

そのような課題に対して被写体との距離を測定し、距離に応じてズーム倍率を変更するよって、被写体の大きさが一定となるような撮影方法の改善が行われている（特許文献１）。

特開２００６−２７４４８号公報

しかしながら、従来技術であると被写体とカメラの距離情報が必要になり、測距センサもしくはあらかじめ入力された被写体の位置と現在のカメラの位置をＧＰＳなど位置取得手段で知る必要がある。

本発明に係る撮像装置は、
被写体を撮像する撮像手段と、
前記撮像手段の移動により被写体の拡大、縮小を行う第一の拡縮手段と、
光学的もしくは電子的に被写体の拡大、縮小を行う第二の拡縮手段と、
前記第一の拡縮手段が連続的に行われえているかの判断する連続性判断手段を持ち、
前記第一の拡縮手段により連続的に拡縮を行うときに、
前記連続性判断手段により連続的に拡大、縮小が行えないと判断された時には
前記第二の拡縮手段を用いて被写体の拡大、縮小が連続的の行われるように制御することを特徴とする。

本発明に係る撮像装置によれば、ヘリカメラが障害物や風向きなどによってヘリカメラの移動が困難になり、所定の速度でドリーインを行うが出来なくなったときにおいてもドリーインをしたときと同様な映像を作成することが可能となる。

本発明の実施例におけるヘリカメラの外観である。 本発明の実施例におけるヘリカメラの構成図である。 本発明の実施例におけるドリーイン撮影のフローチャートである。 本発明の実施例におけるドリーイン撮影をしたときの拡大倍率と時間の関係である。

以下、本発明を実施する為の好ましい形態を、添付の図面に基づいて詳細に説明をする。

本実施例では、無人移動装置にデジタルカメラ機能を搭載した例として、カメラ付きラジコンヘリについて説明をする。

図１はラジコンヘリ１００の外観の例を示したものである。図１の（ａ）はヘリカメラ１００を横から見た図、（ｂ）はヘリカメラ１００を上から見た図を示している。

ヘリカメラ１００は飛行ユニット１２０と撮影を行う撮像ユニット１２１からなる。飛行ユニットは４つのプロペラからなる。

撮像ユニット１２２は撮像に必要な機能と機体のピッチ、ロール及びヨー方向の姿勢変動に応じてカメラの撮像方向を補正する機能からなる。

図２は本発明を適用した動画像を記録する手段を持ったラジコンヘリ１００及びラジコンヘリ１００を制御する無線コントローラ２００の構成例を示したものである。

ラジコンヘリ１００はレンズユニット１０１、撮像センサ１０２、レンズ制御部１０３、センサ制御部１０４、カメラ信号処理部１０５、システム制御部１０６、メモリ制御部１０７、メモリ１０８、圧縮伸長部１０９、記録媒体制御部１１０、記録媒体１１１を備える。さらに、動きベクトル検出部１１２、飛行制御部１１３、プロペラ駆動部１１４、撮像ユニット駆動部１１５，無線通信部１１６、内部バス１１７を備える。

レンズユニット１０１は、集光のための固定レンズ群と、変倍レンズ群、絞り、補正レンズ群より構成される。補正レンズ群は変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行う機能を備えている。

撮像センサ１０２はレンズユニット１０１により撮像面に結像された光学像を電気信号に変換する。内部にはＡ／Ｄ変換器を備え、電気信号をサンプル・ホールドと増幅をしデジタルデータへの変換を行い、映像信号として出力する。

レンズ制御部１０３はシステム制御部１０６の要求により、ズーム制御、フォーカス制御及びに露出制御を行う。

センサ制御部１０４は内部には同期信号発生回路をもち、システム制御部１０６の要求により前記同期信号発生回路から所望の周期で同期信号を発生させる。センサ制御部１０４は同期信号を基準にし、撮像センサ１０２に電荷の蓄積開始と読み出しタイミングを供給する。

カメラ信号処理部１０５は撮像センサ１０２が出力した映像信号に対して色分離処理、アパーチャー処理、ガンマ処理等を施した後、輝度信号、色差信号を生成する。

システム制御部１０６は内部バス１１８を介して各ブロックに接続され、各ブロックの制御を行う。

メモリ制御部１０７はメモリ１０８と各モジュールのバスアービトレーションを行うメモリコントローラである。

メモリ１０８は画像処理された映像信号や動画のストリームを一時記憶するＤＲＡＭである。

圧縮伸長部１０９は映像信号をＪＰＥＧ圧縮方式で、また動画データをＭＰＥＧ圧縮方式などで圧縮伸長するための圧縮伸長回路である。

記録媒体制御部１１０は記録媒体１１１に対し、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式などで圧縮された映像信号の書き込み、および読出しの制御を行う。

記録媒体１１１はＳＤカードやＣＦカードなどのメモリーカードである。

動きベクトル検出部１１２は撮影した２つの映像信号の所望の領域の動きベクトルを検出する。システム制御部１０６検出した動きベクトルから所望の領域が拡大したか縮小したかを判断することが可能である。

飛行制御部１１３は内部にジャイロ装置を備え、ピッチ、ロール及びヨーの各軸廻りの機体の変動を検出する。プロペラ駆動部１１４を制御し、複数のプロペラを駆動して変動を吸収し、飛行姿勢を安定させる。また、検出した機体の変動に応じて撮像ユニット駆動部１１５に制御信号を送り、機体の変動により発生した画角変動の低減を行う。

システム制御部１０６によりあらかじめ決められた経路を飛行する飛行経路情報、または、ユーザの遠隔操作を無線通信により受信した制御情報に基づいて飛行に要する各プロペラの回転数を算出し、プロペラ駆動部１１４に駆動信号を出力してラジコンヘリ１００を飛行させる。

プロペラ駆動部１１４は、飛行制御部１１３からの駆動信号に応じて、プロペラを回転させる。

撮像ユニット駆動部１１５は飛行制御部１１３からの駆動信号に応じて、撮像ユニット１２１をピッチ、ロール及びヨーの各軸廻りに回転させる。

無線通信部１１６は無線コントローラ２００と通信し、撮像開始、撮像終了、ラジコンヘリ１００を任意の方向に動かす飛行制御信号及び、飛行経路情報の受信をする。また、システム制御部の指示により無線コントローラ２００に対して映像信号を送信する。

内部バス１１７は、各ブロックに接続され、映像信号や制御信号のやりとりが行われる。

無線コントローラ２００は無線通信部２０１、システム制御部２０２、操作部２０３、表示部２０４を備える。

無線通信部２０１はヘリカメラ１００と通信を行う。システム制御部２０２は無線コントローラ２００の各ブロックに接続されていて、各ブロックの制御を行う。

操作部２０３はラジコンヘリ１００を操作するためのインターフェースである。

ボタンやタッチパネルによる操作でラジコンヘリ１００に対して移動や停止、飛行経路を指定して自動的に飛行をさせるなど飛行ユニット１２０の飛行制御を行う。また、撮影開始や撮影終了、ズームなど撮像ユニット１２１の撮影制御を行う。

表示部２０４はヘリカメラ１００から受信した映像信号を表示する。

次にヘリカメラ１００の撮影について図２を用いて説明をする。

動画撮影時は、レンズユニット１０１を透過した光は、撮像センサ１０２の撮像面上に結像し、撮像面の光学像が所定時間ごとに電気信号に変換される。変換された電気信号は増幅された後、デジタル信号への変換が行われ映像信号として出力される。撮像センサ１０２より出力された映像信号は、カメラ信号処理部１０５により色変換処理が行われ、変換後はＹＣＣ（４：２：２）画像データとしてメモリ１０８に格納される。

メモリ１０８に格納されたＹＣＣ画像データは、圧縮伸長部１０９に入力される。圧縮伸長部１０９に入力された映像信号はＭＰＥＧ圧縮方式で圧縮され、動画データとしてメモリ１０８に格納される。メモリ１０８に格納された動画データは記録媒体制御部１１０を介し、記録媒体１１１に記録される。

メモリ１０８に格納されたＹＣＣ画像データは無線通信部１１６を介し、無線コントローラ２００に送信され、表示部２０４に表示される。

次に図２から図４を用いて本発明におけるヘリカメラ１００でのドリーインをしながら撮影をしたときの動作について説明をする。図２の構成図、図３のフローチャート用いて、本発明のフローについて説明をする。

Ｓ３０１において無線コントローラ２００の操作部２０４により撮影条件の設定がされる。撮影条件とは注目する被写体、撮影開始してからドリーインを開始するまでの時刻、ドリーインの速度とドリーインを行う時刻である。これらの条件からシステム制御部１０６は撮影時にヘリカメラ１００がドリーイン開始、終了時刻である飛行開始、終了時刻、からなる飛行スケジュールを作成する。さらに、ドリーインした時に注目する被写体が一フレームあたりのどのくらいの拡大倍率であるかを算出し、ドリーイン中の各時刻にどの程度の拡大倍率かを計算するための情報を作成する。ドリーインの設定は複数行うことが可能である。

Ｓ３０２において撮影開始要求が無線コントローラ２００の操作部２０４により無線通信部２０１、１１１６を介し、ヘリカメラ１００のシステム制御部１０６に対して出される。システム制御部１０６は動画撮影動作を開始する。

Ｓ３０３においてシステム制御部１０６は撮影終了をするかの判断を行う。ユーザは無線コントローラ２００の操作部２０４により撮影終了要求を出す。撮影終了要求が来ていた時にＳ３０４の撮影終了処理を行う。撮影終了要求が来ていない時はＳ３０５の処理を行う。

Ｓ３０４においてシステム制御部１０６は撮影終了処理を行う。

Ｓ３０５においてシステム制御部１０６は現在の時刻がドリーイン開始時刻かの確認を行う。ドリーイン開始時刻の時にはシステム制御部１０６は飛行制御部１１３に指示を出し、ヘリカメラ１００の移動を開始し、Ｓ３０６の処理を行う。ドリーイン開始時刻ではない時にはＳ３０３に戻り撮影終了要求を待つ。

Ｓ３０６においてシステム制御部１０６は現在の時刻がドリーイン終了時刻かの確認を行う。ドリーイン終了時刻の時にはシステム制御部１０６は飛行制御部１１３に指示をだし、ヘリカメラ１００の移動を停止させ、Ｓ３０５に戻り、次のドリーイン開始時刻を待つ。ドリーイン終了時刻ではないときにはＳ３０７の処理を行う。

Ｓ３０７においてシステム制御部１０６は動きベクトルの取得を行う。一フレーム前に撮像した映像信号と今回撮像した映像信号から注目する被写体の動きベクトルを取得し、注目している被写体の拡大率を求める。ドリーインを開始したときから現在までにレンズの拡大倍率を変更していたら動きベクトルより求めた拡大倍率にレンズの拡大倍率を掛け合わせたものをＳ３０８の判断に用いる。

Ｓ３０８においてシステム制御部１０６はＳ３０７で求めた拡大率が現在の時刻に応じた拡大率になっているかの判断を行う。拡大率が所望のものになっていたらＳ３０９にすすみ、撮影終了を待つ。所望のものでなければＳ３１０の処理を行う。

Ｓ３０９においてシステム制御部１０６は撮影終了をするかの判断を行う。撮影終了要求が来ていた時にＳ３０４の撮影終了処理を行う。撮影終了要求が来ていない時はＳ３０６に戻りドリーインの終了時刻であるかの確認を行う。

Ｓ３１０において補正する拡大倍率（ＺｏｏｍＡ）の算出を行う。システム制御部１０６はＳ３０７で取得したヘリカメラの移動による拡大倍率（ＺｏｏｍＭ）と現在の時刻に応じた期待する注目する被写体の拡大倍率（ＺｏｏｍＤ）から、光学ズームをどのくらいの拡大倍率（ＺｏｏｍＡ）にしたら注目する被写体の拡大率が期待のものとなるかを以下の式で求める。
ＺｏｏｍＡ ＝ ＺｏｏｍＤ ÷ ＺｏｏｍＭ
Ｓ３１１においてシステム制御部はＳ３１０で求めた拡大率になるようにレンズ制御部１０３を介してレンズ１０１の制御を行う。

図３と図４のタイミングチャートを用いて拡大倍率がどのように変化していくかを説明する。図４の（ａ）は注目する被写体の拡大倍率と時間の関係、（ｂ）はヘリの移動による映像の拡大倍率と時間の関係、（ｃ）はレンズによる映像の拡大倍率と時間の関係を示している。ｔ４０００は記録開始時刻、ｔ４００１はドリーイン開始時刻、ｔ４００２はヘリカメラ１００が移動できなくなった時刻、ｔ４００３はヘリカメラが移動できるようになった時刻、ｔ４００４はドリーイン終了時刻、ｔ４００５は記録終了時刻を示している。

図４のｔ４０００は図３のＳ３０２と同じタイミングである。図４のｔ４００１までヘリカメラ１００は移動しないため（ａ）（ｂ）の拡大倍率は変化しない。

図４のｔ４００１はドリーインを開始する時刻であり、Ｓ３０５でＹＥＳに進んだ時と同じタイミングである。ドリーインを開始するとヘリカメラ１００は移動を開始する。ヘリカメラ１００はシステム制御部１０６が飛行制御部１１３にあらかじめ設定した拡大倍率の変化になるような速度で移動する。ヘリカメラ１００が移動した量によって注目する被写体の拡大倍率が決まり、速度によって拡大倍率の変化量が決まる。

ｔ４００２までは一定の速度で移動する。ここではヘリカメラの移動による拡大倍率と記録映像の拡大倍率は同じものになる。

図４のｔ４００２はヘリカメラ１００が移動できなくなったタイミングである。図３のフローチャートにおいてはＳ３０７，Ｓ３０８の処理により、移動できなくなったことを判断する。ｔ４００３まではヘリカメラ１００が移動しないためヘリカメラ１００の移動による拡大倍率は一定で、レンズによる映像の拡大倍率は所定の変化率で増加する。

図４のｔ４００３はヘリカメラが移動できるようになったタイミングである。ｔ４００４までヘリカメラ１００は移動可能であるがレンズによる映像の拡大倍率が１より大きいためｔ４００１￣ｔ４００２の期間に比べてヘリカメラ１００の移動による映像の拡大倍率の変化量は少なくする必要があり、その結果、ヘリカメラ１００の移動速度は遅くなる。

図４のｔ４００４はドリーインが終了するタイミングである。

図４のｔ４００５は撮影が終了するタイミングである。

以上のように、本発明を用いることにより、ヘリカメラが障害物や風向きなどによってヘリカメラの移動が困難になり、所定の速度でドリーインを行うが出来なくなったときにおいてもドリーインと同様な映像を作成することが可能となる。

本実施例ではレンズを使った光学的なズームにより映像の拡大を行ったが、メモリに格納された画像データに対してデジタル信号処理で拡大を行っても同様の結果を得られる。また今回はドリーインについて説明を行ったがドリーアウトを行うときも同様の効果を得ることができる。

１００ ヘリカメラ、１２０ 飛行ユニット、１２１ 撮像ユニット

Claims (3)

1. 被写体を撮像する撮像手段と、
   前記撮像手段の移動により被写体の拡大、縮小を行う第一の拡縮手段と、
   光学的もしくは電子的に被写体の拡大、縮小を行う第二の拡縮手段と、
   前記第一の拡縮手段が連続的に行われえているかの判断する連続性判断手段を持ち、
   前記第一の拡縮手段により連続的に拡縮を行うときに、
   前記連続性判断手段により連続的に拡大、縮小が行えないと判断された時には
   前記第二の拡縮手段を用いて被写体の拡大、縮小が連続的の行われるように制御することを特徴とする撮像装置。
2. 主被写体を決定する手段を持ち、主被写体の拡大、縮小の速度が所定のものとなることを特徴とする請求項１に記載の撮像装置。
3. 前記連続性判断手段は、前記撮像手段により連続的に撮像した映像から各フレーム間の拡大、縮小の倍率を取得する拡縮倍率取得手段を持ち、前記拡縮倍率の変化から、拡大、縮小が連続的に行われているかを判断することを特徴とする請求項１に記載の撮像装置。