以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び/またはプロセッサによって実装されてよい。専用回路は、デジタル及び/またはアナログハードウェア回路を含んでよい。集積回路(IC)及び/またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図1は、無人航空機(UAV)10及び遠隔操作装置300の外観の一例を示す。UAV10は、UAV本体20、ジンバル50、複数の撮像装置60、及び撮像装置100を備える。ジンバル50、及び撮像装置100は、撮像システムの一例である。UAV10は、移動体とは、空中を移動する飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。空中を移動する飛行体とは、UAVの他、空中を移動する他の航空機、飛行船、ヘリコプター等を含む概念である。
UAV本体20は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。UAV本体20は、複数の回転翼の回転を制御することでUAV10を飛行させる。UAV本体20は、例えば、4つの回転翼を用いてUAV10を飛行させる。回転翼の数は、4つには限定されない。また、UAV10は、回転翼を有さない固定翼機でもよい。
撮像装置100は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル50は、撮像装置100を回転可能に支持する。ジンバル50は、支持機構の一例である。例えば、ジンバル50は、撮像装置100を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル50は、撮像装置100を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル50は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置100を回転させることで、撮像装置100の姿勢を変更してよい。
複数の撮像装置60は、UAV10の飛行を制御するためにUAV10の周囲を撮像するセンシング用のカメラである。2つの撮像装置60が、UAV10の機首である正面に設けられてよい。更に他の2つの撮像装置60が、UAV10の底面に設けられてよい。正面側の2つの撮像装置60はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置60もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置60により撮像された画像に基づいて、UAV10の周囲の3次元空間データが生成されてよい。UAV10が備える撮像装置60の数は4つには限定されない。UAV10は、少なくとも1つの撮像装置60を備えていればよい。UAV10は、UAV10の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置60を備えてもよい。撮像装置60で設定できる画角は、撮像装置100で設定できる画角より広くてよい。撮像装置60は、単焦点レンズまたは魚眼レンズを有してもよい。
遠隔操作装置300は、UAV10と通信して、UAV10を遠隔操作する。遠隔操作装置300は、UAV10と無線で通信してよい。遠隔操作装置300は、UAV10に上昇、下降、加速、減速、前進、後進、回転などのUAV10の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、UAV10の高度を上昇させる指示情報を含む。指示情報は、UAV10が位置すべき高度を示してよい。UAV10は、遠隔操作装置300から受信した指示情報により示される高度に位置するように移動する。指示情報は、UAV10を上昇させる上昇命令を含んでよい。UAV10は、上昇命令を受け付けている間、上昇する。UAV10は、上昇命令を受け付けても、UAV10の高度が上限高度に達している場合には、上昇を制限してよい。
図2は、UAV10の機能ブロックの一例を示す。UAV10は、UAV制御部30、メモリ37、通信インタフェース36、推進部40、GPS受信機41、慣性計測装置42、磁気コンパス43、気圧高度計44、温度センサ45、湿度センサ46、ジンバル50、撮像装置60及び撮像装置100を備える。
通信インタフェース36は、遠隔操作装置300などの他の装置と通信する。通信インタフェース36は、遠隔操作装置300からUAV制御部30に対する各種の命令を含む指示情報を受信してよい。メモリ37は、UAV制御部30が、推進部40、GPS受信機41、慣性計測装置(IMU)42、磁気コンパス43、気圧高度計44、温度センサ45、湿度センサ46、ジンバル50、撮像装置60、及び撮像装置100を制御するのに必要なプログラム等を格納する。メモリ37は、コンピュータ読み取り可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、USBメモリ、及びソリッドステートドライブ(SSD)等のフラッシュメモリの少なくとも1つを含んでよい。メモリ37は、UAV本体20の内部に設けられてよい。UAV本体20から取り外し可能に設けられてよい。
UAV制御部30は、メモリ37に格納されたプログラムに従ってUAV10の飛行及び撮像を制御する。UAV制御部30は、制御装置の一例である。UAV制御部30は、CPUまたはMPU等のマイクロプロセッサ、MCU等のマイクロコントローラ等により構成されてよい。UAV制御部30は、通信インタフェース36を介して遠隔操作装置300から受信した命令に従って、UAV10の飛行及び撮像を制御する。推進部40は、UAV10を推進させる。推進部40は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。推進部40は、UAV制御部30からの命令に従って複数の駆動モータを介して複数の回転翼を回転させて、UAV10を飛行させる。
GPS受信機41は、複数のGPS衛星から発信された時刻を示す複数の信号を受信する。GPS受信機41は、受信された複数の信号に基づいてGPS受信機41の位置(緯度及び経度)、つまりUAV10の位置(緯度及び経度)を算出する。IMU42は、UAV10の姿勢を検出する。IMU42は、UAV10の姿勢として、UAV10の前後、左右、及び上下の3軸方向の加速度と、ピッチ、ロール、及びヨーの3軸方向の角速度とを検出する。磁気コンパス43は、UAV10の機首の方位を検出する。気圧高度計44は、UAV10が飛行する高度を検出する。気圧高度計44は、UAV10の周囲の気圧を検出し、検出された気圧を高度に換算して、高度を検出する。温度センサ45は、UAV10の周囲の温度を検出する。湿度センサ46は、UAV10の周囲の湿度を検出する。
撮像装置100は、撮像部102及びレンズ部200を備える。撮像装置100は、光学ズームに加えて電子ズームの機能を有してよい。撮像装置100は、光学ズーム機能及び電子ズーム機能の少なくとも一方を有してよい。レンズ部200は、レンズ装置の一例である。撮像部102は、イメージセンサ120、撮像制御部110、及びメモリ130を有する。イメージセンサ120は、CCDまたはCMOSにより構成されてよい。イメージセンサ120は、レンズ部200を介して結像された光学像を撮像し、撮像された画像を撮像制御部110に出力する。撮像制御部110は、CPUまたはMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。撮像制御部110は、UAV制御部30からの撮像装置100の動作命令に応じて、撮像装置100を制御してよい。撮像制御部110は、イメージセンサ120から出力された画像を拡大して、一部の画像を切り出すことで、電子ズームを実現してよい。
メモリ130は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、USBメモリ、及びソリッドステートドライブ(SSD)などのフラッシュメモリの少なくとも1つを含んでよい。メモリ130は、撮像制御部110がイメージセンサ120などを制御するのに必要なプログラム等を格納する。メモリ130は、撮像装置100の筐体の内部に設けられてよい。メモリ130は、撮像装置100の筐体から取り外し可能に設けられてよい。
レンズ部200は、フォーカスレンズ210、ズームレンズ211、レンズ駆動部212、レンズ駆動部213、及びレンズ制御部220を有する。フォーカスレンズ210は、フォーカスレンズ系の一例である。ズームレンズ211は、ズームレンズ系の一例である。フォーカスレンズ210、及びズームレンズ211は、少なくとも1つのレンズを含んでよい。フォーカスレンズ210、及びズームレンズ211の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ部200は、撮像部102に対して着脱可能に設けられる交換レンズでよい。レンズ駆動部212は、カム環、ガイド軸などの機構部材を介して、フォーカスレンズ210の少なくとも一部または全部を光軸に沿って移動させる。レンズ駆動部213は、カム環、ガイド軸などの機構部材を介して、ズームレンズ211の少なくとも一部または全部を光軸に沿って移動させる。レンズ制御部220は、撮像部102からのレンズ制御命令に従って、レンズ駆動部212及びレンズ駆動部213の少なくとも一方を駆動して、機構部材を介してフォーカスレンズ210及びズームレンズ211の少なくとも一方を光軸方向に沿って移動させることで、ズーム動作及びフォーカス動作の少なくとも一方を実行する。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。
レンズ部200は、メモリ222、位置センサ214、及び位置センサ215をさらに有する。メモリ222は、レンズ駆動部212、及びレンズ駆動部213を介して移動するフォーカスレンズ210、及びズームレンズ211の制御値を記憶する。メモリ222は、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。位置センサ214は、フォーカスレンズ210のレンズ位置を検出する。位置センサ214は、現在のフォーカス位置を検出してよい。位置センサ215は、ズームレンズ211のレンズ位置を検出する。位置センサ215は、ズームレンズ211の現在のズーム位置を検出してよい。
以上のようなUAV10に搭載された撮像装置100において、UAV10が移動する間、撮像装置100のズーム機能を利用して、例えば、背景の像面上の大きさを変化させながら注目被写体の像面上の大きさを維持したようなドリーズーム効果を動画に与える。
UAV制御部30は、取得部31、決定部32、及び判断部33を備える。取得部31は、撮像装置100のズーム倍率を第1ズーム倍率から第2ズーム倍率まで変化させるために要する時間T、第1ズーム倍率、及び第2ズーム倍率を取得する。取得部31は、メモリ130またはメモリ37などに予め格納された時間、第1ズーム倍率、及び第2ズーム倍率を取得してよい。取得部31は、遠隔操作装置300を介してユーザから指定された時間T、第1ズーム倍率、及び第2ズーム倍率を取得してよい。
ズーム倍率は、光学ズーム倍率、電子ズーム倍率、または光学ズーム倍率と電子ズーム倍率とを組み合わせた倍率でよい。光学ズーム倍率は、広角端からの倍率をいう。電子ズーム倍率は、イメージセンサ120から出力される画像の拡大率をいう。
決定部32は、時間T、第1ズーム倍率、及び第2ズーム倍率に基づいて、第1時点から第2時点までのそれぞれの時点における、撮像装置100のフォーカスの設定値、撮像装置100のズームの設定値、及びUAV10の移動速度を決定する。決定部32は、第1時点での撮像装置100の第1合焦距離を示す情報、及び第2時点での第2合焦距離を示す情報にさらに基づいて、第1時点から第2時点までのそれぞれの時点における、撮像装置100のフォーカスの設定値、撮像装置のズームの設定値、及びUAV10の移動速度を決定してよい。ここで、第1合焦距離を示す情報は、撮像装置100において第1時点で合焦状態にする被写体までの距離、及び第1時点でその被写体を合焦状態にするフォーカスレンズ210の位置の少なくとも一方を含む。第2合焦距離を示す情報は、撮像装置100おいて第2時点で合焦状態にする被写体までの距離、及び第2時点をその被写体を合焦状態にするフォーカスレンズ210の位置の少なくとも一方を含む。合焦状態とは、例えば、画像内の被写体のコントラストの評価値が予め定められた値以上ある状態をいう。
例えば、第1ズーム倍率は、2倍、第2ズーム倍率は、1倍である。図3に示すように、第1時点の撮像装置100のズーム倍率が2倍で、撮像装置100から被写体500までの距離(第1合焦距離)がL1とする。そして、2倍のときの被写体500の像面上の大きさが、1倍のときの被写体500の像面上の大きさに一致するようにUAV10を撮像方向に沿って移動させる。この場合、第2時点の撮像装置100のズーム倍率が1倍なので、第2時点の撮像装置100から被写体500までの距離(第2合焦距離)は、L2(=L1/2)である。すなわち、UAV10は、第1合焦距離と第2合焦距離との差(L1−L2=L1)だけ撮像方向に沿って移動すればよい。
撮像装置100は、第1時点から第2時点にかけてズームレンズ211を移動させて、ズーム倍率を2倍から1倍まで変化させる。また、撮像装置100は、第1時点から第2時点にかけてフォーカスレンズ210の合焦距離を第1合焦距離から第2合焦距離まで変化させる。第1合焦距離は、撮像装置100から第1時点で合焦させるべき第1合焦位置までの距離に対応する。第2合焦距離は、撮像装置100から第2時点で合焦させるべき第2合焦位置までの距離に対応する。なお、撮像装置100が被写体500に近づくように移動する代わりに、被写体500から遠ざかるように移動してもよい。この場合、例えば、第1ズーム倍率は、1倍であり、第2ズーム倍率は、2倍である。
撮像装置100は、第1時点から第2時点まで、静止している単一の被写体の合焦状態を維持するように撮像してよい。この場合、第1合焦位置は、第2合焦位置と同一である。撮像装置100は、第1時点で、第1被写体に合焦させ、第2時点で、第1被写体と撮像装置100からの距離が異なる第2被写体に合焦させるように撮像してよい。この場合、第1合焦位置は、第2合焦位置と異なる。
決定部32は、時間Tの間に、第2合焦距離と第1合焦距離との差だけUAV10を移動させるために必要なUAV10の移動速度を決定する。
決定部32は、第1合焦距離におけるズームレンズの位置とフォーカスレンズの位置との関係を示す第1情報と、第2合焦距離におけるズームレンズの位置とフォーカスレンズの位置との関係を示す第2情報とに基づいて、第1時点から第2時点までのそれぞれの時点における撮像装置100のフォーカスの設定値、及び撮像装置100のズームの設定値を決定してよい。
決定部32は、いわゆるズームトラッキング曲線に基づいて、第1時点から第2時点までのそれぞれの時点における撮像装置100のフォーカスの設定値、及び撮像装置100のズームの設定値を決定してよい。決定部32は、例えば、図4に示すように、第1合焦距離に対応する無限遠側合焦距離のズームトラッキング曲線602と、第2合焦距離に対応する至近端側合焦距離のズームトラッキング曲線601とに基づいて、第1時点から第2時点までのそれぞれの時点における撮像装置100のフォーカスの設定値、及び撮像装置100のズームの設定値を示すムーブトラッキング曲線603を決定してよい。撮像制御部110は、第1時点から第2時点にかけて、図4に示すようなムーブトラッキング曲線603に従って、ズームレンズの位置とフォーカスレンズの位置を制御するように、レンズ制御部220にズーム動作命令、及びフォーカス動作命令を出力する。
決定部32は、レンズ部200のメモリ222に格納された各合焦距離におけるズームトラッキング曲線のデータを取得して、取得したデータに基づいて、第1時点から第2時点までのそれぞれの時点における撮像装置100のフォーカスの設定値、及び撮像装置100のズームの設定値を示すムーブトラッキング曲線を決定してよい。
いわゆるドリーズーム効果を生じさせる動画を撮像装置100が撮像する場合、UAV10は、第1時点から第2時点にかけて撮像装置100の撮像方向に沿って飛行してよい。撮像制御部110は、撮像装置100が第1時点に合焦状態にある第1地点にいる被写体の像面上の大きさ、及び第1地点にいる被写体への合焦状態が維持されるように、第1時点から第2時点にかけて、ズームレンズ211、及びフォーカスレンズ210を制御してよい。決定部32は、第1時点から第2時点までのそれぞれの時点における撮像装置100のフォーカスの設定値を決定してよい。
図5は、フォーカスレンズ210、及びズームレンズ211を1つのレンズ系Lで表現した図である。Hは、レンズ系Lの主点を示す。F1は、レンズ系Lの物体側焦点を示す。F2は、レンズ系Lの像側焦点を示す。fは、主点Hから物体側焦点F1または像側焦点F2までの距離、すなわち、焦点距離を示す。aは、物体側焦点F1から被写体500までに距離を示す。bは、像側焦点F2から像面121までの距離を示す。この場合、ニュートンの結像公式に従って、a、b、及びfは、以下の関係を満たす。a、b、及びfはそれぞれ実数である。
b=f2×(1/a)
第1時点の第1ズーム倍率をZ1、第1ズーム倍率に続く次の時点の第2ズーム倍率をZ2、第1ズーム倍率Z1と第2ズーム倍率Z2との比をn=Z1/Z2とする。撮像装置100がズーム倍率を第1ズーム倍率Z1から第2ズーム倍率Z2に変化させる場合、UAV制御部30は、距離aが、距離n×aになるように、UAV10を制御する。撮像制御部110は、焦点距離fが、焦点距離n×fになるようにレンズ制御部220を介してズームレンズ211を制御する。
第2ズーム倍率Z2のときの距離b'は、ニュートンの結像公式に従って以下のように表される。
b'=(n×f)2×(1/(n×a))=n×f2×(1/a)=n×b
すなわち、撮像装置100がズーム倍率を第1ズーム倍率Z1から第2ズーム倍率Z2に変化させる場合、撮像制御部110は、レンズ系Lの像側焦点から像面までの距離が、n×bになるように、フォーカスレンズ210を制御すればよい。レンズ系Lの物体側焦点から被写体までの距離aがn×aになる場合、UAV制御部30は、レンズ系Lの焦点距離fをn×fにし、レンズ系Lの像側焦点から像面までの距離bをn×bにするようにレンズ制御部220を介してズームレンズ211及びフォーカスレンズ210を制御してよい。UAV制御部30は、ズームレンズ211を制御することによって、レンズ系Lの焦点距離をn×fにし、フォーカスレンズ210を制御することによって、レンズ系Lの像側焦点から像面までの距離をn×bにしてよい。これにより、第1時点に合焦状態にある第1地点にいる被写体の像面上の大きさ、及び第1地点にいる被写体への合焦状態が維持された状態で、撮像装置100は被写体を撮像できる。
決定部32は、撮像装置100のズーム倍率を焦点距離fに対応する第1ズーム倍率から焦点距離n×fに対応する第2ズーム倍率まで変化させるために要する時間T、第1ズーム倍率、第2ズーム倍率、距離aを示す情報、及び距離n×aを示す情報に基づいて、レンズ系Lの焦点距離fをn×fにし、レンズ系Lの像側焦点から像面までの距離bをn×bにするためのフォーカスの設定値、及びズームの設定値を決定してよい。
決定部32は、距離aにおけるズームレンズ211の位置とフォーカスレンズ210の位置との関係を示す第1情報と、距離n×aにおけるズームレンズの位置とフォーカスレンズの位置との関係を示す第2情報とにさらに基づいて、レンズ系Lの焦点距離fをn×fにし、レンズ系Lの像側焦点から像面までの距離bをn×bにするためのフォーカスの設定値、及びズームの設定値を決定してよい。
決定部32は、距離aにおけるズームレンズ211の位置とフォーカスレンズ210の位置との関係を示す第1情報と、距離n×aにおけるズームレンズ211の位置とフォーカスレンズ210の位置との関係を示す第2情報とにさらに基づいて、レンズ系Lの焦点距離fをn×fにし、レンズ系Lの像側焦点から像面までの距離bをn×bにするためのフォーカスの設定値、及びズームの設定値を決定してよい。
距離aは、撮像装置100から第1時点で合焦させるべき第1合焦位置までの距離に対応してよい。距離n×aは、撮像装置100から第2時点で合焦させるべき第2合焦位置までの距離に対応してよい。この場合、決定部32は、第1時点で撮像装置100に撮像される第1合焦位置の被写体の像面上の大きさと、第2時点で撮像装置100に撮像される第2合焦位置の被写体の像面上の大きさとが予め定められた条件を満たすように、レンズ系Lの焦点距離fをn×fにし、レンズ系Lの像側焦点から像面までの距離bをn×bにするためのフォーカスの設定値、及びズームの設定値を決定してよい。予め定められた条件は、第1時点で撮像装置100に撮像される第1合焦位置の被写体の像面上の大きさが、第2時点で撮像装置100に撮像される第2合焦位置の被写体の像面上の大きさと一致するという条件でよい。
レンズ系Lは、実際にはズームレンズ211またはフォーカスレンズ210として機能する複数のレンズ群から構成されている。ズームレンズ211の位置が変化すると、レンズ系Lの像側焦点から像面までの距離bも変化する場合がある。ズームレンズ211の位置の変化により、合焦距離がずれないように、撮像装置100は、ズームレンズ211の位置の変化に応じて、フォーカスレンズ210の位置を変化させてよい。すなわち、撮像装置100は、いわゆるズームトラッキング制御を行ってよい。
決定部32は、レンズ系Lの焦点距離に対応する情報とレンズ系Lの物体側焦点から被写体までの距離a(合焦距離)に対応する情報とに対応付けてフォーカスレンズ210のフォーカスの設定値を示す設定情報に基づいて、レンズ系Lの像側焦点から像面までの距離をn×bにするためのフォーカスレンズ210のフォーカスの設定値を決定してよい。設定情報は、撮像制御部110がズームトラッキング制御を行う場合に参照する情報でよい。
図6は、設定情報の一例を示す。合焦距離d0は、例えば、無限遠端を示す。合焦距離d8は、至近端を示す。設定情報は、焦点距離と、距離aとに対応付けて、フォーカスレンズ210の設定値Sとして、フォーカスレンズ210を駆動するステッピングモータのパルス数を示してよい。レンジは、特定の焦点距離(ズーム倍率)において、フォーカスレンズ210を無限遠端側から至近端側まで移動させた場合のフォーカスレンズ210の移動量rを示す。焦点距離(ズーム倍率)の大きさによって、フォーカスレンズ210を無限遠端側から至近端側まで移動させる場合のフォーカスレンズ210の移動量は変化する。メモリ130は、図6に示すような設定情報を記憶していてもよい。メモリ130は、特定の合焦距離に対応する焦点距離ごとのフォーカスレンズ210のフォーカスの設定値を設定情報として格納してよい。この場合、決定部32は、他の合焦距離における特定の焦点距離(ズーム倍率)のフォーカスレンズ210のフォーカスの設定値をその設定情報に基づいてその都度導出してもよい。メモリ130は、例えば、無限遠端に対応する焦点距離ごとのフォーカスの設定値、すなわち、無限遠端のズームトラキング曲線に対応する情報を設定情報として格納してよい。決定部32は、無限遠端のズームトラキング曲線に対応する設定情報に基づいて、他の合焦距離における特定の焦点距離(ズーム倍率)のフォーカスレンズ210のフォーカスの設定値をその都度導出してよい。
図7は、設定情報を2次元で示したいわゆるズームトラッキング曲線の集合を示す。符号610で示す下限の境界は、合焦距離が無限遠端の場合のズームレンズ211の位置(ズームの設定値)とフォーカスレンズ210の位置(フォーカスの設定値)との関係を示すズームトラッキング曲線に対応する、符号611で示す上限の境界は、合焦距離が至近端の場合のズームレンズ211の位置(ズームの設定値)とフォーカスレンズ210の位置(フォーカスの設定値)との関係を示すズームトラキング曲線に対応する。ズームトラッキング曲線610とズームトラッキング曲線611との幅620が、それぞれのズーム倍率でフォーカスレンズ210を無限遠端側から至近端側まで移動させた場合のフォーカスレンズ210の移動量rに対応する。
第1時点から第2時点にかけて、撮像装置100が、レンズ系のズーム倍率を第1ズーム倍率から第2ズーム倍率に変化させる。この場合において、第1ズーム倍率をZ1、第2ズーム倍率をZ2、第1ズーム倍率と第2ズーム倍率との比をn=Z2/Z1とする。第1ズーム倍率Z1のときのフォーカスレンズ210のフォーカスの設定値をS1、第2ズーム倍率Z2のときのフォーカスレンズ210のフォーカスの設定値をS2とする。さらに、ズームトラッキング制御で参照される図7に示すような設定情報に基づいて定められる、第1ズーム倍率Z1のときにフォーカスレンズ210を無限遠端側から至近端側まで移動させる場合のフォーカスレンズ210の移動量(レンジ)をr1とする。加えて、この設定情報に基づいて定められる、第2ズーム倍率Z2のときにフォーカスレンズ210を無限遠端側から至近端側まで移動させる場合のフォーカスレンズ210の移動量をr2とする。
この場合、決定部32は、n、r1、r2、及びS1に基づいてS2を決定してよい。ここで、第1時点の合焦距離をd1、合焦距離d1の逆数をP1、第2時点の合焦距離をd2、合焦距離d2の逆数をP2、至近端の合焦距離をdn、定数をdivとする。ここで、n、r1、r2、S1、S2、d1、d2、P1、P2、dn、及びdivは、実数である。
この場合、次式を定義できる。
P1=div(S1/r1)・・・(1)
P1=div(dn/d1)・・・(2)
P2=div(S2/r2)・・・(3)
P2=div(dn/d2)・・・(4)
式(3)を変形すると、S2=(r2×P2)/div・・・(5)となる。式(5)に式(4)を代入すると、
S2=r2×div(dn/d2)/div=(dn/d2)×r2・・・(6)となる。
d2=n×d1なので、式(6)は、
S2=dn/(n×d1)×r2・・・(7)となる。
そして、dn/d1は、式(1)、及び式(2)より、
dn/d1=S1/r1・・・(8)となる。
式(7)に式(8)を代入すると、
S2=(1/n)×(r2/r1)×S1・・・(9)となる。
よって、決定部32は、S2=(1/n)×(r2/r1)×S1に従って、S2を決定してよい。UAV制御部30は、S2に従ってフォーカスレンズ210を制御するように、撮像装置100に指示してよい。UAV制御部30は、n、r1、r2、及びS1とS2との関係が予め定められた条件を満たすように、フォーカスレンズ210をレンズ制御部220を介して制御してよい。UAV制御部30は、S2=(1/n)×(r2/r1)×S1を満たすように、フォーカスレンズ210をレンズ制御部220を開始して制御してよい。
図8は、合焦距離ごとのズームトラッキング曲線と、合焦距離を1.0mから2.0mに変化させる場合のムーブトラッキング曲線630と、合焦距離を2.0mから4.0mに変化させる場合のムーブトラッキング曲線631の一例を示す。レンズ制御部220は、撮像装置100が移動する間に、例えば、ムーブトラッキング曲線630またはムーブトラッキング曲線631に従って、フォーカスレンズ210及びズームレンズ211を制御してよい。
決定部32は、第1時点で撮像装置100に撮像される第1合焦位置の被写体の像面上の大きさと、第2時点で撮像装置100に撮像される第2合焦位置の被写体の像面上の大きさとが予め定められた条件を満たすように、第1時点から第2時点までのそれぞれの時点における、撮像装置100のフォーカスの設定値、撮像装置100のズームの設定値、及びUAV10の移動速度を決定してよい。予め定められた条件は、第1時点で撮像装置100に撮像される第1合焦位置の被写体の像面上の大きさが、第2時点で撮像装置100に撮像される第2合焦位置の被写体の像面上の大きさと一致するという条件でよい。
撮像装置100は、第1時点から第2時点にかけて、被写体に近づくように撮像してよい。第1合焦位置が第2合焦位置と同一である場合、第1合焦距離が第2合焦距離より長くなるように、撮像装置100は被写体に対して移動しながら、撮像してよい。この場合、撮像装置100は、例えば、第1時点において、第1合焦距離、及び第1ズーム倍率で、図9Aに示すような画像700を撮像し、第2時点で、第2合焦距離、及び第1ズーム倍率より小さい第2ズーム倍率で、図9Bに示すような画像701を撮像する。これにより、第1時点から第2時点までに撮像される動画は、背景の像面上の大きさが変化しながら、注目する被写体500の像面上の大きさが維持されるような表現を含む。
第1合焦位置が第2合焦位置と異なる場合、決定部32は、第1時点で撮像装置100に撮像される第1合焦位置の被写体の像面上の大きさと、第2時点で撮像装置100に撮像される第2合焦位置の被写体の像面上の大きさとが予め定められた条件を満たすように、第1時点から第2時点までのそれぞれの時点における、撮像装置100のフォーカスの設定値、撮像装置100のズームの設定値、及びUAV10の移動速度を決定してよい。このような条件で第1時点から第2時点までに撮像される動画は、背景の像面上の大きさが変化しながら、第1時点で第1合焦位置に存在する第1注目被写体に合焦した状態から、第2時点で第2合焦位置に存在する第2注目被写体に合焦した状態になる表現を含む。
第1注目被写体は、第2注目被写体と同一でもよい。すなわち、第1時点で第1合焦位置に存在した注目被写体が、第2時点で第2合焦位置に移動してもよい。例えば、撮像装置100は、第1時点で、第1合焦距離、及び第1ズーム倍率で、図10Aに示すような合焦状態にある被写体500を含む画像710を撮像する。第2時点で、第2合焦距離、及び第1ズーム倍率より小さい第2ズーム倍率で、図10Bに示すような合焦状態にある被写体500を含む画像711を撮像する。これにより、第1時点から第2時点までに撮像される動画は、背景の像面上の大きさが変化しながら、第1時点から第2時点の間に移動する被写体500の像面上の大きさが維持されるような表現を含む。
第1合焦位置が第2合焦位置と異なる場合、決定部32は、第1時点で撮像装置100に撮像される第1合焦位置の被写体の像面上の大きさと、第2時点で撮像装置100に撮像される第1合焦位置に対応する位置の被写体の像面上の大きさとが予め定められた条件を満たすように、第1時点から第2時点までのそれぞれの時点における、撮像装置100のフォーカスの設定値、撮像装置100のズームの設定値、及びUAV10の移動速度を決定してよい。
この場合の予め定められた条件は、第1時点で撮像装置100に撮像される第1合焦位置の被写体の像面上の大きさが、第2時点で撮像装置100に撮像される第1合焦位置に対応する位置の被写体の像面上の大きさと一致するという条件でよい。このような条件で第1時点から第2時点までに撮像される動画は、背景の像面上の大きさが変化しながら、第1合焦位置に存在する注目被写体の像面上の大きさが維持されるような表現を含む。この動画は、第1時点において、第1合焦位置の注目被写体が合焦状態になり、第2時点において、第2合焦位置に存在する他の注目被写体が合焦状態となる表現を含む。撮像装置100は、例えば、第1時点において、第1合焦距離、及び第1ズーム倍率で、図11Aに示すような合焦状態になる被写体500と、合焦状態にある被写体501を含む画像720を撮像する。さらに、第2時点において、第2合焦距離、及び第1ズーム倍率より小さい第2ズーム倍率で、図11Bに示すような合焦状態にある被写体500と、合焦状態にない被写体501とを含む画像721を撮像する。
第1合焦位置が第2合焦位置と異なる場合、決定部32は、第1時点で撮像装置100に撮像される第2合焦位置に対応する位置の被写体の像面上の大きさと、第2時点で撮像装置100に撮像される第2合焦位置の被写体の像面上の大きさとが予め定められた条件を満たすように、第1時点から第2時点までのそれぞれの時点における、撮像装置100のフォーカスの設定値、撮像装置100のズームの設定値、及びUAV10の移動速度を決定してよい。
この場合の予め定められた条件は、第1時点で撮像装置100に撮像される第2合焦位置に対応する位置の被写体の像面上の大きさが、第2時点で撮像装置100に撮像される第2合焦位置の被写体の像面上の大きさと一致するという条件でよい。このような条件で第1時点から第2時点までに撮像される動画は、背景の像面上の大きさが変化しながら、第2合焦位置に存在する注目被写体の像面上の大きさが維持されるような表現を含む。この動画は、第1時点において、第2合焦位置に対応する位置に存在する注目被写体が合焦状態になく、第2時点において、第2合焦位置に存在する注目被写体が合焦状態になる表現を含む。
ズームが望遠側の場合、ズームが広角側の場合よりも、合焦状態を得られにくい。この理由の1つとして、ズームが望遠側の場合からドリーズームを開始すると、合焦の対象となる被写体を見つけにくいということが挙げられる。そこで、第1時点の第1合焦距離は、第2時点の第2合焦距離より長いほうが好ましい場合がある。すなわち、第1時点から第2時点にかけて、注目被写体に近づくようにUAV10が移動して撮像装置100が撮像するほうが好ましい場合がある。これにより、第1時点から第2時点にかけて、注目被写体の合焦状態を維持しやすくなる。
例えば、実際に撮像装置100を被写体に対して移動させて、取得部31が、第1時点から第2時点にかけての合焦距離を取得する。その後、再度、撮像装置100を被写体に対して移動させて、撮像装置100にドリーズーム効果を生じさせる動画を撮像させてよい。この場合、撮像装置100が被写体に近づくように移動する間に、望遠側から広角側にズーム倍率を変化させて、取得部31が合焦距離を取得してよい。これにより、撮像装置100は、第1時点から第2時点にかけて被写体に合焦させるための合焦距離を取得しやすくなる。そして、撮像装置100がドリーズーム効果を得る動画を撮像する場合には、撮像装置100を被写体から遠ざかるように移動する間に、事前に取得した合焦距離に基づいて、フォーカスレンズ及びズームレンズを制御し、広角側から望遠側にズーム倍率を変化させて、撮像してよい。
決定部32は、時間T、第1ズーム倍率、及び第2ズーム倍率に基づいて、第1時点から第2時点までのそれぞれの時点における、撮像装置100のズームの設定値として、光学ズーム及び電子ズームのそれぞれの制御値を決定してよい。決定部32は、光学ズームから電子ズームに切り替わるように、撮像装置100のズームの設定値として、光学ズーム及び電子ズームのそれぞれの制御値を決定してよい。決定部32は、電子ズームから光学ズームに切り替わるように、撮像装置100のズームの設定値として、光学ズーム及び電子ズームのそれぞれの制御値を決定してよい。
決定部32は、時間T、第1ズーム倍率、及び第2ズーム倍率に基づいて、第1時点から第2時点までのそれぞれの時点におけるフォーカスレンズ210のフォーカスの設定値及びズームレンズ211のズームの設定値を決定してよい。決定部32は、フォーカスレンズ210の位置とズームレンズ211の位置との予め定められた関係に従って、第1時点から第2時点までのそれぞれの時点におけるフォーカスレンズ210のフォーカスの設定値及びズームレンズ211のズームの設定値を決定してよい。
決定部32は、第1時点で撮像装置に撮像される第1合焦位置の被写体の像面上の大きさと、第2時点で撮像装置に撮像される第2合焦位置の被写体の像面上の大きさとが予め定められた条件を満たすように、第1時点から第2時点までのそれぞれの時点における、フォーカスの設定値、及びズームの設定値を決定してよい。予め定められた条件は、第1時点で撮像装置100に撮像される第1合焦位置の被写体の像面上の大きさが、第2時点で撮像装置100に撮像される第2合焦位置の被写体の像面上の大きさと一致するという条件でよい。
撮像装置100が第2時点から第3時点にかけて電子ズームで第2ズーム倍率から第3ズーム倍率までズーム倍率を変化させる場合に、決定部32は、第2時点から第3時点までのそれぞれの時点におけるフォーカスレンズ210のフォーカスの設定値を決定してよい。決定部32は、第2時点の合焦距離、及びUAV10の速度に基づいて、第2時点から第3時点までのそれぞれの時点におけるフォーカスレンズ210のフォーカスの設定値を決定してよい。
UAV制御部30は、第1時点から第2時点にかけて撮像装置100が移動している間に、フォーカスレンズ210の位置とズームレンズ211の位置との予め定められた関係(例えば、ズームトラキング曲線)に従ってフォーカスレンズ210及びズームレンズ211をレンズ制御部220を介して移動させることで、撮像装置100のズーム倍率を第1ズーム倍率から第1ズーム倍率のn倍の第2ズーム倍率まで変化させ、かつ撮像装置100の合焦距離を第1合焦距離から、第1合焦距離のn倍の第2合焦距離まで変化させてよい。
さらに、UAV制御部30は、第2時点から第3時点にかけて撮像装置100が移動している間に、電子ズームを実行することで、撮像装置100のズーム倍率を第2ズーム倍率から第1ズーム倍率のm倍の第3ズーム倍率まで変化させ、かつフォーカスレンズ210を移動させることで、撮像装置100の合焦距離を第2合焦距離から、第1合焦距離のm倍の第3合焦距離まで変化させてよい。ここで、電子ズームは、イメージセンサ120から出力された画像から切り出すサイズを変えることで実現されてよい。撮像装置100は、電子ズームを実行している間、光学ズームを実行せず、被写体までの距離に応じて合焦距離を変化させるべく、フォーカスレンズ210を移動してよい。これにより、撮像装置100が電子ズームを利用してドリーズーム効果を生じさせる動画を撮像することができる。
例えば、図12Aに示すように、UAV10は、被写体500までの距離を1.0mから2.0mに変化させるように撮像装置100の撮像方向に沿って飛行する。その間に、撮像装置100は、フォーカスレンズ210及びズームレンズ211を制御することで、光学ズームを実行して、ズーム倍率を1倍から2倍に変化させ、合焦距離を1.0mから2.0mに変化させる。さらに、UAV10は、被写体までの距離を2.0mから3.0mに変化させるように撮像装置100の撮像方向に沿って飛行する。その間に、撮像装置100は、電子ズームを実行して、ズーム倍率を2倍から3倍に変化させ、フォーカスレンズ210を制御することで、合焦距離を2.0mから3.0mに変化させる。
UAV制御部30は、撮像装置100に電子ズームを実行させた後に、撮像装置100に光学ズームを実行させてもよい。この場合、UAV制御部30は、第1時点から第2時点にかけて撮像装置100が移動している間に、電子ズームを実行することで、撮像装置のズーム倍率を第1ズーム倍率から第1ズーム倍率のn倍の第2ズーム倍率まで変化させ、かつフォーカスレンズ210をレンズ制御部220を介して移動させることで、撮像装置100の合焦距離を第1合焦距離から第1合焦距離のn倍の第2合焦距離まで変化させてよい。
さらに、UAV制御部30は、第2時点から第3時点にかけて撮像装置100が移動している間に、フォーカスレンズ210の位置とズームレンズ211の位置との予め定められた関係に従って、フォーカスレンズ210及びズームレンズ211を移動させることで、撮像装置100のズーム倍率を第2ズーム倍率から第1ズーム倍率のm倍の第3ズーム倍率まで変化させ、かつ撮像装置100の合焦距離を第2合焦距離から第1合焦距離のm倍の第3合焦距離まで変化させてよい。
決定部32は、撮像装置100のズーム倍率を第1ズーム倍率から第2ズーム倍率まで変化させるために要する時間T、第1ズーム倍率、第2ズーム倍率、第1合焦距離を示す情報、及び第2合焦距離を示す情報に基づいて、第1時点から第2時点までのそれぞれの時点における、撮像装置100のフォーカスの設定値を決定してよい。決定部32は、撮像装置100のズーム倍率を第2ズーム倍率から第3ズーム倍率まで変化させるために要する時間、第2ズーム倍率、第3ズーム倍率、第2合焦距離を示す情報、及び第3合焦距離を示す情報に基づいて、第2時点から第3時点までのそれぞれの時点における、フォーカスの設定値、及びズームの設定値を決定してよい。決定部32は、第2合焦距離におけるズームレンズ211の位置とフォーカスレンズ210の位置との関係を示す第1情報と、第3合焦距離におけるズームレンズ211の位置とフォーカスレンズ210の位置との関係を示す第2情報とにさらに基づいて、第2時点から第3時点までのそれぞれの時点における、フォーカスの設定値、及びズームの設定値を決定してよい。
例えば、図12Bに示すように、UAV10は、被写体500までの距離を1.0mから2.0mに変化させるように撮像装置100の撮像方向に沿って飛行する。その間に、撮像装置100は、電子ズームを実行して、ズーム倍率を1倍から2倍に変化させ、フォーカスレンズ210を制御することで、合焦距離を1.0mから2.0mに変化させる。さらに、UAV10は、被写体までの距離を2.0mから3.0mに変化させるように撮像装置100の撮像方向に沿って飛行する。その間に、撮像装置100は、フォーカスレンズ210及びズームレンズ211を制御することで光学ズームを実行して、ズーム倍率を2倍から3倍に変化させ、合焦距離を2.0mから3.0mに変化させる。
UAV制御部30は、撮像装置100に光学ズームと電子ズームとを少なくとも一部の期間で同時に実行させてよい。UAV制御部30は、第1時点から第2時点にかけて撮像装置100を移動している間に、撮像装置100の電子ズームを実行し、かつフォーカスレンズ210の位置とズームレンズ211の位置との予め定められた関係(ズームトラッキング曲線)に従って、フォーカスレンズ210及びズームレンズ211をレンズ制御部220を介して移動させることで、撮像装置100のズーム倍率を第1ズーム倍率から第1ズーム倍率のn倍の第2ズーム倍率まで変化させ、かつ撮像装置100の合焦距離を第1合焦距離から、第1合焦距離のn倍の第2合焦距離まで変化させてもよい。
決定部32は、撮像装置100のズーム倍率を第1ズーム倍率から第2ズーム倍率まで変化させるために要する時間T、第1ズーム倍率、第2ズーム倍率、第1合焦距離を示す情報、及び第2合焦距離を示す情報に基づいて、第1時点から第2時点までのそれぞれの時点における、フォーカスの設定値、及びズームの設定値を決定してよい。決定部32は、第1合焦距離におけるズームレンズ211の位置とフォーカスレンズ210の位置との関係を示す第1情報と、第2合焦距離におけるズームレンズ211の位置とフォーカスレンズ210の位置との関係を示す第2情報とにさらに基づいて、第1時点から第2時点までのそれぞれの時点における、フォーカスの設定値、及びズームの設定値を決定してよい。
例えば、図12Cに示すように、UAV10は、被写体500までの距離を1.0mから3.0mに変化させるように撮像装置100の撮像方向に沿って飛行する。その間に、撮像装置100は、電子ズーム、及び光学ズームを実行して、ズーム倍率を1倍から3倍に変化させ、合焦距離を1.0mから3.0mに変化させる。
図13は、フォーカスレンズ210の位置と、ズームレンズ211の位置との関係の一例を示す図である。図13には、合焦距離が1.0mのときのズームトラッキング曲線640と、合焦距離が2.0mのときのズームトラッキング曲線641と、合焦距離が3.0mのときのムーブトラッキング曲線643とが示されている。
図12Aに示すようにUAV10が被写体500までの距離を1.0mから2.0に変化させ、ズーム倍率を1倍から2倍に変化させる場合、決定部32は、例えば、合焦距離が1.0mのときのズームトラッキング曲線640と、合焦距離が2.0mのときのズームトラッキング曲線641とに基づいて、ズーム倍率を1倍から2倍に変化させた場合のズームレンズ211の位置とフォーカスレンズ210の位置との関係を示すムーブトラッキング曲線643を導出してよい。決定部32は、さらに、電子ズームによりズーム倍率を2倍から3倍に変化させた場合のフォーカスレンズ210のフォーカスの設定値を決定してよい。ズームレンズ211は移動しないので、決定部32は、フォーカスレンズ210の位置が符号644で示す直線のように変化するように、フォーカスレンズ210のフォーカスの設定値を決定してよい。
図14は、撮像装置100が光学ズームを実行した後に電子ズームを実行する場合のフォーカスレンズ210の位置の変化の様子を示す。UAV制御部30は、図14に示すように、撮像装置100の合焦距離が1.0mから2.0mに変化する間に、ズームトラッキング曲線に基づき定められる曲線650に沿ってフォーカスレンズ210をレンズ制御部220を介して移動させてよい。さらに、UAV制御部30は、撮像装置100の合焦距離が2.0mから3.0mに変化する間に、撮像装置100(UAV10)の移動速度に基づき定められる曲線651に沿ってフォーカスレンズ210をレンズ制御部220を介して移動させてよい。
ここで、UAV10が移動できる最大速度には限外がある。したがって、時間Tの長さ、または第1時点から第2時点までのUAV10の移動距離によっては、UAV10が時間Tの間に、その移動距離だけ移動できない場合もある。
ズームレンズ211が移動できる最高速度には限界がある。時間Tの長さによっては、ズームレンズ211が、時間Tの間に、第1ズーム倍率から第2ズーム倍率まで移動できない場合がある。
ズームレンズ211が移動できる最低速度にも限界がある。ズームレンズ211が、時間Tをかけて、第1ズーム倍率から第2ズーム倍率まで移動できない場合がある。すなわち、時間Tをかけてズームレンズ211を移動させるためには、ズームレンズ211の速度が遅すぎる場合がある。
UAV10を第1時点から第2時点まで移動させる経路上に、障害物が存在する場合、UAV10は、経路上を移動することができない場合もある。
このように、時間T、第1ズーム倍率、第2ズーム倍率、第1合焦距離、及び第2合焦距離によっては、撮像装置100がドリーズーム効果を得られる動画を撮像できない場合もある。
そこで、判断部33が、時間T、第1ズーム倍率、第2ズーム倍率、第1合焦距離、及び第2合焦距離に基づいて、撮像装置100がドリーズーム効果を得られる動画を撮像できるか否かを判断してよい。
判断部33は、時間Tと、第1ズーム倍率と、第2ズーム倍率と、ズームレンズ211の最低速度及び最高速度の少なくとも一方とに基づいて、時間Tで、撮像装置100のズーム倍率を第1ズーム倍率から第2ズーム倍率まで変化させることができるか否かを判断してよい。判断部33が時間Tで撮像装置100のズーム倍率を第1ズーム倍率から第2ズーム倍率まで変化させることができると判断した場合、決定部32は、第1時点から第2時点までのそれぞれの時点における、撮像装置100のフォーカスの設定値、撮像装置100のズームの設定値、及びUAV10の移動速度を決定してよい。
判断部33は、時間Tと、第1合焦距離と第2合焦距離との差と、UAV10の最高速度とに基づいて、時間TにUAV10が第1合焦距離と第2合焦距離との差だけ移動できるか否かを判断してよい。判断部33が時間TでUAV10が第1合焦距離と第2合焦距離との差だけ移動できると判断した場合、決定部32は、第1時点から第2時点までのそれぞれの時点における、撮像装置100のフォーカスの設定値、撮像装置100のズームの設定値、及びUAV10の移動速度を決定してよい。
判断部33は、第1合焦距離と第2合焦距離との差だけUAV10を移動させる経路上に障害物が存在するかどうかを判断してよい。判断部33が経路上に障害物がないと判断した場合、第1時点から第2時点までのそれぞれの時点における、撮像装置100のフォーカスの設定値、撮像装置のズームの設定値、及びUAV10の移動速度を決定してよい。判断部33は、メモリ37に格納された3次元マップ、及びUAV10の位置情報に基づいて、第1合焦距離と第2合焦距離との差だけUAV10を移動させる経路上に障害物が存在するかどうかを判断してよい。判断部33は、撮像装置100またはステレオカメラである撮像装置60により撮像される画像に基づいて、第1合焦距離と第2合焦距離との差だけUAV10を移動させる経路上に障害物が存在するかどうかを判断してよい。
ここで、ドリーズームのような効果を的確に画像に与えるためには、決定部32により決定された第1時点から第2時点までのそれぞれの時点における、撮像装置100のフォーカスの設定値、撮像装置100のズームの設定値、及びUAV10の移動速度に基づいて、撮像装置100のズーム制御及びフォーカス制御、並びにUAV10の移動制御を協調して的確に行うことが望ましい。
UAV10の質量と、ズームレンズ211及びフォーカスレンズ210の質量とは異なるので、UAV10の慣性モーメントと、ズームレンズ211及びフォーカスレンズ210の慣性モーメントとは異なる。したがって、UAV10の移動と、ズームレンズ211及びフォーカスレンズ210の移動を同時に開始する場合、互いの慣性モーメントの違いを考慮して協調制御する必要がある。しかしながら、UAV10、ズームレンズ211及びフォーカスレンズ210の協調制御をより的確に行うのは容易でない。
そこで、撮像装置100による撮影を開始する前に、UAV10の移動を開始して、UAV10が所望の移動速度で移動できるようになった段階で、ズームレンズ211及びフォーカスレンズ210の移動を開始する。すなわち、撮像装置100により撮影を開始する位置で、UAV10が所望の移動速度で移動できるように、UAV制御部30は、UAV10が助走できる位置まで一旦、UAV10を移動させる。そして、UAV制御部30は、その位置からUAV10の移動を開始させて、撮像装置100により撮影を開始する位置で、UAV10の移動速度が所望の移動速度になるように、UAV10の移動を制御する。これにより、UAV10の慣性モーメントを考慮せずに、ズームレンズ211及びフォーカスレンズ210の移動を制御できる。
例えば、図15に示すように、UAV10が位置P1でホバリングしている状態で、取得部31は、撮像装置100により撮影を開始する位置P1での合焦距離L1を取得する。さらに、取得部31は、撮像装置100のズーム倍率を第1ズーム倍率から第2ズーム倍率まで変化させるために要する時間T、第1ズーム倍率、及び第2ズーム倍率を取得する。
決定部32は、時間T、第1ズーム倍率、及び第2ズーム倍率に基づいて、記録開始時点T1から記録終了時点T2までのそれぞれの時点における、撮像装置100のフォーカスの設定値、撮像装置100のズームの設定値、及びUAV10の移動速度V1を決定する。決定部32は、記録開始時点T1から記録終了時点T2にかけて撮像装置100のズーム倍率を第1ズーム倍率から第2ズーム倍率に変化させ、撮像装置100の合焦距離を第1合焦距離L1から第2合焦距離L2まで変化させるべく、記録開始時点T1から記録終了時点T2までのそれぞれの時点におけるフォーカスの設定値、ズームの設定値、及び移動速度を決定してよい。例えば、第2ズーム倍率は、第1ズーム倍率のn倍であり、第2合焦距離L2は、第1合焦距離のn倍でよい。位置P1から位置P2での距離は、第1合焦距離L1と第2合焦距離L2との差分の距離に対応する。
さらに、決定部32は、UAV10の記録開始時点T1の位置P1及び記録開始時点T1のUAV10の移動速度V1に基づいて、UAV10が記録開始時点T1において位置P1で移動速度V1で移動できるように、記録開始時点T1より前の助走開始時点T0のUAV10の位置P0を決定する。決定部32は、第1決定部及び第2決定部の一例である。UAV10の移動速度が所望の移動速度に達すために必要な助走距離は、実験またはシミュレーションなどで予め計測しておき、移動速度と助走距離との対応関係をメモリ37などに格納してよい。決定部32は、メモリ37を参照することで、移動速度V1に対応する助走距離を決定して、決定された助走距離に基づいて、助走開始時点T0のUAV10の位置P0を決定してよい。
UAV制御部30は、時点T0より前の時点T00から時点T0にかけて、位置P1から位置P0までUAV10を移動させた後、時点T0で位置P0から、位置P1に向かってUAV10の移動を開始させる。なお、時点T00でのUAV10の位置は、記録開始時点T1の位置P1と異なる位置でもよい。そして、UAV制御部30は、時点T1で、UAV10の速度が移動速度V1になるようにUAV10を制御した後、位置P1から時点T2のUAV10の位置P2までUAV10の速度を移動速度V1に維持するようにUAV10を制御する。撮像制御部110は、時点T1から時点T2にかけて、撮像装置100のズーム倍率を第1ズーム倍率から第2ズーム倍率まで変化させ、撮像装置100の合焦距離を第1合焦距離から第2合焦距離まで変化させる制御を実行する。
上記の通り、UAV10は、助走距離を確保するために、時点T00から時点T0にかけて、主要被写体に向かって近づいてくる可能性がある。主要被写体であるユーザは、UAV10が遠ざかりながら撮像装置100が撮影することを想定している場合がある。このときに、UAV10がユーザに迫ってくると、ユーザはUAV10が誤動作したと勘違いする可能性がある。そこで、撮像制御部110は、図2に示すように、通知部34をさらに備えてよい。通知部34は、UAV10が位置P1から位置P2に向かって移動する前に位置P1から位置P0に向かって移動することを外部に通知する。通知部34は、通信インタフェース36を介して、遠隔操作装置300が備えるスピーカから音声で、UAV10がドリーズームを行う前に近づいてくることをユーザに通知してよい。通知部34は、通信インタフェース36を介して、遠隔操作装置300が備える表示部に、UAV10がドリーズームを行う前に近づいてくることを示すメッセージを表示することで、ユーザに通知してよい。
図16は、UAV10の移動に応じた撮像装置100の画像の記録のタイミングについて説明するための図である。時点T00で、UAV10は、位置P1でホバリングしている。そこから、UAV10は、助走距離を確保すべく、時点T0で、決定部32で決定された位置P0まで移動する。UAV10は、例えば、主要被写体に向かって近づいてくる。このとき、UAV10は、ユーザに違和感を与えないために、移動速度V1より遅い移動速度V2以下の速度でユーザに近づいてよい。つまり、UAV10は、ゆっくりとユーザに近づくことで、ユーザに恐怖感を感じさせないようにしてよい。決定部32は、時点T00の位置P1から時点T0の位置P0までUAV10を移動させるときのUAV10の移動速度を、時点T0から時点T1までUAV10を移動させるときのUAV10の移動速度より遅い移動速度に決定してよい。UAV制御部30は、時点T0から時点T1までUAV10を移動させるときのUAV10の移動速度より遅い移動速度で、助走距離を確保すべく、位置P1から位置P0までUAV10を移動させてよい。
そして、UAV10は、時点T0から時点T1にかけて、助走距離を利用して、移動速度を移動速度V1にする。UAV10は、時点T1から時点T2にかけて移動速度V1を維持しながら、位置P1から位置P2まで飛行する。このとき、撮像装置100は、時点T1から時点T2にかけて、ズーム倍率を第1ズーム倍率から第2ズーム倍率まで変化させる。さらに、撮像装置100は、時点T1から時点T2にかけて、動画を記録する。
ここで、UAV10が移動速度V1で位置P1から時点T2のUAV10の位置P2まで移動するのに要する時間は、時間H1である。決定部32は、UAV10が位置P1から位置P2まで移動速度V1で移動している間に、時間H1で、撮像装置100の合焦距離を第1合焦距離L1から第2合焦距離L2まで変化させ、撮像装置100のズーム倍率を第1ズーム倍率から第2ズーム倍率に変化させるように、時点T1から時点T2のそれぞれの時点におけるフォーカスの設定値、及びズームの設定値を決定してよい。このように、それぞれのパラメータを決定することで、時点T1から時点T2にかけて、画像内の主要被写体の大きさを維持しながら、背景を変化させる効果を動画に与えることができる。
一方、時点T1から時点T2にかけて、画像内の主要被写体の大きさも変化させながら、異なる変化率で背景を変化させるような効果を動画に与えたい場合もある。例えば、画像内の主要被写体を大きくしながら、異なる変化率で背景を変化させるような効果を動画に与えたい場合もある。
このような場合、図17に示すように、決定部32は、UAV10が位置P1から位置P2まで移動速度V1で移動している間に、時間H1で、撮像装置100の合焦距離を第1合焦距離L1から第2合焦距離L2まで変化させ、時間H1より短い時間H2で、撮像装置100のズーム倍率を第1ズーム倍率から第2ズーム倍率に変化させるように、時点T1から時点T2までのそれぞれの時点におけるフォーカスの設定値、及びズームの設定値を決定してよい。これにより、時点T1から時点T2にかけて、画像内の主要被写体の大きさも変化させながら、異なる変化率で背景を変化させるような効果を動画に与えることができる。
上記のような効果は、図18に示すように、UAV10の移動速度を移動速度V1より遅い移動速度V1'にすることでも得られる。
決定部32は、UAV10が位置P1から位置P2'まで移動速度V1'で移動している間に、時間H1で、撮像装置100の合焦距離を第1合焦距離L1から第2合焦距離L2'まで変化させ、かつ撮像装置100のズーム倍率を第1ズーム倍率から第2ズーム倍率に変化させるように、時点T1から時点T2までのそれぞれの時点におけるフォーカスの設定値、及びズームの設定値を決定してよい。このとき、移動速度V1'は、移動速度V1より遅い。第2ズーム倍率は、第1ズーム倍率のn倍であり、位置P1から位置P2'までの距離は、第1合焦距離のn倍の距離より短い。
このように、撮像装置100が第1ズーム倍率から、第1ズーム倍率のn倍の第2ズーム倍率までズーム倍率を変化させている間に、UAV10が、第1合焦距離のn倍の距離より短い距離だけ移動するように移動速度を調整する。これにより、時点T1から時点T2にかけて、画像内の主要被写体の大きさを変化させながら、異なる変化率で背景を変化させるような効果を動画に与えることができる。
上記のように、ズーム倍率を変化させる速度、またはUAV10の移動速度を調整することで、例えば、ドリーズーム開始時点で、広角側の画像として、第1ズーム倍率で、図19Aに示すような合焦状態にある被写体500を含む画像730を撮像する。ドリーズーム終了時点で、望遠側の画像として、第1ズーム倍率より大きい第2ズーム倍率で、図19Bに示すような合焦状態にある被写体500を含む画像711を撮像する。これにより、ドリーズーム開始時点からドリーズーム終了時点までに撮像される動画に、被写体500の像面上の大きさの変化率と、背景の像面上の大きさの変化率とが異なるような表現を与えることができる。
時点T1から時点T2にかけて、画像内の主要被写体の大きさを小さくさせながら、異なる変化率で背景を変化させる効果を動画に与えてもよい。例えば、撮像装置100が第1ズーム倍率から、第1ズーム倍率の1/n倍の第2ズーム倍率までズーム倍率を変化させている間に、UAV10が、第1合焦距離のn倍の距離だけ移動するように移動速度を調整してもよい。
図20は、UAV10に搭載された撮像装置100の撮像手順の一例を示すフローチャートである。
UAV10が飛行を開始する(S100)。遠隔操作装置300からのモード設定命令を受けて、UAV制御部30が、撮像装置100の撮像モードをドリーズームモードに設定する(S102)。UAV制御部30は、遠隔操作装置300の表示部に表示された撮像装置100のライブビューを介して注目被写体の選択を受け付ける(S104)。UAV制御部30は、撮像装置100により撮像されている画像から注目被写体を受け付ける受付部を有してよい。受付部は、画像から複数の注目被写体の選択を受け付けてもよい。受付部は、ドリーズーム開始時点の注目被写体、及びドリーズーム終了時点の注目被写体の選択を受け付けてよい。受付部は、ドリーズーム開始時点からドリーズーム終了時点までのそれぞれの時点の注目被写体の選択を受け付けてよい。
UAV制御部30は、遠隔操作装置300を介して第1時点(ドリーズームの記録開始時点)の第1ズーム倍率、第2時点(ドリーズームの記録終了時点)の第2ズーム倍率、及びドリーズームの撮像時間である時間Tを受け付けて、設定する(S106)。UAV制御部30は、予めメモリ37などに格納された設定情報に従って、第1ズーム倍率、第2ズーム倍率、及び時間Tを設定してよい。UAV制御部30は、望遠側から広角側に変化させるか、広角側から望遠側に変化させるかのみを受け付けてよい。UAV制御部30は、望遠側から広角側に変化させるか、広角側から望遠側に変化させるかに基づいて、予め定められた望遠側のズーム倍率、及び広角側のズーム倍率を第1時点及び第2時点のズーム倍率として設定してよい。UAV制御部30は、予め定められた複数の候補時間の中から時間Tを受け付けてよい。UAV制御部30は、例えば、長時間モード、中時間モード、短時間モードの中から、所望の時間モードを受け付けることで時間Tを設定してよい。
取得部31は、撮像装置100から注目被写体までの距離である合焦距離を示す情報を取得する(S108)。取得部31は、第1時点の注目被写体までの第1合焦距離を示す情報を取得してよい。取得部31は、第1ズーム倍率、第2ズーム倍率、及び第1合焦距離に基づいて、第2合焦距離を導出してよい。取得部31は第1ズーム倍率と第2ズーム倍率との比を第1合焦距離に乗算することで、第2合焦距離を導出してよい。
判断部33は、時間T、第1ズーム倍率、第2ズーム倍率、第1合焦距離、及び第2合焦距離に基づいて、撮像装置100がドリーズーム効果を得らえる動画を撮像できるか否かを判断する(S110)。判断部33が、時間T、第1ズーム倍率、第2ズーム倍率、第1合焦距離、及び第2合焦距離に基づいて、撮像装置100がドリーズーム効果を得られる動画を撮像できるか否かを判断してよい。
判断部33は、時間Tと、第1ズーム倍率と、第2ズーム倍率と、ズームレンズ211の最低速度及び最高速度の少なくとも一方とに基づいて、時間Tで、撮像装置100のズーム倍率を第1ズーム倍率から第2ズーム倍率まで変化させることができるか否かを判断してよい。判断部33は、時間Tと、第1合焦距離と第2合焦距離との差と、UAV10の最高速度とに基づいて、時間TにUAV10が第1合焦距離と第2合焦距離との差だけ移動できるか否かを判断してよい。判断部33は、第1合焦距離と第2合焦距離との差だけUAV10を移動させる経路上に障害物が存在するかどうかを判断してよい。
判断部33が、撮像装置100がドリーズーム効果を得られる動画を撮像できないと判断した場合、設定変更の要求を遠隔操作装置300を介してユーザに通知する。判断部33は、ドリーズームの撮像が可能な時間T、第1合焦距離、またはズーム倍率をユーザに通知してよい。判断部33が、ユーザから設定変更の要求を受け付けた場合(S124)、UAV制御部30は、設定変更の要求に応じて、ズーム倍率、及び時間を改めて設定する(S106)。UAV制御部30は、ユーザからUAV10の移動指示を受け付けると、被写体までの距離を調整すべく、UAV10を被写体に対して移動させてよい。
設定変更の要求がない場合、判断部33は、ドリーズームの撮像ができないことを示すエラーを遠隔操作装置300を介してユーザに通知する(S126)。
ドリーズームの撮像が可能な場合、決定部32は、第1時点から第2時点までのそれぞれの時点における、撮像装置100のフォーカスの設定値、撮像装置100のズームの設定値、及びUAV10の第1移動速度を決定する(S112)。決定部32は、第1時点の第1焦点距離におけるムーブトラッキング曲線と、第2時点の第2焦点距離におけるムーブトラッキング曲線とに基づいて、第1時点から第2時点までのそれぞれの時点における、撮像装置100のフォーカスの設定値、撮像装置100のズームの設定値、及びUAV10の第1移動速度を決定してよい。
決定部32は、さらに、ドリーズームの開始時点のUAV10の位置P1、及び第1移動速度に基づいて、助走開始時点のUAVの位置P0を決定する(S114)。決定部32は、移動速度と助走距離との予め定められた対応関係に基づいて、第1移動速度に対応する助走距離を決定し、助走距離に基づいて、助走開始時点のUAVの位置P0を決定してよい。
UAV制御部30は、助走開始時点の位置P0までUAV10を移動させる(S116)。UAV制御部30は、第1移動速度より遅い移動速度で、位置P1から位置P0にUAV10を移動させてよい。次いで、UAV制御部30は、ドリーズームの開始時点である第1時点のUAV10の位置P1で、第1移動速度でUAV10が移動できるように、UAV10を制御する(S118)。
UAV制御部30は、第1時点から第2時点までのそれぞれの時点における、撮像装置100のフォーカスの設定値、撮像装置100のズームの設定値、及びUAV10の移動速度に基づいて、ズームレンズ211の位置、フォーカスレンズ210の位置、及びUAV10の移動を制御する(S120)。これにより、撮像装置100は、第1時点から第2時点にかけて被写体からの距離を変更している間にズーム倍率及び焦点距離を変更する。撮像装置100は、第1時点から第2時点まで、移動しながら、例えば、注目被写体の像面上の大きさが維持されるように撮像し、撮像された動画などのデータをメモリ130などに保存する(S122)。これにより、撮像装置100は、背景の大きさ、またはぼけ量を変化させながら、注目被写体の像面上の大きさ及び合焦状態を維持させた動画を撮像することができる。また、助走距離を確保しているので、UAV10の移動速度を所望の移動速度に安定させた状態から、ドリーズームの記録を開始させることができる。これにより、UAV10の慣性モーメントの影響を受けずに、所望の効果を画像に与えられるようにズームレンズ211及びフォーカスレンズ210を制御することができる。
なお、上記の例では、UAV10が撮像装置100の撮像方向に沿って移動する例について説明した。しかし、UAV10は、被写体を横切るように移動して、撮像装置100の撮像方向が被写体側を向くようにジンバル50が撮像装置100の姿勢を制御してもよい。UAV10は、被写体を横切るように移動しながら、撮像装置100の撮像方向が被写体側を向くようにUAV10の向きを制御してもよい。UAV10は、被写体を横切るように移動しながら、撮像装置100の撮像方向が被写体側を向くようにUAV10の向き及びジンバル50により撮像装置100の姿勢を制御してもよい。UAV10は、上昇または下降しながら、撮像装置100の撮像方向が被写体側に向くようにジンバル50を介した撮像装置100の姿勢及びUAV10の向きの少なくとも一方を制御してよい。ムーブトラッキングが可能な範囲が例えばズームトラッキング曲線601とズームトラッキング曲線602の間であることが図4から理解できる。これにより、UAV10がムーブトラッキングが可能な範囲で移動可能であることを設定できる。この移動可能な範囲とは、3次元空間の領域として設定できる。つまり、ムーブトラッキングモードを用いることで、UAV10の移動可能領域を制御することができる。UAV10の移動可能領域は、被写体を中心とする3次元空間上の中空状の球体、または3次元空間上の中空状の半球体で設定されてよい。UAV10の移動可能領域は、時間T、第1ズーム倍率、第2ズーム倍率、ズームレンズ211の最低速度、ズームレンズ211の最高速度、及びUAV10の最高速度の少なくとも1つに基づいて設定されてよい。
撮像装置100は、第1時点から第2時点にかけて、絞りを調整してもよい。決定部32は、時間T、第1ズーム倍率、第2ズーム倍率、第1合焦距離、及び第2合焦距離に基づいて、第1時点から第2時点までのそれぞれの時点における、撮像装置100の絞りの値を決定してよい。決定部32は、第1時点から第2時点にかけて背景のぼけ度合いが変化しないように、第1時点から第2時点までのそれぞれの時点における、撮像装置100の絞りの制御値を決定してよい。決定部32は、第1時点の第1ズーム倍率のとき(望遠側)に、絞りを第1の制御値に決定して、第2時点の第1ズーム倍率より小さい第2倍率のとき(広角側)に、絞りを第1の制御値より浅い第2の制御値に決定してよい。
撮像装置100は、第1時点から第2時点にかけて、F値を調整してもよい。決定部32は、時間T、第1ズーム倍率、第2ズーム倍率、第1合焦距離、及び第2合焦距離に基づいて、第1時点から第2時点までのそれぞれの時点における、撮像装置100のF値を決定してよい。決定部32は、第1時点から第2時点にかけて注目被写体の画像における明るさ(輝度値)が変化しないように、第1時点から第2時点までのそれぞれの時点における、撮像装置100のF値を決定してよい。決定部32は、第1時点の第1ズーム倍率のとき(望遠側)に、F値を第1の制御値に決定して、第2時点の第1ズーム倍率より小さい第2倍率のとき(広角側)に、F値を第1の制御値より大きい第2の制御値に決定してよい。
撮像装置100は、第1時点から第2時点におけるISO感度(ゲイン)を調整してよい。決定部32は、時間T、第1ズーム倍率、第2ズーム倍率、第1合焦距離、及び第2合焦距離に基づいて、第1時点から第2時点までのそれぞれの時点における、撮像装置100のISO感度を決定してよい。決定部32は、時間T、第1ズーム倍率、第2ズーム倍率、第1合焦距離、及び第2合焦距離に基づいて、第1時点から第2時点までのそれぞれの時点における、撮像装置100のISO感度及びシャッタ速度を決定してよい。決定部32は、時間T、第1ズーム倍率、第2ズーム倍率、第1合焦距離、及び第2合焦距離に基づいて、露出を一定すべく、第1時点から第2時点までのそれぞれの時点における、撮像装置100のISO感度及びシャッタ速度を決定してよい。
撮像装置100は、画像のちらつきを低減するために、ドリーズームモードで動作する場合には、自動露出機能、及びオートホワイトバランス機能を無効にしてよい。
UAV10は、選択された注目被写体が撮像装置100に撮像される画像の中心領域に含まれるように移動してよい。または、UAV10は、第1時点で撮像装置100に撮像される画像内の注目被写体以外の任意の点が画像の中央領域に含まれるように移動してよい。ドリーズームを行う場合、光学ズームを行った後に電子ズームを行うことができる。ドリーズームを行う場合、電子ズームを行った後に光学ズームを行うことができる。このようにすることでUAV10の移動可能距離を長くすることができる。これによりドリーズームの効果をより大きく表現することができる。
図21は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ1200の一例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の1または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ1200に当該オペレーションまたは当該1または複数の「部」を実行させることができる。当該プログラムは、コンピュータ1200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、及びRAM1214を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、入力/出力ユニットを含み、それらは入力/出力コントローラ1220を介してホストコントローラ1210に接続されている。コンピュータ1200はまた、ROM1230を含む。CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納してよい。ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/またはコンピュータ1200のハードウェアに依存するプログラムを格納する。プログラムが、CR−ROM、USBメモリまたはICカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるRAM1214、またはROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ1200の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、またはUSBメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、USBメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ1200上またはコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。