JP2019080165A - 画像提供方法 - Google Patents

画像提供方法 Download PDF

Info

Publication number
JP2019080165A
JP2019080165A JP2017205549A JP2017205549A JP2019080165A JP 2019080165 A JP2019080165 A JP 2019080165A JP 2017205549 A JP2017205549 A JP 2017205549A JP 2017205549 A JP2017205549 A JP 2017205549A JP 2019080165 A JP2019080165 A JP 2019080165A
Authority
JP
Japan
Prior art keywords
image
subject
still image
drone
still
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017205549A
Other languages
English (en)
Other versions
JP7021900B2 (ja
Inventor
英司 岩田
Eiji Iwata
英司 岩田
学 植草
Manabu Uekusa
学 植草
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
M Solutions Inc
M Solutions Inc
Original Assignee
M Solutions Inc
M Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by M Solutions Inc, M Solutions Inc filed Critical M Solutions Inc
Priority to JP2017205549A priority Critical patent/JP7021900B2/ja
Publication of JP2019080165A publication Critical patent/JP2019080165A/ja
Application granted granted Critical
Publication of JP7021900B2 publication Critical patent/JP7021900B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ドローンに搭載したカメラで被写体の周りを被写体に向けて撮影した動画から静止画像を切り出し、ポインティングデバイスの動きに合わせて静止画像を差し替える形で切り出した画像を提供する画像提供方法を提供する。【解決手段】本発明による画像提供方法は、被写体に対し撮影の中心となる中心点座標を設定し、ドローンで被写体の周りを周回しながらドローンに搭載したカメラで常に中心点座標に向けた動画を撮影して保存する段階と、画像提供装置にて前記撮影された動画から静止画像を切り出す段階と、画像提供装置が、閲覧端末におけるポインティングデバイスの操作を検出し、ポインティングデバイスの動きに合わせて静止画像を差し替える形で切り出した静止画像を閲覧端末に提供する段階と、を有し、前記撮影された動画は、被写体の形状により周回する高さを段階的に変えて飛行しながら同じ中心点座標に向けて撮影されたものであることを特徴とする。【選択図】図4

Description

本発明は、画像提供方法に関し、特にドローンに搭載したカメラで被写体の周りを被写体に向けて撮影した動画から静止画像を切り出し、ポインティングデバイスの動きに合わせて静止画像を差し替える形で切り出した画像を提供する画像提供方法に関する。
インターネットを通じて様々な商品を購入することが盛んになり、消費者は実店舗に行かずに、商品の販売元が提供するWebサイトの商品画像のみを見てその商品の購入を判断することも多い。
そのため商品画像は鮮明で見やすいことはもちろん、全体や細部の情報が十分に提供される必要がある。家電製品やインテリア商品などデザインを気にする商品では様々な角度から撮影された画像が提供されることが多い。特に自動車などでは画像をマウスなどのポインティングデバイスでクリックした状態で左右に動かすことにより、自動車の画像が回転するように表示され、360度の全ての方向から観察するように画像が提供されるものがある。
このように360度の全周を撮影した画像は、購入を希望する消費者にとって非常に便利であり、販売元にとっても商品を知ってもらうよいツールとなる。
しかし商品の360度の全周を撮影して提供するのは一般的には容易ではない。また
360度を閲覧できるように提供される画像は、従来被写体の周囲から撮影した画像を合成して1枚のパノラマ写真のように構成されるのが一般的で、画像合成の際に境界がひずまないようにするひずみ補正などの処理が必要であった。
特許文献1には、アクチュエータにより回転位置、高さ、向きを変えることができるカメラで被写体の周りをまわりながら被写体を撮影し、画像を位置、時間と関連付けて保存し、表示装置ではマウスのポインタの座標に対応してマトリックス状に配列された画像の一枚が表示されることが開示されている。
カメラを回転させる専用の撮影システムを使用することで撮影が容易となるが、自動車などのように被写体が大型化すると、撮影システムも大がかりとなり撮影の費用や準備の時間も大幅に増加する。また家屋などの構造物の場合は専用システムを設置すること自体が困難である。
一方、大型の構造物の撮影にドローンに搭載したカメラを使うことも行われている。
特許文献2には、ドローンで撮影した対象物の動画から、一連の複数の画像を抽出し、位置関連情報と関連付けして管理する画像管理装置が開示されている。しかしこれは構造物の点検を目的とし構造物の経時変化が観察できることを狙ったものであり、商品の360度の全周を撮影して提供するものではない。
特開2004−248231号公報 特開2016−218626号公報
本発明は、上記従来の画像提供方法における問題点に鑑みてなされたものであって、本発明の目的は、ドローンに搭載したカメラで被写体の周りを被写体に向けて撮影した動画から静止画像を切り出し、ポインティングデバイスの動きに合わせて静止画像を差し替える形で切り出した画像を提供する画像提供方法を提供することにある。
上記目的を達成するためになされた本発明による画像提供方法は、被写体に対し撮影の中心となる中心点座標を設定し、ドローンで被写体の周りを周回しながらドローンに搭載したカメラで常に中心点座標に向けた動画を撮影して保存する段階と、画像提供装置にて前記撮影された動画から静止画像を切り出す段階と、画像提供装置が、閲覧端末におけるポインティングデバイスの操作を検出し、ポインティングデバイスの動きに合わせて静止画像を差し替える形で切り出した静止画像を閲覧端末に提供する段階と、を有し、前記撮影された動画は、被写体の形状により周回する高さを段階的に変えて飛行しながら同じ中心点座標に向けて撮影されたものであることを特徴とする。
前記ドローンが被写体の周りを周回する飛行ルートは被写体の平面形状に基づき設定され、前記静止画像を切り出す段階は、ドローンの飛行ルートと飛行速度に基づき、動画から切出す静止画像と該静止画像を撮影した位置の前記中心点座標を通る鉛直線を中心とする中心角とを対応付ける段階と、対応付けした中心角に基づき動画から一連の静止画像を選定する段階とを含むことが好ましい。
前記閲覧端末に提供される静止画像は、前記選定された一連の静止画像の中から抽出されることが好ましい。
本発明に係る画像提供方法によれば、ドローンを使って被写体を撮影するため被写体が大きくても、また設置された被写体でも特別な器具を準備することなく簡単に撮影ができる。また飛行ルートを自由に設定できるため縦横比の大きい被写体や形状の複雑な被写体でも形状に合わせて周囲からの撮影をすることもできる。
撮影に際しては、被写体に対し撮影の中心となる中心点座標を設定し、常に中心点座標に向けた動画を撮影するため、360度の全周の閲覧に対しても自然な回転で静止画像の提供ができる。
また切出した静止画像は合成することなく、閲覧者のポインティングデバイスの操作に合わせて静止画像を差し替える形で提供されるため、切り出した静止画像に特別な加工が不要であり、ひずみ補正処理が不要で高解像度の画像を提供することができる。
本発明の実施形態による画像提供方法を実現するための画像提供システムを概略的に示すブロック図である。 本発明の実施形態による画像提供方法における動画を撮影する方法を説明するための図である。 本発明の実施形態による画像提供方法における切り出した静止画像を提供する方法を説明するための図である。 本発明の実施形態による画像提供方法を説明するためのフローチャートである。
次に、本発明に係る画像提供方法を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
図1は、本発明の実施形態による画像提供方法を実現するための画像提供システムを概略的に示すブロック図である。
図1を参照すると、画像提供システム1は、ネットワーク5を介して接続される画像提供装置10、閲覧端末30、及び画像提供装置10とは分離されたドローン20を含む。
ネットワーク5は、インターネットなどの広域ネットワークである。
画像提供装置10は、被写体の周りをドローン20で段階的に高さを変えて飛行しながらドローン20に備えられたカメラにより被写体に対し設定された中心点座標に常に向くように撮影された動画を取り込み、動画から静止画像を切り出して元の動画の撮影位置と対応付けて保存しておき、ユーザが被写体の画像の閲覧を希望する場合に、閲覧端末30におけるポインタの動きを感知して、保存した静止画像を補正したり合成したりすることなく、ポインタの動きに対応して逐次差し替える形で提供する装置である。
このように画像提供装置10は、保存した静止画像をそのままの形で高速で差し替えながら提供するために、ユーザはあたかも連続した3D画像を、視点を変えながら動かして観察しているように閲覧でき、商品の360度の全周及び上方からの視点の静止画像を違和感なく見ることができる。また画像提供装置10の提供する静止画像は事前に連続画像に合成する必要がなく、隣接する画像とのひずみを合わせるための補正も必要がなく、切り出した画像を、解像度を落とさずに提供することもできる。
画像提供装置10が取り込む動画は、事前にドローン20に備えられたカメラにより撮影される。そこでまずドローン20について説明する。
図1を参照すると、ドローン20は、飛行のための制御情報や設定データなどを入出力する入出力部22、撮影した動画データや制御プログラムなどを保存する記憶部23、飛行するためのプロペラやプロペラを回転するためのモータなどの駆動部24、動画を撮影する画像取得部25、及びこれら構成要素を制御する制御部21を含む。画像取得部25はドローン20に後から取り付けるカメラのように、ドローン20の本体には内蔵せず、外付けの構成要素としてもよい。この場合カメラが撮影した動画を保存する記憶部はドローン20本体の記憶部23とは別に、カメラに装着するメモリカードのような記憶媒体に設けるようにしてもよい。
以下では画像取得部25はドローン20に取り付けられたカメラを含み、カメラで撮影する動画はカメラに装着されるメモリカードに保存されるものとして説明する。但し、この構成はあくまで説明のためであり、ドローン20が内蔵するカメラで撮影し、撮影した動画をドローン20本体の記憶部23に保存する構成でも、これらの組み合わせでも構わない。
現在様々な形状や仕様を備えたドローンが開発され、実用化されているが、画像提供システム1で使用するドローン20は、特別なものである必要はなく、飛行条件が設定でき、飛行しながら被写体の動画が撮影できれば、こうした既に実用化されたドローンであってもよい。
ドローン20は被写体の全周を撮影するために、ドローン20が被写体の周りを飛行する飛行ルートが設定される。飛行ルートの設定に当たり、被写体には飛行ルートの中心でありまた撮影の中心となる中心点座標が設定される。
飛行ルートは中心点座標を通る鉛直線を中心軸とし、被写体の周囲を周回するように設定する。被写体の周りを1周する間、一定の高さを維持するような飛行ルートとし、さらに、上方から見下ろすような視点の画像を提供するように、1周するごとに段階的に高さを変える飛行ルートとする。
設定された飛行ルートは、ドローン20の本体の記憶部23に保存される。他の実施形態では、飛行ルートはドローン20本体とは別に設けられたドローン20のコントローラの記憶部に保存され、コントローラの指示により飛行ルートに沿った飛行をするように制御してもよい。
このように設定した飛行ルートをドローン20が飛行しながらドローン20に搭載されたカメラで被写体の動画を撮影するが、カメラは常に中心点座標を向くようにして撮影を行う。このためドローン20のカメラを取り付ける取付台は、図示していないが、アクチュエータを備え、ドローン20の制御部21は、飛行に伴いカメラが常に中心点座標を向くように制御する。
こうしてドローン20が設定された飛行ルートに沿って飛行する間、ドローン20本体に取り付けられたカメラにより被写体の動画が撮影され、撮影された動画はカメラに装着されたメモリカードに保存される。
撮影された動画は、画像提供装置10で加工されて利用される。
画像提供装置10は、データの入出力を行う入出力部12、取得した動画やそれから切り出した静止画像などのデータの他、自身の動作を制御するプログラムなどを記憶する記憶部13、静止画像などのデータや動画から静止画像を切り出す条件を設定するプログラムなどを表示する表示部14、ドローン20が撮影した動画を取得して静止画像を切り出して管理する撮影情報管理部15、及びユーザの操作する閲覧端末30のポインティングデバイスの動きに合わせて静止画像を提供する閲覧情報管理部16を含む。
撮影情報管理部15は、ドローン20が飛行しながらドローン20に備えられたカメラで撮影された動画を取り込み、記憶部13に保存する。動画の取り込みは、撮影終了後、カメラに装着されて動画が保存されたメモリカードを抜き取り、画像提供装置10に読み込ませることで行う。ドローン20が通信機能を備える場合は、インターネットを介してカメラから画像提供装置10に撮影した動画を送信するようにしてもよい。
撮影情報管理部15は、保存した動画から静止画像を切り出す。動画から静止画像を切り出すアプリケーションはさまざまなものが実用化されているが、切り出した複数の静止画像を閲覧端末30におけるポインタの動きに合わせて提供しやすいように、静止画像同士の位置関係を対応付けておく必要があり、専用のアプリケーションを使用する。
カメラが撮影した動画から静止画像を切り出す際に、切り出した静止画像同士の位置関係を明確にしておくために、その静止画像が撮影された位置をその静止画像と対応付けて保存する。動画は時間当たりの撮影コマ数が決まっており、撮影開始から何コマ目の画像かによって撮影された時刻が特定できる一方、ドローン20の飛行速度がわかれば、飛行ルート上の時間ごとのドローンの20の位置が割り出せるので、動画の中の各画像との関連を求めることができる。そこでドローン20は撮影の間一定速度で飛行することが好ましい。ただしドローン20の飛行条件からドローン20の時間ごとの位置が特定できれば、撮影の間一定速度で飛行する必要はない。
ドローン20の飛行ルート及び飛行速度などの飛行条件は、撮影した動画と共に、或は動画とは別に画像提供装置10に入力される。撮影情報管理部15は、入力された飛行条件からドローン20の時間ごとの位置を特定し、動画から静止画像を切り出す際に、その画像が撮影された位置をその画像と対応付けを行う。
保存された動画は、段階的に高さを変えて撮影されており、同じ高さの動画をひとまとまりの動画データのブロックと見ることができる。一つのブロックは同一平面上で被写体の周りを1周する画像の集合と見なせるので、この平面上における基準方向からの中心角でその撮影位置を確定することができる。
撮影情報管理部15は、それぞれの高さの飛行ルートに沿って撮影された動画から静止画像を切り出し、上記のように中心点座標を通る鉛直線を中心軸とし、基準方向からの中心軸周りの中心角と対応付けて保存する。
ところで、ユーザが閲覧端末30で商品画像を回転するように閲覧する際、必ずしも動画をそのまま閲覧するほどの連続性は必要ない。即ち撮影した動画を全て静止画像に切出して提供する必要はない。
一実施形態では、それぞれの高さの飛行ルートに沿って撮影された動画から静止画像を切出して中心角と対応付けを行った後、互いに一定の中心角Δθだけずれた位置に相当する静止画像のみを選定してひとまとまりの提供画像データとして保存する。
閲覧情報管理部16は、ユーザの操作する閲覧端末30のポインタの動きに合わせて撮影情報管理部15が保存した静止画像を抽出して提供する。
ユーザが閲覧したい商品の画像を多方向から閲覧することを希望する場合、画像提供装置10が静止画像を3D画像のように提供するWebページにアクセスすると、商品の代表的な静止画像が閲覧端末30に提供され表示される。閲覧情報管理部16は、ユーザの閲覧端末30の閲覧のためのポインティングデバイスの操作を検出する。閲覧端末30がマウスで操作される場合、閲覧のためのポインティングデバイスの操作の検出は、マウスのドラッグ操作の開始位置、移動方向や速度などを検出することで行われる。閲覧端末30がタッチパネルにより操作される場合、閲覧のためのポインティングデバイスの操作の検出は、タッチパネルのドラッグ操作の開始位置、移動方向や速度などを検出することで行われる。
閲覧情報管理部16は、検出した閲覧のためのポインティングデバイスの操作に合わせて静止画像を抽出し差し替える形で撮影情報管理部15が保存した静止画像を提供する。
画像提供装置10が提供する静止画像は、動画から切り出したままひずみ補正等の加工を行うことがなく解像度も高いまま提供できるため、拡大表示しても不鮮明になることがない。そのため一実施形態では、閲覧情報管理部16は閲覧端末30でのドラッグ操作に対応して被写体が回転するように静止画像を提供するとともに、閲覧端末30での拡大操作に対応して静止画像を拡大表示するように提供する。このために閲覧情報管理部16は画像提供装置10が静止画像を3D画像のように提供するWebページに、商品の画像を回転するように表示するモードと商品の画像を拡大するように表示するモードとの切り替えスイッチを含んでもよい。このような構成とすることで、例えば中古製品を紹介するような場合、ユーザは観察したい視野に製品を回転表示した後拡大表示して汚れや傷の状況などを詳細に観察することができる。
入出力部12は、閲覧端末30からの静止画像の閲覧要求や静止画像の閲覧時のポインタの動きのデータなどを受信したり、これに対応して静止画像を送信したりするための通信手段を有する。また画像提供装置10にデータやコマンドを入力するためのキーボードや、カメラで撮影された動画を読み込むためのカードリーダなどを含む。
記憶部13は、動画やそれから切り出した静止画像などのデータを保存するため、ハードディスク装置や容量の大きい半導体メモリ装置などで具現化でき、記憶する情報が多い場合は外付けのメモリ装置として構成してもよい。
表示部14は、液晶ディスプレイなどの表示装置で具現化される。
制御部11は、マイクロプロセッサなどの論理回路を含む半導体装置を含んで具現化され、各構成要素間のデータの授受を行うバスの制御を含め1つの実装基板に収めた制御モジュールとして具現化してもよい。
閲覧端末30は、ユーザが被写体である商品の画像の閲覧を希望する場合に、静止画像を提供するWebページにアクセスしたり、ポインティングデバイスの操作に合わせて画像提供装置10から提供される静止画像を表示したりするのに使用される。
このため閲覧端末30は、入出力部32、記憶部33、表示部34、及びこれらの構成要素を制御する制御部31を含む。
入出力部32はインターネットを介して画像提供装置10が静止画像を提供するWebページにアクセスしたり、静止画像を受信したりする通信手段を含む。また被写体の静止画像を別の視点から閲覧できるように被写体の静止画像をドラッグ操作するマウス又はタッチパネルなどのポインティングデバイスを含む。
記憶部33は、自身を制御するプログラムなどを保存し、半導体メモリやハードディスク装置などの記憶装置で具現化される。
表示部34は、Webページや画像提供装置10から提供される静止画像を表示する液晶表示装置や有機ELを用いた表示装置などで具現化される。
閲覧端末30は、パーソナルコンピュータ、タブレット端末、スマートフォンなどで具現化される。
図2は本発明の実施形態による画像提供方法における動画を撮影する方法を説明するための図である。
図2を参照すると、被写体210は自動車であり、撮影のための駐車スペース220に駐車した状態で動画を撮影する方法を模式的に示している。
ドローン20は、飛行のための4つのプロペラなどを含む駆動部24と、ドローン20本体の下部に取り付けられたカメラを含む画像取得部25を備える。
ドローン20が被写体210の周りを飛行する飛行ルートの設定に当たり、被写体210には飛行ルートの中心でありまた撮影の中心となる中心点座標230が設定される。
図2では被写体210である自動車の屋根の中心付近に中心点座標230を示しているが、中心点座標230は仮想的なものであり、被写体210の外表面上である必要はなく、被写体210である自動車の室内の中心付近に設定してもよい。飛行ルートは中心点座標230を通る鉛直線を中心軸とし、被写体210の周囲を周回するように設定する。
自然な360度の静止画像を取得するには中心点座標230を中心とする円形の飛行ルートが望ましいが、自動車のように幅と長さの差が大きい被写体210の場合や被写体210の周りにドローン20が飛行する十分な空間が取れない場合は、被写体210の平面形状を考慮した飛行ルートとしてもよい。例えば被写体210が自動車の場合、車体の略長方形の平面形状に基づき楕円の飛行ルートとしてもよい。さらには被写体210が家などの複雑な平面形状の建物の場合は、建物の外形の平面形状に沿うような飛行ルートとしてもよい。
ドローン20は被写体210の周りを1周する間、一定の高さを維持し、1周するごとに段階的に高さを変えて、上方から見下ろすような視点の動画を撮影する。
図2では地面からの高さh1の飛行ルートh1と、高さをh2に変えた飛行ルートh2の2例のみを示したが、飛行ルートh2の上方にさらに高さを変えて飛行ルートh3、h4、・・・を設定してもよい。
尚、図2では飛行ルートh1と飛行ルートh2は高さだけが異なるように示したが、高さが増すにつれて周回するルートを小回りに設定してもよい。この場合、例えば高さを変えても中心点座標230を中心とする仮想球面上を周回するような飛行ルートとしてもよい。
図2には、飛行ルートh1に沿って撮影された動画240と、飛行ルートh2に沿って撮影された動画250を撮影位置と対応するように示している。図2では被写体210である自動車の正面前方方向を基準方向とし、この方向から時計回りに中心角θを設定している。そこで高さh1で撮影された動画240の中の画像241は中心角θと対応付けられ、動画240の中の画像242は画像241と中心角Δθだけずれており、中心角(θ+Δθ)と対応付けられる。
飛行ルートh2に沿って地面からの高さh2で撮影された動画250も同様に、被写体210である自動車の正面前方方向を基準方向とし中心角にて、その位置を特定できる。動画250の中の画像251は画像241と同じ中心角で高さが異なる画像である。このように中心角で位置を規定することで、高さの異なる動画でもその位置関係を把握することができる。
動画の撮影前の設定で時間当たりの撮影コマ数が決まっているので、ドローン20が一定の速度で円を描くように飛行する場合は、被写体210の周りを1周する間に撮影したコマ数からそれぞれのコマに相当する静止画像の中心角を求めることができる。例えば撮影開始点を中心角0とし、被写体210の周りを1周する間にn(nは自然数)コマを撮影したとするとm(mは自然数)番目のコマに相当する静止画像の中心角θ
θ=360(m/n) ・・・(1)
で表すことができる。
しかし、ドローン20の飛行ルートが円でなかったり、飛行速度が一定でなかったりした場合は動画だけからでは中心角が求められない。そこで実施形態ではドローン20の飛行ルートと飛行速度に基づき中心角を求める。
例えばドローン20が基準方向から飛行開始し、飛行開始と同時に撮影コマ数a/秒で撮影を開始したとすると、m(mは自然数)番目のコマに相当する画像を撮影した時点は撮影開始から(m/a)秒後であるので、ドローン20の飛行ルートと飛行速度に基づき飛行開始から(m/a)秒後の位置を求め、これに対する基準方向からの中心軸周りの中心角を求めることにより、m(mは自然数)番目のコマに相当する静止画像とその静止画像が取得された中心角とを対応付けることができる。
一実施形態では、それぞれの高さの飛行ルートに沿って撮影された動画から静止画像を切出して中心角と対応付けを行った後、切り出した静止画像を全て使用するのではなく、互いに一定の中心角Δθだけずれた位置に相当する静止画像のみを選定してひとまとまりの提供画像データとして保存する。そこで高さh1と高さh2で撮影された一連の動画からは高さと中心角により(h1、0)、(h1、Δθ)、(h1、2Δθ)、(h1、3Δθ)・・・で対応付けられる静止画像と、(h2、0)、(h2、Δθ)、(h2、2Δθ)、(h2、3Δθ)・・・で対応付けられる静止画像とが選定され保存される。
この時、例えばΔθ、Δθ’、Δθ’’のように中心角のずれ量を変えた静止画像のセットをいくつか選定して画像を提供する際に使い分けられるようにして保存してもよい。
また他の実施形態では、撮影された動画から静止画像を切出す際に、全ての静止画像を切り出さずに、互いに一定の中心角Δθだけずれた位置に相当する静止画像のみを選定して切出すようにしてもよい。このように静止画像を間引いて切出すことにより、処理にかかる負荷を低減することができる。
図3は、本発明の実施形態による画像提供方法における切り出した静止画像を提供する方法を説明するための図である。
図3を参照すると閲覧端末30の表示画面310に閲覧する商品である被写体320が表示されており、被写体320は図2で示した被写体210と同じ自動車である。
矢印340は、矢印340の始点から終点に向かってドラッグ操作が行われたことを示し、この操作に伴い閲覧端末30の表示画面310におけるポインタは、330から333と移動する。途中段階のポインタ331、332は移動の途中を示しており停止点を示しているわけではない。
h1画像350は、高さh1の飛行ルートh1に沿って撮影された動画から切り出されて選定された一連の静止画像であり、h2画像360は、高さh2の飛行ルートh2に沿って撮影された動画から切り出されて選定された一連の静止画像であり、ともに画像提供装置10に保存されている。
ドラッグが開始される位置のポインタ330の時点では、閲覧情報管理部16により静止画像351が提供され、表示画面310に表示されている。ドラッグ操作が進んだ状態のポインタ331に対応して静止画像351の代わりに静止画像352が提供され、さらにドラッグ操作が進んだ状態のポインタ332に対応して静止画像352の代わりに静止画像353が提供され、ドラッグ操作が終了する状態のポインタ333に対応して静止画像354が提供される。
このように閲覧情報管理部16は、ポインティングデバイスによるポインタ操作の進行に伴い対応する静止画像を次々と差し替えながらあたかも連続する画像を見るように閲覧端末30に提供して表示させる。
静止画像の提供はドラッグ操作中のポインタの移動速度に応じて提供する静止画像を変えてもよい。即ち、ポインタの移動速度が遅い場合は、上記の例の静止画像350、351、352・・・のように連続する静止画像を差し替える形で提供し、ポインタの移動速度が速い場合は、静止画像350、352、354・・・のように飛び飛びに静止画像を抽出して差し替えるように提供するようにしてもよい。
また実施形態では、前述のように中心角のずれ量を変えた静止画像のセットを変えて提供するようにしてもよい。即ちポインタ速度が遅い場合は、中心角のずれ量の小さい静止画像のセットを選定し、その中から連続する静止画像を差し替える形で提供し、ポインタの移動速度が速い場合は、中心角のずれ量の大きい静止画像のセットを選定し、その中から連続する静止画像を差し替える形で提供するようにしてもよい。
図3ではポインタを水平方向にドラッグするように操作する場合を示すが、ユーザが上方からの視点で閲覧を希望する場合、上方向へのドラッグ操作を行うとh1画像350の代わりにh2画像360から対応する画像を選定して提供する。さらに高い視点のh3画像、h4画像が保存されている場合は、上方向へのドラッグ操作の状況によりh3画像やh4画像から静止画像を提供する。
画像提供装置10が提供する静止画像は、動画から切り出したままひずみ補正等の加工を行うことがなく解像度も高いまま提供できるため、拡大表示しても不鮮明になることがない。そのため閲覧情報管理部16は閲覧端末30でのドラッグ操作に対応して被写体320が回転するように静止画像を提供するとともに、閲覧端末30での拡大操作に対応して静止画像を拡大表示するように提供する。このために閲覧情報管理部16は画像提供装置10が静止画像を3D画像のように提供するWebページに、商品の画像を回転するように表示するモードと商品の画像を拡大するように表示するモードとの切り替えスイッチを含んでもよい。このような構成とすることで、例えば中古製品を紹介するような場合、ユーザは観察したい視野に製品を回転表示した後、拡大表示して汚れや傷の状況などを詳細に観察することができる。
図4は、本発明の実施形態による画像提供方法を説明するためのフローチャートである。
図4を参照すると、段階S410でドローン20は被写体の周囲を飛行しながらカメラで動画を撮影し、カメラに装着されたメモリカードに撮影した動画を保存する。ドローン20は被写体の周りを一周する間、高さを一定に保ち、一周した後高さを変えてその高さを保ったままさらに被写体の周りを一周する。被写体の形状によりさらに高い視点からの撮影が必要な場合は、さらに高さを変えて一周し、これを繰り返して、被写体が必要な視点での十分な観察できるようになるまで段階的に高さを変えて飛行し、飛行の間被写体の動画を撮影する。
このようにドローン20は、被写体の形状により周回する高さを段階的に変えて飛行しながら被写体を撮影するが、被写体に対し中心点座標を設定し、どの高さの動画もカメラが中心点座標を向くようにして撮影を行う。
動画が保存されたメモリカードを、カメラから抜き取り画像提供装置10に読み込ませることで、画像提供装置10は被写体の動画の取り込みを行う(段階S420)。取り込んだ動画は記憶部13に保存する。
画像提供装置10は段階S430にて保存した動画から静止画像を切り出す。この時切り出した静止画像同士の位置関係が明確になるように、撮影に使用したドローン20の飛行ルート、飛行速度に基づきそれぞれの静止画像が撮影された位置をもとめ、切り出した静止画像と撮影位置を対応付けて記憶部13に保存する。ドローン20の飛行ルートは高さを一定に保ちながら被写体の周りを一周し、段階的に高さを変えながらこれを繰り返すので、画像提供装置10は撮影された高さと被写体に設定した中心点座標を通る中心軸周りの中心角との組み合わせでそれぞれの静止画像が撮影された位置を求める。
また画像提供装置10は切り出した静止画像の内から、中心角の差が一定となる位置関係の静止画像を選定し、選定した一連の静止画像を、ひとまとまりの提供画像データとして保存する。
段階S440にて被写体となった商品の閲覧を希望するユーザは、閲覧端末30により切り出した静止画像を提供する商品のWebページにアクセスする。Webページには切り出した静止画像の内代表的な1つが表示される。
段階S450にて閲覧端末30に表示された静止画像をクリックして商品を回転して閲覧するようにドラッグ操作が行われると、閲覧端末30はそれに伴うドラッグ操作の操作データ、即ちポインタの座標データの推移を画像提供装置10に送信する。
画像提供装置10は、受信した閲覧端末30のドラッグ操作の操作データからドラッグ操作の方向と速度を検出する(段階S460)。
画像提供装置10は、ドラッグ操作の方向と速度に基づき、元の代表的な静止画像に対しドラッグ操作の方向に対応する静止画像を抽出し、ドラッグ操作の速度に応じて、次々差し替える形で閲覧端末30に送信して表示させる。この時ドラッグ速度が所定の速度以下であればひとまとまりの提供画像の内から隣接する位置関係の静止画像を続けて送信し、ドラッグ速度が所定の速度を超える場合はひとまとまりの提供画像の内から飛び飛びに選定して送信するようにしてもよい。
閲覧端末30は、段階S480でポインティングデバイスによるドラッグ操作が引き続き行われる場合は次のドラッグ操作が行われるのを待機する。
図3には示していないが、切り出した静止画像を提供する商品のWebページが商品の画像を回転するように表示するモードと商品の画像を拡大するように表示するモードとの切り替えスイッチを含んでいる場合は、画像提供装置10は切り替えスイッチの選択状況に応じて静止画像を差し替える形で送信するか拡大画像を送信する。この場合商品の画像を回転するように表示するモードと商品の画像を拡大するように表示するモードで提供する静止画像の解像度を変えてもよい。即ち差し替える形で提供する静止画像は処理の負荷を低減するために解像度を落とし、拡大して提供する静止画像は元の解像度の静止画像を提供する。このような画像提供方法にすることにより、ユーザは商品の画像を回転するように閲覧して全体をとらえ、必要な場合に拡大して確認することができユーザにとって利便性の高い商品画像が提供される。
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更することが可能である。
1 画像提供システム
5 ネットワーク
10 画像提供装置
11、21、31 制御部
12、22、32 入出力部
13、23、33 記憶部
14、34 表示部
15 撮影情報管理部
16 閲覧情報管理部
20 ドローン
24 駆動部
25 画像取得部
30 閲覧端末
210、320 被写体
230 中心点座標
310 表示画面

Claims (3)

  1. 被写体に対し撮影の中心となる中心点座標を設定し、ドローンで被写体の周りを周回しながらドローンに搭載したカメラで常に中心点座標に向けた動画を撮影して保存する段階と、
    画像提供装置にて前記撮影された動画から静止画像を切り出す段階と、
    画像提供装置が、閲覧端末におけるポインティングデバイスの操作を検出し、ポインティングデバイスの動きに合わせて静止画像を差し替える形で切り出した静止画像を閲覧端末に提供する段階と、を有し、
    前記撮影された動画は、被写体の形状により周回する高さを段階的に変えて飛行しながら同じ中心点座標に向けて撮影されたものであることを特徴とする画像提供方法。
  2. 前記ドローンが被写体の周りを周回する飛行ルートは被写体の平面形状に基づき設定され、
    前記静止画像を切り出す段階は、ドローンの飛行ルートと飛行速度に基づき、動画から切出す静止画像と該静止画像を撮影した位置の前記中心点座標を通る鉛直線を中心とする中心角とを対応付ける段階と、
    対応付けした中心角に基づき動画から一連の静止画像を選定する段階とを含むことを特徴とする請求項1に記載の画像提供方法。
  3. 前記閲覧端末に提供される静止画像は、前記選定された一連の静止画像の中から抽出されることを特徴とする請求項2に記載の画像提供方法。
JP2017205549A 2017-10-24 2017-10-24 画像提供方法 Active JP7021900B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017205549A JP7021900B2 (ja) 2017-10-24 2017-10-24 画像提供方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017205549A JP7021900B2 (ja) 2017-10-24 2017-10-24 画像提供方法

Publications (2)

Publication Number Publication Date
JP2019080165A true JP2019080165A (ja) 2019-05-23
JP7021900B2 JP7021900B2 (ja) 2022-02-17

Family

ID=66626680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017205549A Active JP7021900B2 (ja) 2017-10-24 2017-10-24 画像提供方法

Country Status (1)

Country Link
JP (1) JP7021900B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021093592A (ja) * 2019-12-09 2021-06-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2021110692A (ja) * 2020-01-15 2021-08-02 トヨタ自動車株式会社 ドローンシステム及びドローンによる車両撮影方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248231A (ja) * 2002-12-19 2004-09-02 Meta Corporation Japan 画像撮影システムおよび画像表示システム
JP2014186567A (ja) * 2013-03-25 2014-10-02 Geo Technical Laboratory Co Ltd 3次元点群解析方法
WO2015163012A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび撮像システム
JP2016218626A (ja) * 2015-05-18 2016-12-22 株式会社構造計画研究所 画像管理装置、画像管理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248231A (ja) * 2002-12-19 2004-09-02 Meta Corporation Japan 画像撮影システムおよび画像表示システム
JP2014186567A (ja) * 2013-03-25 2014-10-02 Geo Technical Laboratory Co Ltd 3次元点群解析方法
WO2015163012A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび撮像システム
JP2016218626A (ja) * 2015-05-18 2016-12-22 株式会社構造計画研究所 画像管理装置、画像管理方法およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021093592A (ja) * 2019-12-09 2021-06-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP6997164B2 (ja) 2019-12-09 2022-01-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 画像処理装置、画像処理方法、プログラム、及び記録媒体
CN114586335A (zh) * 2019-12-09 2022-06-03 深圳市大疆创新科技有限公司 图像处理装置、图像处理方法、程序及记录介质
JP2021110692A (ja) * 2020-01-15 2021-08-02 トヨタ自動車株式会社 ドローンシステム及びドローンによる車両撮影方法

Also Published As

Publication number Publication date
JP7021900B2 (ja) 2022-02-17

Similar Documents

Publication Publication Date Title
US11195253B2 (en) Equatorial stitching of hemispherical images in a spherical image capture system
US9865172B2 (en) Information processing device, information processing method, program, and imaging system
US10009603B2 (en) Method and system for adaptive viewport for a mobile device based on viewing angle
JP5464955B2 (ja) パノラマ画像表示装置
AU2012352520B2 (en) Multiple-angle imagery of physical objects
US11722647B2 (en) Unmanned aerial vehicle imaging control method, unmanned aerial vehicle imaging method, control terminal, unmanned aerial vehicle control device, and unmanned aerial vehicle
CN106133794B (zh) 信息处理方法、信息处理设备以及程序
US9703288B1 (en) System and method for aerial system control
JP2020506443A (ja) 無人機の制御方法、頭部装着式表示メガネおよびシステム
JP6576536B2 (ja) 情報処理装置
CN102316266A (zh) 显示控制装置、显示控制方法和程序
US11228737B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
EP3460745B1 (en) Spherical content editing method and electronic device supporting same
US11303871B2 (en) Server and display apparatus, and control methods thereof
US20130106991A1 (en) Information processing apparatus, information processing method, and program
WO2021237619A1 (zh) 视频文件编辑方法、设备、系统及计算机可读存储介质
JP2011186565A (ja) 電子機器、画像出力方法及びプログラム
US8570329B1 (en) Subtle camera motions to indicate imagery type in a mapping system
JP7021900B2 (ja) 画像提供方法
AU2019271924A1 (en) System and method for adjusting an image for a vehicle mounted camera
US20230359198A1 (en) Unmanned aerial vehicle, control method thereof, and storage medium
JP5701967B2 (ja) 画像表示装置および画像表示方法
US11184547B2 (en) Imaging device, method for controlling imaging device, and recording medium
CN113016174B (zh) 画面切换方法、装置、终端设备、系统及存储介质
CN111050066A (zh) 变焦方法、装置、飞行器、飞行系统及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220204

R150 Certificate of patent or registration of utility model

Ref document number: 7021900

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150