JP2019080165A - 画像提供方法 - Google Patents
画像提供方法 Download PDFInfo
- Publication number
- JP2019080165A JP2019080165A JP2017205549A JP2017205549A JP2019080165A JP 2019080165 A JP2019080165 A JP 2019080165A JP 2017205549 A JP2017205549 A JP 2017205549A JP 2017205549 A JP2017205549 A JP 2017205549A JP 2019080165 A JP2019080165 A JP 2019080165A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- still image
- drone
- still
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
そのため商品画像は鮮明で見やすいことはもちろん、全体や細部の情報が十分に提供される必要がある。家電製品やインテリア商品などデザインを気にする商品では様々な角度から撮影された画像が提供されることが多い。特に自動車などでは画像をマウスなどのポインティングデバイスでクリックした状態で左右に動かすことにより、自動車の画像が回転するように表示され、360度の全ての方向から観察するように画像が提供されるものがある。
しかし商品の360度の全周を撮影して提供するのは一般的には容易ではない。また
360度を閲覧できるように提供される画像は、従来被写体の周囲から撮影した画像を合成して1枚のパノラマ写真のように構成されるのが一般的で、画像合成の際に境界がひずまないようにするひずみ補正などの処理が必要であった。
カメラを回転させる専用の撮影システムを使用することで撮影が容易となるが、自動車などのように被写体が大型化すると、撮影システムも大がかりとなり撮影の費用や準備の時間も大幅に増加する。また家屋などの構造物の場合は専用システムを設置すること自体が困難である。
特許文献2には、ドローンで撮影した対象物の動画から、一連の複数の画像を抽出し、位置関連情報と関連付けして管理する画像管理装置が開示されている。しかしこれは構造物の点検を目的とし構造物の経時変化が観察できることを狙ったものであり、商品の360度の全周を撮影して提供するものではない。
前記閲覧端末に提供される静止画像は、前記選定された一連の静止画像の中から抽出されることが好ましい。
撮影に際しては、被写体に対し撮影の中心となる中心点座標を設定し、常に中心点座標に向けた動画を撮影するため、360度の全周の閲覧に対しても自然な回転で静止画像の提供ができる。
また切出した静止画像は合成することなく、閲覧者のポインティングデバイスの操作に合わせて静止画像を差し替える形で提供されるため、切り出した静止画像に特別な加工が不要であり、ひずみ補正処理が不要で高解像度の画像を提供することができる。
図1は、本発明の実施形態による画像提供方法を実現するための画像提供システムを概略的に示すブロック図である。
図1を参照すると、画像提供システム1は、ネットワーク5を介して接続される画像提供装置10、閲覧端末30、及び画像提供装置10とは分離されたドローン20を含む。
ネットワーク5は、インターネットなどの広域ネットワークである。
図1を参照すると、ドローン20は、飛行のための制御情報や設定データなどを入出力する入出力部22、撮影した動画データや制御プログラムなどを保存する記憶部23、飛行するためのプロペラやプロペラを回転するためのモータなどの駆動部24、動画を撮影する画像取得部25、及びこれら構成要素を制御する制御部21を含む。画像取得部25はドローン20に後から取り付けるカメラのように、ドローン20の本体には内蔵せず、外付けの構成要素としてもよい。この場合カメラが撮影した動画を保存する記憶部はドローン20本体の記憶部23とは別に、カメラに装着するメモリカードのような記憶媒体に設けるようにしてもよい。
飛行ルートは中心点座標を通る鉛直線を中心軸とし、被写体の周囲を周回するように設定する。被写体の周りを1周する間、一定の高さを維持するような飛行ルートとし、さらに、上方から見下ろすような視点の画像を提供するように、1周するごとに段階的に高さを変える飛行ルートとする。
こうしてドローン20が設定された飛行ルートに沿って飛行する間、ドローン20本体に取り付けられたカメラにより被写体の動画が撮影され、撮影された動画はカメラに装着されたメモリカードに保存される。
撮影された動画は、画像提供装置10で加工されて利用される。
撮影情報管理部15は、それぞれの高さの飛行ルートに沿って撮影された動画から静止画像を切り出し、上記のように中心点座標を通る鉛直線を中心軸とし、基準方向からの中心軸周りの中心角と対応付けて保存する。
一実施形態では、それぞれの高さの飛行ルートに沿って撮影された動画から静止画像を切出して中心角と対応付けを行った後、互いに一定の中心角Δθだけずれた位置に相当する静止画像のみを選定してひとまとまりの提供画像データとして保存する。
ユーザが閲覧したい商品の画像を多方向から閲覧することを希望する場合、画像提供装置10が静止画像を3D画像のように提供するWebページにアクセスすると、商品の代表的な静止画像が閲覧端末30に提供され表示される。閲覧情報管理部16は、ユーザの閲覧端末30の閲覧のためのポインティングデバイスの操作を検出する。閲覧端末30がマウスで操作される場合、閲覧のためのポインティングデバイスの操作の検出は、マウスのドラッグ操作の開始位置、移動方向や速度などを検出することで行われる。閲覧端末30がタッチパネルにより操作される場合、閲覧のためのポインティングデバイスの操作の検出は、タッチパネルのドラッグ操作の開始位置、移動方向や速度などを検出することで行われる。
画像提供装置10が提供する静止画像は、動画から切り出したままひずみ補正等の加工を行うことがなく解像度も高いまま提供できるため、拡大表示しても不鮮明になることがない。そのため一実施形態では、閲覧情報管理部16は閲覧端末30でのドラッグ操作に対応して被写体が回転するように静止画像を提供するとともに、閲覧端末30での拡大操作に対応して静止画像を拡大表示するように提供する。このために閲覧情報管理部16は画像提供装置10が静止画像を3D画像のように提供するWebページに、商品の画像を回転するように表示するモードと商品の画像を拡大するように表示するモードとの切り替えスイッチを含んでもよい。このような構成とすることで、例えば中古製品を紹介するような場合、ユーザは観察したい視野に製品を回転表示した後拡大表示して汚れや傷の状況などを詳細に観察することができる。
記憶部13は、動画やそれから切り出した静止画像などのデータを保存するため、ハードディスク装置や容量の大きい半導体メモリ装置などで具現化でき、記憶する情報が多い場合は外付けのメモリ装置として構成してもよい。
表示部14は、液晶ディスプレイなどの表示装置で具現化される。
制御部11は、マイクロプロセッサなどの論理回路を含む半導体装置を含んで具現化され、各構成要素間のデータの授受を行うバスの制御を含め1つの実装基板に収めた制御モジュールとして具現化してもよい。
このため閲覧端末30は、入出力部32、記憶部33、表示部34、及びこれらの構成要素を制御する制御部31を含む。
記憶部33は、自身を制御するプログラムなどを保存し、半導体メモリやハードディスク装置などの記憶装置で具現化される。
表示部34は、Webページや画像提供装置10から提供される静止画像を表示する液晶表示装置や有機ELを用いた表示装置などで具現化される。
閲覧端末30は、パーソナルコンピュータ、タブレット端末、スマートフォンなどで具現化される。
図2を参照すると、被写体210は自動車であり、撮影のための駐車スペース220に駐車した状態で動画を撮影する方法を模式的に示している。
ドローン20は、飛行のための4つのプロペラなどを含む駆動部24と、ドローン20本体の下部に取り付けられたカメラを含む画像取得部25を備える。
図2では被写体210である自動車の屋根の中心付近に中心点座標230を示しているが、中心点座標230は仮想的なものであり、被写体210の外表面上である必要はなく、被写体210である自動車の室内の中心付近に設定してもよい。飛行ルートは中心点座標230を通る鉛直線を中心軸とし、被写体210の周囲を周回するように設定する。
図2では地面からの高さh1の飛行ルートh1と、高さをh2に変えた飛行ルートh2の2例のみを示したが、飛行ルートh2の上方にさらに高さを変えて飛行ルートh3、h4、・・・を設定してもよい。
尚、図2では飛行ルートh1と飛行ルートh2は高さだけが異なるように示したが、高さが増すにつれて周回するルートを小回りに設定してもよい。この場合、例えば高さを変えても中心点座標230を中心とする仮想球面上を周回するような飛行ルートとしてもよい。
θm=360(m/n) ・・・(1)
で表すことができる。
例えばドローン20が基準方向から飛行開始し、飛行開始と同時に撮影コマ数a/秒で撮影を開始したとすると、m(mは自然数)番目のコマに相当する画像を撮影した時点は撮影開始から(m/a)秒後であるので、ドローン20の飛行ルートと飛行速度に基づき飛行開始から(m/a)秒後の位置を求め、これに対する基準方向からの中心軸周りの中心角を求めることにより、m(mは自然数)番目のコマに相当する静止画像とその静止画像が取得された中心角とを対応付けることができる。
また他の実施形態では、撮影された動画から静止画像を切出す際に、全ての静止画像を切り出さずに、互いに一定の中心角Δθだけずれた位置に相当する静止画像のみを選定して切出すようにしてもよい。このように静止画像を間引いて切出すことにより、処理にかかる負荷を低減することができる。
図3を参照すると閲覧端末30の表示画面310に閲覧する商品である被写体320が表示されており、被写体320は図2で示した被写体210と同じ自動車である。
矢印340は、矢印340の始点から終点に向かってドラッグ操作が行われたことを示し、この操作に伴い閲覧端末30の表示画面310におけるポインタは、330から333と移動する。途中段階のポインタ331、332は移動の途中を示しており停止点を示しているわけではない。
このように閲覧情報管理部16は、ポインティングデバイスによるポインタ操作の進行に伴い対応する静止画像を次々と差し替えながらあたかも連続する画像を見るように閲覧端末30に提供して表示させる。
図4を参照すると、段階S410でドローン20は被写体の周囲を飛行しながらカメラで動画を撮影し、カメラに装着されたメモリカードに撮影した動画を保存する。ドローン20は被写体の周りを一周する間、高さを一定に保ち、一周した後高さを変えてその高さを保ったままさらに被写体の周りを一周する。被写体の形状によりさらに高い視点からの撮影が必要な場合は、さらに高さを変えて一周し、これを繰り返して、被写体が必要な視点での十分な観察できるようになるまで段階的に高さを変えて飛行し、飛行の間被写体の動画を撮影する。
動画が保存されたメモリカードを、カメラから抜き取り画像提供装置10に読み込ませることで、画像提供装置10は被写体の動画の取り込みを行う(段階S420)。取り込んだ動画は記憶部13に保存する。
また画像提供装置10は切り出した静止画像の内から、中心角の差が一定となる位置関係の静止画像を選定し、選定した一連の静止画像を、ひとまとまりの提供画像データとして保存する。
段階S450にて閲覧端末30に表示された静止画像をクリックして商品を回転して閲覧するようにドラッグ操作が行われると、閲覧端末30はそれに伴うドラッグ操作の操作データ、即ちポインタの座標データの推移を画像提供装置10に送信する。
画像提供装置10は、ドラッグ操作の方向と速度に基づき、元の代表的な静止画像に対しドラッグ操作の方向に対応する静止画像を抽出し、ドラッグ操作の速度に応じて、次々差し替える形で閲覧端末30に送信して表示させる。この時ドラッグ速度が所定の速度以下であればひとまとまりの提供画像の内から隣接する位置関係の静止画像を続けて送信し、ドラッグ速度が所定の速度を超える場合はひとまとまりの提供画像の内から飛び飛びに選定して送信するようにしてもよい。
図3には示していないが、切り出した静止画像を提供する商品のWebページが商品の画像を回転するように表示するモードと商品の画像を拡大するように表示するモードとの切り替えスイッチを含んでいる場合は、画像提供装置10は切り替えスイッチの選択状況に応じて静止画像を差し替える形で送信するか拡大画像を送信する。この場合商品の画像を回転するように表示するモードと商品の画像を拡大するように表示するモードで提供する静止画像の解像度を変えてもよい。即ち差し替える形で提供する静止画像は処理の負荷を低減するために解像度を落とし、拡大して提供する静止画像は元の解像度の静止画像を提供する。このような画像提供方法にすることにより、ユーザは商品の画像を回転するように閲覧して全体をとらえ、必要な場合に拡大して確認することができユーザにとって利便性の高い商品画像が提供される。
5 ネットワーク
10 画像提供装置
11、21、31 制御部
12、22、32 入出力部
13、23、33 記憶部
14、34 表示部
15 撮影情報管理部
16 閲覧情報管理部
20 ドローン
24 駆動部
25 画像取得部
30 閲覧端末
210、320 被写体
230 中心点座標
310 表示画面
Claims (3)
- 被写体に対し撮影の中心となる中心点座標を設定し、ドローンで被写体の周りを周回しながらドローンに搭載したカメラで常に中心点座標に向けた動画を撮影して保存する段階と、
画像提供装置にて前記撮影された動画から静止画像を切り出す段階と、
画像提供装置が、閲覧端末におけるポインティングデバイスの操作を検出し、ポインティングデバイスの動きに合わせて静止画像を差し替える形で切り出した静止画像を閲覧端末に提供する段階と、を有し、
前記撮影された動画は、被写体の形状により周回する高さを段階的に変えて飛行しながら同じ中心点座標に向けて撮影されたものであることを特徴とする画像提供方法。 - 前記ドローンが被写体の周りを周回する飛行ルートは被写体の平面形状に基づき設定され、
前記静止画像を切り出す段階は、ドローンの飛行ルートと飛行速度に基づき、動画から切出す静止画像と該静止画像を撮影した位置の前記中心点座標を通る鉛直線を中心とする中心角とを対応付ける段階と、
対応付けした中心角に基づき動画から一連の静止画像を選定する段階とを含むことを特徴とする請求項1に記載の画像提供方法。 - 前記閲覧端末に提供される静止画像は、前記選定された一連の静止画像の中から抽出されることを特徴とする請求項2に記載の画像提供方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017205549A JP7021900B2 (ja) | 2017-10-24 | 2017-10-24 | 画像提供方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017205549A JP7021900B2 (ja) | 2017-10-24 | 2017-10-24 | 画像提供方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019080165A true JP2019080165A (ja) | 2019-05-23 |
JP7021900B2 JP7021900B2 (ja) | 2022-02-17 |
Family
ID=66626680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017205549A Active JP7021900B2 (ja) | 2017-10-24 | 2017-10-24 | 画像提供方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7021900B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021093592A (ja) * | 2019-12-09 | 2021-06-17 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
JP2021110692A (ja) * | 2020-01-15 | 2021-08-02 | トヨタ自動車株式会社 | ドローンシステム及びドローンによる車両撮影方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004248231A (ja) * | 2002-12-19 | 2004-09-02 | Meta Corporation Japan | 画像撮影システムおよび画像表示システム |
JP2014186567A (ja) * | 2013-03-25 | 2014-10-02 | Geo Technical Laboratory Co Ltd | 3次元点群解析方法 |
WO2015163012A1 (ja) * | 2014-04-25 | 2015-10-29 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラムおよび撮像システム |
JP2016218626A (ja) * | 2015-05-18 | 2016-12-22 | 株式会社構造計画研究所 | 画像管理装置、画像管理方法およびプログラム |
-
2017
- 2017-10-24 JP JP2017205549A patent/JP7021900B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004248231A (ja) * | 2002-12-19 | 2004-09-02 | Meta Corporation Japan | 画像撮影システムおよび画像表示システム |
JP2014186567A (ja) * | 2013-03-25 | 2014-10-02 | Geo Technical Laboratory Co Ltd | 3次元点群解析方法 |
WO2015163012A1 (ja) * | 2014-04-25 | 2015-10-29 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラムおよび撮像システム |
JP2016218626A (ja) * | 2015-05-18 | 2016-12-22 | 株式会社構造計画研究所 | 画像管理装置、画像管理方法およびプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021093592A (ja) * | 2019-12-09 | 2021-06-17 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
JP6997164B2 (ja) | 2019-12-09 | 2022-01-17 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
CN114586335A (zh) * | 2019-12-09 | 2022-06-03 | 深圳市大疆创新科技有限公司 | 图像处理装置、图像处理方法、程序及记录介质 |
JP2021110692A (ja) * | 2020-01-15 | 2021-08-02 | トヨタ自動車株式会社 | ドローンシステム及びドローンによる車両撮影方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7021900B2 (ja) | 2022-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11195253B2 (en) | Equatorial stitching of hemispherical images in a spherical image capture system | |
US9865172B2 (en) | Information processing device, information processing method, program, and imaging system | |
US10009603B2 (en) | Method and system for adaptive viewport for a mobile device based on viewing angle | |
JP5464955B2 (ja) | パノラマ画像表示装置 | |
US11722647B2 (en) | Unmanned aerial vehicle imaging control method, unmanned aerial vehicle imaging method, control terminal, unmanned aerial vehicle control device, and unmanned aerial vehicle | |
CN106133794B (zh) | 信息处理方法、信息处理设备以及程序 | |
US9703288B1 (en) | System and method for aerial system control | |
JP6576536B2 (ja) | 情報処理装置 | |
CN103841332A (zh) | 全景景象拍摄及浏览的移动装置、系统及方法 | |
EP3460745B1 (en) | Spherical content editing method and electronic device supporting same | |
CN102316266A (zh) | 显示控制装置、显示控制方法和程序 | |
US11228737B2 (en) | Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium | |
US20130106991A1 (en) | Information processing apparatus, information processing method, and program | |
EP3648463A1 (en) | Server, display device and control method therefor | |
WO2021237619A1 (zh) | 视频文件编辑方法、设备、系统及计算机可读存储介质 | |
JP2011186565A (ja) | 電子機器、画像出力方法及びプログラム | |
US8570329B1 (en) | Subtle camera motions to indicate imagery type in a mapping system | |
JP7021900B2 (ja) | 画像提供方法 | |
AU2019271924A1 (en) | System and method for adjusting an image for a vehicle mounted camera | |
US20230359198A1 (en) | Unmanned aerial vehicle, control method thereof, and storage medium | |
CN111050066A (zh) | 变焦方法、装置、飞行器、飞行系统及存储介质 | |
JP6852878B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
JP2014096157A (ja) | 画像表示装置および画像表示方法 | |
CN113016174B (zh) | 画面切换方法、装置、终端设备、系统及存储介质 | |
JP6122991B2 (ja) | 画像表示装置および画像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201012 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7021900 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |