JP2016194784A - 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム - Google Patents

画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム Download PDF

Info

Publication number
JP2016194784A
JP2016194784A JP2015074008A JP2015074008A JP2016194784A JP 2016194784 A JP2016194784 A JP 2016194784A JP 2015074008 A JP2015074008 A JP 2015074008A JP 2015074008 A JP2015074008 A JP 2015074008A JP 2016194784 A JP2016194784 A JP 2016194784A
Authority
JP
Japan
Prior art keywords
image
dimensional model
management system
communication terminal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015074008A
Other languages
English (en)
Inventor
福井 良
Makoto Fukui
良 福井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015074008A priority Critical patent/JP2016194784A/ja
Publication of JP2016194784A publication Critical patent/JP2016194784A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】対象を異なるタイミングに撮影するときに、撮影位置や姿勢を正確に管理しなくても、同じ視点からの対象の画像を得ることが可能になる画像管理システム、通信端末、通信システム、画像管理方法、及びプログラムを提供する。
【解決手段】画像管理システム5の記憶部5000の画像管理DB5001は、第1のタイミングに異なる位置で撮影された複数の全天球画像を示す第1の画像データと、第2のタイミングに異なる位置で撮影された複数の全天球画像を示す第2の画像データと、を記憶する。画像管理システム5のモデル生成部56は、第1のタイミング及び第2のタイミングに撮影された共通の対象の第1の3次元モデルを第1の画像データを用いて生成し、共通の対象の第2の3次元モデルを第2の画像データを用いて生成する。
【選択図】図12

Description

本発明は、画像管理システム、通信端末、通信システム、画像管理方法、及びプログラムに関する。
近年、通信端末は通信ネットワークに接続することでWEBサーバから種々の画像データを取得することが可能となっている。例えば、不動産情報提供サービスでは、WEBサーバが物件の各位置から撮影された画像の画像データを通信端末へ送信する。通信端末側では、WEBブラウザを用いることで、受信した画像データに基づいて物件の各位置の画像を表示させることができる。一方で、通信端末がWEBサーバへ情報を送信して、WEBサーバ側でその情報を管理するサービスも普及している。
例えば、特許文献1には、携帯端末が資産の貸出時における貸出時資産情報を取得して資産管理サーバへ送信し、続いて、資産の返却時における返却時資産情報を取得して資産管理サーバへ送信する資産管理方法が開示されている。この文献によると、資産管理サーバは、貸出時資産情報と返却時資産情報とを比較照合して現況変化情報を生成する。
異なるタイミングに撮影された対象の画像を比較して対象の変化を評価する場合に、同じ視点からの対象の画像を比較することで評価の精度が向上する。しかしなら、対象を異なるタイミングに撮影して、同じ視点からの対象の画像を得るためには、撮影位置や姿勢を正確に管理することが必要になるという課題が生じる。
請求項1に係る発明は、第1のタイミングに異なる位置で撮影された複数の全天球画像を示す第1の画像データと、第2のタイミングに異なる位置で撮影された複数の全天球画像を示す第2の画像データと、を記憶する記憶手段と、前記第1のタイミング及び前記第2のタイミングに撮影された共通の対象の第1の3次元モデルを前記第1の画像データを用いて生成し、前記共通の対象の第2の3次元モデルを前記第2の画像データを用いて生成する生成手段と、を有することを特徴とする画像管理システムである。
以上説明したように本発明によれば、対象を異なるタイミングに撮影するときに、撮影位置や姿勢を正確に管理しなくても、同じ視点からの対象の画像を得ることが可能になるという効果を奏する。
本発明の実施形態に係る画像共有システムの概略図である。 (a)は撮影装置の左側面図であり、(b)は撮影装置の正面図であり、(c)は撮影装置の平面図である。 撮影装置の使用イメージ図である。 (a)は撮影装置で撮影された半球画像(前)、(b)は撮影装置で撮影された半球画像(後)、(c)は正距円筒図法により表された画像を示した図である。 (a)は正距円筒図法により表された画像と所定領域画像の部分を示した図、(b)は所定領域画像を示した図である。 全天球パノラマ画像を示した図である。 全天球パノラマ画像を3次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 ディスプレイに所定領域画像が表示された通信端末を示す図である。 撮影装置のハードウェア構成図である。 スマートフォンの場合の通信端末のハードウェア構成図である。 ノートPCの場合の通信端末、画像管理システム及びリンク情報管理システムのハードウェア構成図である。 実施形態に係る通信端末、画像管理システム、及びリンク情報管理システムの機能ブロック図である。 画像管理システムにおいて管理されている各テーブルを示す概念図である。 リンク情報管理システムにおいて管理されている各テーブルを示す概念図である。 画像データのアップロードの処理を示したシーケンス図である。 サムネイル及びリンク情報を作成する処理を示したシーケンス図である。 動画データを用いて3次元モデルを生成する処理を示したフロー図である。 特徴点が抽出される様子を示す概念図である。 サムネイル及びリンク情報をアップロードする処理を示したシーケンス図である。 3次元モデルデータのダウンロードの処理を示したシーケンス図である。 不動産物件の画面例を示した図である。 不動産物件の画面例を示した図である。 撮影装置の動線を示す概念図である。 不動産物件の画面例を示した図である。
以下、図面を用いて、本発明の実施形態について説明する。
<<実施形態の概略>>
まずは、本実施形態の概略を説明する。図1は、本実施形態に係る画像共有システムの概略図である。なお、画像共有システムは、通信システムの一例である。
図1に示されているように、本実施形態の画像共有システムは、撮影装置1、複数の通信端末(3a,3b)、画像管理システム5、及びリンク情報管理システム7によって構築されている。各通信端末(3a,3b)は、それぞれユーザ(A,B)によって利用される。また、本実施形態では、撮影装置1は、ユーザAによって操作される場合を示している。なお、以下では、複数の通信端末(3a,3b)のうち、任意の通信端末を「通信端末3」として表す。画像管理システム5は、管理者Xによって管理されている。リンク情報管理システム7は、管理者Yによって管理されている。例えば、ユーザAは、地域の各不動産業者である。ユーザBは、不動産物件の購入、売買、賃貸等の対象物件を探している一般ユーザである。管理者Xは、画像共有システムにおいて、ユーザAから取得した画像データをユーザBに提供するサービスを行なう画像(パノラマ画像又は全天球パノラマ画像)の提供者である。管理者Yは、インターネット等の通信ネットワーク9を介して、ユーザBに物件情報を提供する不動産情報のサービス提供者である。
また、撮影装置1は、パノラマ画像又は全天球(360°)パノラマ画像を得るためのデジタルカメラである。なお、この撮影装置1は、一般的なデジタルカメラであっても良く、通信端末3にカメラが付いている場合は、通信端末3がデジタルカメラとなりうる。本実施形態では、説明を分かりやすくするためにパノラマ画像又は全天球パノラマ画像を得るためのデジタルカメラとして説明を行う。通信端末3は、スマートフォン、タブレット端末、ノート型パソコン、デスクトップ型パソコン、又はPDA(Personal Data Assistance)等のコンピュータである。ここでは、一例として、通信端末3aがスマートフォン、通信端末3bがノートPC(Personal Computer)として、表わされている。更に、画像管理システム5及びリンク情報管理システム7は、それぞれサーバコンピュータである。
また、撮影装置1は、通信端末3とNFC(Near Field Communication)規格、BlueTooth(登録商標)、WiFi(Wireless Fidelity)等による短距離無線技術によって通信することができる。更に、通信端末3は、通信ネットワーク9を介して、画像管理システム5及びリンク情報管理システム7と通信することができる。この通信ネットワーク9は、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信網及び各基地局(9a,9b)、並びにインターネットによって構築される。なお、撮影装置1と通信端末3との間、及び通信端末3と通信ネットワーク9との間は、それぞれ有線による通信を行ってもよい。
次に、図2を用いて、撮影装置1の外観を説明する。なお、図2(a)は撮影装置の左側面図であり、図2(b)は撮影装置の正面図であり、図2(c)は撮影装置の平面図である。
図2(a)に示されているように、撮影装置1は、人間が片手で持つことができる大きさである。また、図2(a),(b),(c)に示されているように、撮影装置1の上部には、正面側(前側)に画角が180度以上の魚眼レンズ102a及び背面側(後側)に画角が180度以上の魚眼レンズ102bが設けられている。また、図2(b)に示されているように、撮影装置1の正面側には、シャッターボタン等の操作部115が設けられている。
次に、図3を用いて、撮影装置1の使用状況を説明する。なお、図3は、撮影装置の使用イメージ図である。撮影装置1は、図3に示されているように、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図2に示されている魚眼レンズ102aで取り込んだ画像を撮像する撮像素子103a及び魚眼レンズ102bで取り込んだ画像を撮像する撮像素子103bによって、それぞれユーザの周りの被写体が撮像されることで、2つの半球画像を得ることができる。
次に、図4を用いて、撮影装置1で撮影された画像及び合成された画像を説明する。なお、図4(a)は撮影装置で撮影された半球画像(前側)、図4(b)は撮影装置で撮影された半球画像(後側)、図4(c)は正距円筒図法により表された画像(以下、「正距円筒画像」という)を示した図である。
図4(a)に示されているように、撮像素子103aによって得られた画像は、後述の魚眼レンズ102aによって湾曲した半球画像(前側)となる。また、図4(b)に示されているように、撮像素子103bによって得られた画像は、後述の魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、撮影装置1によって合成され、図4(c)に示されているように、正距円筒画像が作成される。
図5を用いて、所定領域画像データについて説明する。なお、図5(a)は正距円筒図法により表された画像と所定領域画像の部分を示した図、図5(b)は所定領域画像を示した図である。
撮影装置1によって、図5(a)に示されているように、正距円筒画像上の破線で示された部分が利用されることで、図5(b)の所定領域画像データが作成される。通信端末3aでは、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図5(a)に示されている撮影画像(正距円筒画像)から、図6に示されているような全天球パノラマ画像が作成される。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。また、図6は、全天球パノラマ画像を示した図である。全天球パノラマ画像は、静止画であっても動画であってもよい。例えば、立体球に対して、図5(a)で示される正距円筒画像を貼り付けることで、図6のような全天球パノラマ画像が作成される。
図7(a)は、全天球パノラマ画像を3次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、3次元の立体球として表示されている全天球パノラマ画像に対して、その画像を見るユーザの視点の位置に相当するものである。また、図7(b)は図7(a)の立体斜視図である。また、図6に示されている全天球パノラマ画像が、3次元の立体球CSで表わされている。このように生成された全天球パノラマ画像が、立体球CSであるとすると、図7(a)に示されているように、仮想カメラICが全天球パノラマ画像の中心に位置し、この中心から上下左右の回転と、この中心からの視点での回転(ROLL)の3軸の回転を行うことができる。全天球パノラマ画像における所定領域Tは、この全天球パノラマ画像における仮想カメラICの位置の所定領域情報によって特定される。この所定領域情報は、座標x(rH)、座標y(rV)、及び画角α(angle)によって示される。また、所定領域Tのズームは、画角αの範囲(円弧)を広げたり縮めたりすることで表現することができる。
ここで、図7(c)を用いて、所定領域情報と所定領域画像の関係について説明する。なお、図7(c)は、所定領域情報と所定領域画像の関係との関係を示した図である。fは仮想カメラICから中心点CPまでの距離である。そして、図7(c)では、一般的に以下の式(1)で示される三角関数が成り立つ。
Lf=tan(α/2)・・・式(1)
図7(c)に示されているように、仮想カメラICの画角αによって表される所定領域Tの対角線画角2Lとした場合の中心点CPが、所定領域情報の(x,y)パラメータとなる。
図8はディスプレイに所定領域画像が表示された通信端末を示す図である。図7(b)で示されて全天球パノラマ画像における所定領域Tの画像は、図8(a)に示されているように、通信端末3aのディスプレイ315に、所定領域画像として表示される。この場合の所定領域画像は、全天球パノラマ画像の一部を示す部分画像P0n−1である。この部分画像P0n−1は、図6に示された全天球パノラマ画像において、初期設定(デフォルト)された所定領域情報(x,y,α)=(0,0,34)によって表された画像である。
次に、ユーザAがディスプレイ315上に、注目した所定領域画像を表示させたい場合、通信端末3aがタッチパネルによる操作が可能なものであれば、ディスプレイ315上に指を触れた状態で、指を上下左右に移動させることで、図8(b)に示されているような所望の所定領域画像を表示させることができる。また、通信端末3aがパソコン等のようなものであれば、マウス等による入力操作を行い、上下左右に移動させることで、図8(b)に示されているような所望の所定領域画像を表示させることもできる。この場合の所定領域画像は、全天球パノラマ画像の一部を示す部分画像P1n−1である。
また、全天球パノラマ画像が動画である場合、画像表示領域3110には、再生ボタン3141及び逆再生ボタン3142が所定領域画像に重畳して表示される。ここで再生ボタン3141が押下されると、画像表示領域3110には、表示されていた画像に対して一つ後のフレームにおける同じ所定領域の所定領域画像が表示される。逆再生ボタン3142が押下されると、画像表示領域3110には、表示されていた画像に対して一つ前のフレームにおける同じ所定領域の所定領域画像が表示される。このようにして、図8(c)に示されているような所望のフレームの所望の所定領域画像を表示させることができる。この場合の所定領域画像は、全天球パノラマ画像の一部を示す部分画像P1nである。
本実施形態では、ユーザAが指でディスプレイ315を触れながら操作して、図8(c)に示されているような所定領域画像(部分画像P1n)を表わしたことにより、例えば、所定領域情報(x,y,α)=(230,439,35)となる。
<<実施形態のハードウェア構成>>
次に、図9乃至図11を用いて、本実施形態の撮影装置、通信端末、リンク情報管理システム、及び画像管理システムのハードウェア構成を詳細に説明する。
まず、図9を用いて、撮影装置1のハードウェア構成を説明する。なお、図9は、撮影装置のハードウェア構成図である。以下では、撮影装置1は、2つの撮像素子を使用した全方位撮影装置とするが、撮像素子は3つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置1と同じ機能を有するようにしてもよい。
図9に示されているように、撮影装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、及びアンテナ117aによって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とはパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは別に、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104及び撮像制御ユニット105は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、及び電子コンパス118なども接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図4(c)に示されているような正距円筒画像のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、該撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮影装置によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置には表示部が設けられていないが、表示部を設けてもよい。
CPU111は、撮影装置1の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒画像のデータを記憶する。
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。DRAM114に記憶されたメルカトル画像のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/FとなるネットワークI/F116を介して通信端末3等の外部装置に送信されたりする。
通信部117は、撮影装置1に設けられたアンテナ117aを介して、WiFi(wireless fidelity)やNFC等の短距離無線技術によって、通信端末3等の外部装置と通信を行う。この通信部117によっても、正距円筒画像のデータを通信端末3の外部装置に送信することができる。
電子コンパス118は、地球の磁気から撮影装置1の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿ったメタデータの一例であり、撮影画像の画像補正等の画像処理に利用される。なお、メタデータには、画像データのサムネイル、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
次に、図10を用いて、通信端末3aのハードウェア構成を説明する。なお、図10は、スマートフォンの場合の通信端末3aのハードウェア構成図である。
図10に示されているように、通信端末3aは、通信端末3a全体の動作を制御するCPU301、基本入出力プログラムを記憶したROM302、CPU301のワークエリアとして使用されるRAM(Random Access Memory)303、CPU301の制御にしたがってデータの読み出し又は書き込みを行うEEPROM(Electrically Erasable and Programmable ROM)304、CPU301の制御に従って被写体を撮像し画像データを得る撮像素子としてのCMOSセンサ305、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種加速度・方位センサ306、フラッシュメモリ等の記録メディア307に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ308を備えている。そして、メディアドライブ308の制御に従って、既に記録されていたデータが読み出され、又は新たにデータが書き込まれて記憶する記録メディア307が着脱自在な構成となっている。
なお、EEPROM304には、CPU301が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。また、CMOSセンサ305の代わりにCCDセンサを用いてもよい。
更に、通信端末3aは、音声を音声信号に変換する音声入力部311、音声信号を音声に変換する音声出力部312、アンテナ313a、このアンテナ313aを利用して無線通信信号により、最寄の基地局9a等と通信を行う通信部313、GPS(Global Positioning Systems)衛星又は屋内GPSとしてのIMES(Indoor MEssaging System)によって通信端末3aの位置情報(緯度、経度、および高度)を含んだGPS信号を受信するGPS受信部314、被写体の画像や各種アイコン等を表示する液晶や有機ELなどのディスプレイ315、このディスプレイ315上に載せられ、感圧式又は静電式のパネルによって構成され、指やタッチペン等によるタッチによってディスプレイ315上におけるタッチ位置を検出するタッチパネル316、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン310を備えている。なお、音声入力部311は、音声を入力するマイクが含まれ、音声出力部312には、音声を出力するスピーカが含まれている。なお、撮影装置1で撮像した画像データやメタデータ等の付加情報データは、通信部117およびアンテナ117aを通じて通信端末3aに送信される。通信端末3aのアンテナ313aで受信した画像データや付加情報データは、メディア307に保管される。なお、撮影装置1と通信端末3aを一体で構成してもよく、この場合、通信に関連する構成やCPU、メモリ等重複する構成は一つに統合することができる。
次に、図11を用いて、ノートPCの場合の通信端末3b、画像管理システム5、及びリンク情報管理システム7のハードウェア構成を説明する。なお、図11は、ノートPCの場合の通信端末、画像管理システム5、及びリンク情報管理システム7のハードウェア構成図である。通信端末3b、画像管理システム5、及びリンク情報管理システム7は、ともに一般のコンピュータであるため、以下では、画像管理システム5の構成について説明し、通信端末3b及びリンク情報管理システム7の構成の説明は省略する。
画像管理システム5は、画像管理システム5全体の動作を制御するCPU501、IPL等のCPU501の駆動に用いられるプログラムを記憶したROM502、CPU501のワークエリアとして使用されるRAM503、画像管理システム5用のプログラム等の各種データを記憶するHD504、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)505、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ507、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ508、通信ネットワーク9を利用してデータ通信するためのネットワークI/F509、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード511、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス512、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)513に対する各種データの読み出し又は書き込みを制御するCD−ROMドライブ514、及び、上記各構成要素を図11に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン510を備えている。
<<実施形態の機能構成>>
次に、図12を用いて、本実施形態の機能構成について説明する。図12は、本実施形態の画像共有システムの一部を構成する通信端末3、画像管理システム5、及びリンク情報管理システム7の各機能ブロック図である。図12では、通信端末(3a又は3b)、画像管理システム5、及びリンク情報管理システム7が、通信ネットワーク9を介してデータ通信することができる。
<通信端末の機能構成>
以下、通信端末(3a,3b)のうちスマートフォンである通信端末3aの機能構成について説明する。なお、通信端末がノートPCである通信端末3bの場合には、以下の説明における図10は図11に、通信端末3aは通信端末3bに、ROM302はROM502に、RAM303はRAM503に、メディア307はHD504又はメディア506に、メディアドライブ308はHDD505又はメディアドライブ507に、通信部313はネットワークI/F509に、タッチパネル316はキーボード511又はマウス512に、ディスプレイ315はディスプレイ508に、それぞれ置き換えられる。
通信端末3aは、送受信部31、操作入力受付部32、表示制御部33、及び記憶・読出部39を有している。これら各部は、図10に示されている各構成要素のいずれかが、ROM302又は/及びEEPROM304からRAM303上に展開された通信端末3a用のプログラムに従ったCPU301からの命令によって動作することで実現される機能である。
また、通信端末3aは、RAM303およびメディア307によって構築される記憶部3000を有している。
(通信端末の各機能構成)
次に、通信端末3aの各機能構成について更に詳細に説明する。
通信端末3aの送受信部31は、主に、通信部313、及びCPU301の処理によって実現され、通信ネットワーク9を介して画像管理システム5、又はリンク情報管理システム7と各種データ(または情報)の送受信を行う。
操作入力受付部32は、主にタッチパネル316、及びCPU301による処理によって実現され、ユーザから各種の選択又は入力を受け付ける。
表示制御部33は、主にCPU301の処理によって実現され、ディスプレイ315に各種画像や文字等を表示させるための制御を行う。
記憶・読出部39は、主にメディアドライブ308及びCPU301による処理によって実現され、記憶部3000に各種データ(または情報)を記憶したり、記憶部3000から各種データ(または情報)を読み出す。
<画像管理システムの機能構成>
次に、画像管理システム5の各機能構成について詳細に説明する。画像管理システム5は、送受信部51、識別情報割当部52、サムネイル作成部53、リンク情報作成部54、抽出部55、モデル生成部56、及び記憶・読出部59を有している。これら各部は、図11に示されている各構成要素のいずれかが、HD504からRAM503上に展開された画像管理システム5用のプログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、画像管理システム5は、RAM503、メディア506及びHD504によって構築される記憶部5000を有している。この記憶部5000には、通信端末3aから送信された画像データに加え、後述の各テーブルによって各DBが構築されている。更に、記憶部5000には、画像を閲覧するための閲覧スクリプトが記憶されている。この閲覧スクリプトは、近年のWebサービスによる特殊な画像の見栄えや操作性を上げるため、JavaScript(登録商標)に対応していない又は機能を制限しているブラウザであっても、特殊な画像を表示させることができるプログラムである。本実施形態では、特殊な画像の一例として、3次元モデルの画像(3Dモデルデータ)が示されている。
(画像管理テーブル)
図13(a)は、画像管理テーブルを示す概念図である。この画像管理テーブルでは、ユーザを識別するためのユーザID、画像データを識別するための画像ID、画像の撮影日、画像データのファイル名、3次元(3D)モデルのファイルデータ、3次元モデルの座標の単位あたりの長さが関連付けて記憶されて管理されている。この画像データは、全天球パノラマ画像の動画データである。なお、ユーザIDはユーザを一意に識別できるユーザ識別情報の一例である。また、画像IDは画像識別情報の一例である。
(サムネイル管理テーブル)
図13(b)は、サムネイル管理テーブルを示す概念図である。このサムネイル管理テーブルでは、サムネイルを識別するためのサムネイルID、画像ID、及びサムネイルデータのファイル名が関連付けて記憶されて管理されている。なお、サムネイルIDはサムネイル識別情報の一例である。
(画像管理システムの各機能構成)
次に、画像管理システム5の各機能構成について詳細に説明する。
画像管理システム5の送受信部51は、主に、ネットワークI/F509及びCPU501の処理によって実現され、通信ネットワーク9を介して通信端末3、又はリンク情報管理システム7と各種データ(または情報)の送受信を行う。
識別情報割当部52は、主に、CPU501の処理によって実現され、送受信部51によって受信された例えば、正距円筒画像の画像データを管理するために、この画像データに対して画像IDを割り当て、この画像データのヘッダ部分に画像IDを付与する。また、識別情報割当部52は、サムネイル作成部53によって作成されたサムネイルデータに対してサムネイルIDを割り当て、このサムネイルデータのヘッダ部分にサムネイルIDを付与する。
サムネイル作成部53は、主に、CPU501の処理によって実現され、送受信部51によって受信された画像IDで示される画像データ、及び送受信部51によって受信された所定領域情報で示される所定領域Tに基づいて、画像データにおける所定領域Tからサムネイルデータを作成する。
リンク情報作成部54は、主に、CPU501の処理によって実現され、送受信部51によって受信された画像IDで示される画像データのURL、識別情報割当部52によって割り当てられた画像ID、及び送受信部51によって受信された所定領域情報を連結して、所定領域画像にリンクするためのリンク情報を作成する。
抽出部55は、主に、CPU501の処理によって実現され、送受信部51によって受信されたリンク情報から、画像IDと所定領域情報とを抽出する。
モデル生成部56は、主に、CPU501の処理によって実現され、画像データによって示される複数の画像から3次元モデルを生成する。
記憶・読出部59は、主にHDD505、メディアドライブ507及びCPU501による処理によって実現され、記憶部5000に各種データ(または情報)を記憶したり、記憶部5000から各種データ(または情報)を読み出したりする。
<リンク情報管理システムの機能構成>
次に、リンク情報管理システム7の機能構成について詳細に説明する。リンク情報管理システム7は、送受信部71、画面作成部72、及び、記憶・読出部79を有している。これら各部は、図11に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたリンク情報管理システム7用のプログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、リンク情報管理システム7は、RAM503、及びHD504によって構築される記憶部7000を有している。この記憶部7000には、サムネイルデータに加え、後述の各テーブルによって各DBが構築される。
(ユーザ管理テーブル)
図14(a)は、ユーザ管理テーブルを示す概念図である。このユーザ管理テーブルは、ユーザID、及びユーザ個人情報(ユーザの名称、住所、電話番号等)が関連付けて管理されている。
(物件管理テーブル)
図14(b)は、物件管理テーブルを示す概念図である。この物件管理テーブルでは、物件ID毎に、ユーザID、リンク情報、サムネイルデータのファイル名、関連情報、及び関連画像が関連付けて管理されている。物件IDは、物件を特定するための物件識別情報の一例である。関連情報は、例えば、物件名、価格、面積、築年数、住所等の物件に関連する情報である。
(リンク情報管理システムの各機能構成)
次に、リンク情報管理システム7の各機能構成について詳細に説明する。
リンク情報管理システム7の送受信部71は、主に、ネットワークI/F509及びCPU501の処理によって実現され、通信ネットワーク9を介して通信端末3、又は画像管理システム5と各種データ(または情報)の送受信を行う。
画面作成部72は、主に、CPU501の処理によって実現され、物件管理テーブルに基づいて、図21に示されているような物件詳細画面を作成する。
記憶・読出部79は、主にHDD505、メディアドライブ507及びCPU501による処理によって実現され、記憶部7000に画像データ等の各種データ(または情報)を記憶したり、記憶部5000から画像データ等の各種データ(または情報)を読み出したりする。
<<実施形態の処理または動作>>
次に、図15を用いて、ユーザAが通信端末3aから、撮影画像の画像データ(パノラマ画像又は全天球パノラマ画像、以下画像データという)をアップロードする処理を説明する。図15は、画像データのアップロードの処理を示したシーケンス図である。
なお、通信端末3、画像管理システム5、およびリンク情報管理システム7間の通信ネットワーク9を介する通信プロトコルは、ハイパーテキスト通信プロトコル(HTTP)によるHTTP通信である。通信端末3aはHTTPクライアントに相当し、画像管理システム5及びリンク情報管理システム7はHTTPサーバに相当する。
まず、ユーザAは、撮影画像の画像データを撮影装置1から通信端末3aの記憶部3000に取り込んでおく。そして、ユーザAがアップロードする画像データを選択することにより、通信端末3aの操作入力受付部32は、アップロードされる画像データの選択を受け付ける(ステップS11)。
次に、通信端末3aの送受信部31は、通信ネットワーク9を介して画像管理システム5へ、ユーザAのユーザID及びアップロードする画像データを送信することにより、画像の登録要求を行う(ステップS12)。これにより、画像管理システム5の送受信部51は、ユーザID及び画像データを受信する。なお、撮影装置1は、撮影ごとに自動的に撮像された画像データを通信端末3aにアップロードし、通信端末3aは画像データのアップロード毎、または所定のタイミングでアップロードされている画像データをユーザIDとともに画像管理システム5に送信するようにソフトウェアを構成してもよい。これによりユーザAが行うべき動作は移動と撮影だけとなり、ユーザAに対する利便性が向上する。さらには、ユーザAは撮影動作も不要とし、撮影装置1自ら、または通信端末3aもしくは画像管理システム5からの指示に応じて自動的に撮影を行い、自動的に画像を画像管理システム5に通信装置3a経由あるいは直接アップロードさせるよう撮影装置1、通信端末3a、画像管理システム5で動作するソフトウェアを構成してもよい。これによりユーザAは撮影操作も不要となり、撮影装置1を持って移動するだけでよくなる。またさらには、ユーザAの代わりに移動式の機械(ロボットやUAV(Unmanned Aerial Vehicle))に撮影装置1を搭載し、撮影装置1を移動させながら上記の手動または自動撮影を行うようにしてもよい。これにより、人では行きづらい場所の撮影も可能となる。移動式機械を自律制御により移動させれば、人の手をかけずに必要な撮影を行うことができる。
次に、画像管理システム5の識別情報割当部52は、ステップS12によって受信された画像データに対して画像IDを割り当て、この画像データのヘッダ部分に画像IDを付与する(ステップS13)。
次に、記憶・読出部59は、ステップS12によって受信されたユーザID及び画像データのファイル名、撮影日、並びに、ステップS13によって割り当てられた画像IDを関連付けて、画像管理テーブル(図13(a)参照)に記憶して管理すると共に、画像データを記憶部5000に記憶して管理する(ステップS14)。なお、撮影日は、画像データから抽出されたものであっても、通信端末3aから画像管理システム5へ送信されたものであっても良い。
次に、送受信部51は、通信ネットワーク9を介して通信端末3aへ、ステップS13によって割り当てられた画像IDを送信することで、登録が完了した旨の通知を行う(ステップS15)。これにより、通信端末3aの送受信部31は、画像IDを受信する。そして、通信端末3aの記憶・読出部39は、画像IDを記憶部3000に記憶して管理する(ステップS16)。なお、画像管理システム5は、ステップS12の画像登録要求を受け付けた場合またはステップS15の登録完了通知を行う場合、それらの要求または通知回数を記憶し、それに基づいて本システムの利用料を算出することができる。また、登録された画像データの容量や画像データ数に応じて利用料を算出してもよい。
続いて、図16を用いて、サムネイルの作成及びアップロードの処理を説明する。なお、図16は、サムネイルの作成及びアップロードの処理を示したシーケンス図である。
通信端末3aでは、操作入力受付部32がユーザAによる操作を受け付けることにより、表示制御部33が、例えば、図8(a)に示されているような所定領域画像(部分画像P0n−1)から、図8(b)に示されているような所定領域画像(部分画像P1n−1)に変更する。続いて、操作入力受付部32がユーザAによる再生ボタン3141の操作を受け付けることにより、表示制御部33が、例えば、所定領域画像(部分画像P1n−1)から、図8(c)に示されているような、所定領域画像(部分画像P1n)に変更する(ステップS25)。この際、操作入力受付部32は、ユーザから上述の関連情報の入力も受け付けると共に、図8(c)に示された所定領域画像をデフォルト表示とする要求も受け付ける(ステップS25)。所定領域情報は、図8(c)に示されている所定領域画像(部分画像P1n)を示す所定領域情報(x=230,y=439,α=35)である。
次に、送受信部31は、通信ネットワーク9を介して画像管理システム5へ、画像ID、部分画像P1nを示す所定領域情報、フレーム情報(動画の場合)、関連情報、及びユーザIDを送信することにより、画像管理システム5へリンク情報の登録を指示する(ステップS26)。なお、フレーム情報は、所定領域画像(部分画像P1n)が、動画形式の画像データにおける何番目のフレームであるかを示す情報である。これにより、画像管理システム5の送受信部51は、画像ID、部分画像P1nを示す所定領域情報、フレーム情報、関連情報、及びユーザIDを受信する。
次に、記憶・読出部59は、ステップS26によって受信された画像IDを検索キーとして画像管理テーブル(図13(a)参照)を検索することにより、対応する画像データのファイル名を抽出し、このファイル名に基づいて記憶部5000から画像データを読み出す(ステップS27)。そして、画像データが動画である場合には、サムネイル作成部53は、ステップS27によって読み出された画像データのうちステップS26によって受信されたフレーム情報によって示される画像データを抽出する。更に、サムネイル作成部53は、読み出された画像データまたは抽出された画像データにおいて所定領域情報で示される所定領域からサムネイルデータを作成する(ステップS28)。
次に、識別情報割当部52は、ステップS28によって作成されたサムネイルデータに対してサムネイルIDを割り当て、このサムネイルデータのヘッダ部分にサムネイルIDを付与する(ステップS29)。そして、記憶・読出部59は、サムネイル管理テーブル(図13(b)参照)に、ステップS29によって割り当てられたサムネイルID、上記ステップS26によって受信された画像ID、及び上記ステップS28によって作成されたサムネイルデータを関連付けてサムネイルデータとともにサムネイル管理DB5002に記憶することで管理する(ステップS30)。
次に、リンク情報作成部54は、ステップS26によって受信された画像IDで示される画像データのURL、ステップS26によって受信された画像ID、及びステップS26によって受信された所定領域情報、及びフレーム情報を連結してリンク情報を作成する(ステップS31)。以下、リンク情報の一例を示す。
http://ex.com/a15/rH230rV439angle35/frame25
続いて、画像管理システム5のモデル生成部56は、所定領域画像に示されている対象の3次元モデルを生成する(ステップS32)。ステップS32の処理について図17を用いて説明する。図17は、動画データを用いて3次元モデルを生成する処理を示したフロー図である。
まず、モデル生成部56は、ステップS26において送られてきた画像ID「a15」に関連付けられている画像ファイル「a15.mp4」から、ステップS26において送られてきたフレーム情報によって示されるフレームの画像(正距円筒画像)を抽出する(ステップS32−1)。ステップS32−1の処理の一環として、モデル生成部56は、抽出されたフレームから、ステップS26において送られてきた所定領域情報によって示される所定領域画像を、更に抽出する。
続いて、モデル生成部56は、抽出された所定領域画像に示されている対象から、特徴点を抽出する(ステップS32−2)。特徴点としては、画像データ間で対応付けを行いやすい点であれば特に限定されないが、その近傍で色や濃淡変化が大きい点が好ましく、例えば、コーナーが挙げられる。特徴点を画像データから抽出する方法としては、特に限定されないが、例えば、画素の輝度値の位置に対する関数を微分して極値を抽出する方法が挙げられる。このような方法として、Harrisのコーナー検出法、SURF(Speeded Up Robust Features)、SIFT(Scale Invariant Feature Transform)、或いはHog(Histogram of Oriented Gradients)等が挙げられる。図18(a)は、一例としてm番目のフレームの画像の中から特徴点(f1,f2,…)が抽出される様子を示す概念図である。なお、m番目のフレームの画像データにおいて示されている対象は、システムキッチンである。
続いて、モデル生成部56は、画像データのファイル「a15.mp4」から、上記の対象が示されている他のフレームの画像データを抽出する(ステップS32−3)。他のフレームとしては、m番目のフレームの一つ後のm+1番目のフレーム、一つ前のm−1番目のフレーム、任意にユーザ等によって選択されたフレーム等が挙げられる。以下、他のフレームがm+1番目のフレームである場合について説明を続ける。モデル生成部56は、ステップS32−2と同様にしてm+1番目のフレームの画像データ(正距円筒画像又はその一部)に示されている対象から、特徴点を抽出する(ステップS32−4)。図18(b)は、m+1番目のフレームの画像データの中から特徴点(f1m+1,f2m+1,…)が抽出される様子を示す概念図である。
続いて、モデル生成部56は、各フレーム間の特徴点の移動を追跡する(ステップS32−5)。この場合、モデル生成部56は、m番目のフレームの画像における各特徴点(f1,f2,…)が、m+1番目のフレームの画像におけるどの特徴点(f1m+1,f2m+1,…)に対応するかマッチングを行う。特徴点を追跡する方法としては特に限定されないが、例えば、Mean-shift法、KLT Feature Tracker、あるいはSURF Trackingを用いる方法等の公知の方法が挙げられる。
続いて、モデル生成部は、各特徴点の追跡結果に基づいて、各特徴点の位置を推定する(ステップS32−6)。特徴点の位置を推定する方法としては、公知の方法が用いられ特に限定されないが、例えば、SfM(Structure from Motion)の一手法である因子分解法が挙げられる。因子分解法は、各画像上の各特徴点の2次元座標を入力して、カメラの姿勢及び運動と物体の3次元形状を同時に求める方法である。
なお、上記の各処理は、対象であるシステムキッチンが示されている(…,m−2,m−1,m,m+1,m+2,…)番目のフレームに対して繰り返し行っても良い。これにより、m番目及びm+1番目のフレームに示されていない、例えばシステムキッチンの裏側の特徴点を考慮して3次元モデルを生成することが可能となる。また、各特徴点の位置及びカメラの姿勢はバンドル調整により最適化されても良い。
続いて、モデル生成部56は、得られた特徴点の座標を用いて、3次元モデルを生成する(ステップS32−7)。3次元モデルを生成する方法は特に限定されないが、例えば、直方体モデルを用いる方法、ドロネー三角形分割を行う方法等の公知の方法等が挙げられる。
続いて、モデル生成部56は、生成された3次元モデルに対してテクスチャマッピングを行う(ステップS32−8)。この処理は、3次元モデルにより形成された平面、円筒、球面等の面に、画像を投影することにより実現される。例えば、ドロネー三角形分割により3次元モデルが生成された場合には、各三角形を形成する平面に、対応する位置の撮影画像を投影することができる。
続いてモデル生成部56は、上記の処理により生成された3次元モデルの特徴点の座標、テクスチャ等のデータに基づいて、3次元モデルのファイルを生成する(ステップS32−9)。3次元モデルのファイル形式としては、特に限定されないが、例えば、OBJ、3DS、VRML、X3D、DXF、STL、POV、FBX、LWO、PLY、OFF、XSI、AC3D、C3D、BVHが挙げられる。
記憶・読出部59は、生成されたファイルを3次元モデルデータとして記憶部5000に記憶する(ステップS32−10)。また、ステップS32−10の処理の一環として、記憶・読出部59は、ステップS26で送られてきた画像IDに、生成された3次元モデルのファイル名を関連付けて、画像管理テーブルに記憶する。
3次元モデルデータの生成が完了すると、画像管理システム5の送受信部51は、生成された3次元モデルデータと、この3次元モデルデータに関連付けられる上記の画像IDとを通信端末3aへ送信する(ステップS33)。なお、画像管理システム5は、ステップS26の登録指示を受け付けた場合またはステップS33の3次元モデルデータ等の情報を通信端末3aに送信した場合に、その受信または送信の回数を記憶する。管理者Xは、この回数に応じて本システムによる画像データ等の情報提供サービスの料金またはシステム利用の料金を算出することができる。また、画像管理システム5は、生成した3次元モデルのデータ容量または3次元モデルの数に応じたシステム利用料を算出してもよい。
通信端末3aの送受信部31は、画像管理システム5により送信された3次元モデルデータ及び画像IDを受信する。続いて、表示制御部33は、自端末の記憶部3000に記憶されているスクリプトを起動させ、受信した3次元モデルデータに基づいて、3次元モデルを2次元に変換した画像を作成して表示する。このとき、表示制御部33は、3次元モデルデータに基づいて、各特徴点の近傍に特徴点の識別情報を表示させる。これにより、操作入力受付部32は任意の2つの特徴点の選択、及びこれらの特徴点間の距離の入力を受け付ける(ステップS34)。例えば、システムキッチンの幅が既知である場合、通信端末3aのユーザは、特徴点として(f2,f5)、距離として、例えば、「1800mm」を入力する。特徴点間の距離の入力が受け付けられると、通信端末3aの送受信部31は、画像管理システム5へ、入力された特徴点の識別情報、距離、及び3次元モデルデータに関連付けられている画像IDを含む距離情報を送信する(ステップS35)。
距離情報を受信した画像管理システム5では、モデル生成部56が、距離情報に含まれている識別情報によって識別される各特徴点の座標、及び距離情報に含まれる距離に基づいて、3次元モデルデータにおける座標の単位あたりの長さを算出する(ステップS36)。たとえば、識別情報によって識別される各特徴点の座標が「(100,100,100)、(1000,100,100)」であり、受信した距離が1800mmである場合、算出される単位あたりの長さは1800÷900=2mmである。続いて、記憶・読出部59は、距離情報に含まれる画像IDと、ステップS36で算出された単位あたりの長さを関連付けて画像管理テーブル(図13(a)参照)に記憶する(ステップS37)。
なお、通信端末3aにより3次元データを受け取り(ステップS33)、2次元画像に変換し表示させた後、その3次元モデルの精度が低い箇所がある場合、ユーザAは通信端末3aに表示された画像により3次元モデルが正確に生成できていない箇所を特定し、その箇所に関する更なる画像を撮像し、通信端末3a経由で画像管理システム5にアップロードしてもよい。これらの再アップロードされた画像データを利用して画像管理システム5はさらに精度の高い3次元モデルデータを生成することができる。このようにして、3次元モデル画像を確認しながらほぼリアルタイムに3次元モデルを生成することが可能となり、不完全な部分を確認しながら精度の高い3次元モデルデータを生成することができる。なお、ステップS32で3次元モデルが不完全にしか生成できなかった場合や精度が低い部分を含む3次元モデルが生成された場合に、画像管理システム5は、3次元モデルデータとともにその旨を通信端末3aに送信するようにしてもよい。これによってユーザAは再度撮影の契機を得ることができる。移動式機械により自動撮影している場合には、通信端末3aまたは画像管理システム5が当該移動式装置に精度のよくない箇所を通知することで、移動式装置をその場へ移動させて撮影を行うことも可能である。
続いて、図19を用いて、サムネイル及びリンク情報をアップロードする処理を説明する。なお、図19は、サムネイル及びリンク情報をアップロードする処理を示したシーケンス図である。
まず、画像管理システム5の送受信部51は、通信ネットワーク9を介してリンク情報管理システム7へ、上記ステップS31によって作成されたリンク情報、並びに、上記ステップS26によって受信された関連情報及びユーザID、ステップS28で作成されたサムネイルデータを送信することにより、リンク情報管理システム7へリンク情報の登録を要求する(ステップS41)。これにより、リンク情報管理システム7の送受信部71は、リンク情報、関連情報、ユーザID、及びサムネイルデータを受信する。
次に、リンク情報管理システム7の記憶・読出部79は、物件管理テーブル(図14(b)参照)において、物件ID毎に、上記ステップS41によって受信されたユーザID、リンク情報、サムネイルデータのファイル名、及び関連情報を関連付けて記憶部7000内の物件管理DB7003に記憶することにより登録(管理)する。また、記憶・読出部79は、このサムネイルデータを記憶部7000に記憶して管理する(ステップS42)。
続いて、図20を用いて、3次元モデルデータのダウンロードの処理を説明する。なお、図20は、3次元モデルデータのダウンロードの処理を示したシーケンス図である。
まず、通信端末3bの操作入力受付部32が、ユーザBから物件詳細画面の要求を受け付けると、送受信部31はリンク情報管理システム7に対して、物件IDを含む物件詳細画面の要求を送信する(ステップS51)。これにより、リンク情報管理システム7の送受信部71は、物件詳細画面の要求を受信する。なお、この物件詳細画面の要求があった場合、画像管理システム5またはリンク情報管理システム7はその要求の回数を記憶することもできる。これによって、管理者XまたはYは、全天球パノラマ画像に対するユーザBによる物件詳細画面要求の回数を把握することができる。管理者XまたはYは、この要求回数に応じて本システムによるサービス料金を算出することができる。
次に、リンク情報管理システム7の記憶・読出部79は、物件IDを検索キーとして物件管理テーブル(図14(b))を検索して、対応するユーザID、リンク情報、サムネイルデータファイル名、関連情報、及び関連画像を読み出す(ステップS52)。なお、関連画像には、物件の間取り図が含まれる。また、ステップS52の処理の一環として、記憶・読出部79は、上記のユーザIDを検索キーとしてユーザ管理テーブル(図14(a)参照)を検索し、対応するユーザ個人情報を読み出す。そして、画面作成部72が、ステップS52によって読み出された各データに基づき、図21に示されているような物件詳細画面を作成する(ステップS57)。そして、リンク情報管理システム7は、この生成した物件詳細画面データを通信端末3bに送信する(ステップS58)。図21は、不動産物件の画面例を示した図である。この物件詳細画面3200には、ユーザ個人情報(ここでは、「不動産業者名」、不動産業者の「住所」及び「電話番号」)3210a及び物件の関連情報3210b、物件の関連画像としての間取り図3220、3次元モデル画像の表示領域3230、サムネイル表示領域3240、及び1つの物件における複数のサムネイル(3240a,3240b,3240c,3240d)が表示される。なお、各サムネイル(3240a,3240b,3240c,3240d)には、上記リンク情報が埋め込まれ、ハイパーリンクが張られている。
また、物件詳細画面3200には、3次元画像を再生するときに視点を変えずに画像の中心点を変えるための中心点変更ボタン3251、3次元画像を再生するときに視点を変えるための視点変更ボタン3252、及び表示されている対象における特徴点間の距離の計測を要求するための計測ボタン3253が表示される。
次に、通信端末3bの操作入力受付部32は、ユーザBから所望のサムネイル3240aの選択を受け付けることによって、結果的にリンク情報の選択を受け付ける(ステップS59)。
次に、通信端末3bの送受信部31は、画像管理システム5に対して、上記ステップS59によって選択されたリンク情報を送信することにより、3次元モデルデータを要求する(ステップS60)。これにより、画像管理システム5の送受信部51は、リンク情報を受信する。なお、通信端末3bが3次元モデルデータを2次元表示できる機能(ソフトウェア)を予め有している場合には、ステップS60でその旨の情報も画像管理システム5に送信される。これにより、画像管理システム5は後述のステップS63で閲覧用のスクリプト(ソフトウェア)を通信端末3bに送信せずに済み、通信を速くすることができる。
次に、画像管理システム5の抽出部55は、上記ステップS60によって受信されたリンク情報から、画像IDを抽出する(ステップS61)。そして、記憶・読出部59は、ステップS61によって抽出された画像IDを検索キーとして画像管理テーブル(図13(a)参照)を検索することにより、対応する3次元モデルデータのファイル名を抽出すると共に、このファイル名の3次元モデルデータを記憶部5000から読み出す(ステップS62)。更に、記憶・読出部59は、記憶部5000から閲覧スクリプトも読み出す(ステップS62)。
次に、送受信部51は、通信ネットワーク9を介して通信端末3bへ、ステップS62によって読み出された3次元モデルデータ及び閲覧スクリプトを送信する(ステップS63)。これにより、通信端末3bの送受信部31は、3次元モデルデータ、閲覧スクリプト、及び画像IDを受信する。
なお、画像管理システム5が3次元モデルデータの要求を受け付けた場合(ステップS60)または3次元モデルデータ等を通信端末3bに送信した場合(ステップS63)に、画像管理システム5はその受信または送信の回数を記憶することもできる。これによって、管理者Xは、全天球パノラマ画像に対するユーザBによる3次元モデルデータの要求の回数を把握することができる。管理者Xは、この要求回数に応じて本システムによる3次元モデルの提供サービスの料金を算出することができる。
次に、通信端末3bの表示制御部33は、ステップS63によって受信された閲覧スクリプトを起動させ、3次元モデルデータに基づいて、図22に示されているように、3次元モデルを2次元に変換した画像を作成して表示する(ステップS64)。図22は不動産物件例を示す図である。通信端末3bの操作入力受付部32が中心点変更ボタン3251の選択を受け付けると、表示制御部33は、受け付けられた変更内容に応じて中心点の座標を変更した画像を、3次元モデルデータに基づいて作成する。同様に、通信端末3bの操作入力受付部32が視点変更ボタン3252の選択を受け付けると、表示制御部33は、受け付けられた変更内容に応じて視点の座標を変更した画像を、3次元モデルデータに基づいて作成する。このようにして、通信端末3bの利用者は、様々な視点及び角度から対象を確認することができる。
続いて、操作入力受付部32が計測ボタン3253の選択を受け付けると、表示制御部33は、3次元モデルデータに基づいて、各特徴点の近傍に特徴点の識別情報を表示させる。これにより、操作入力受付部32は2つの特徴点の選択を受け付ける(ステップS65)。このとき、入力される情報は、例えば、特徴点の識別情報として(f7,f8)である。特徴点の選択が受け付けられると、通信端末3bの送受信部31は、画像管理システム5へ、3次元モデルデータに関連付けられている画像ID、及び入力された特徴点の識別情報を含む計測要求情報を送信する(ステップS66)。
画像管理システム5の送受信部51が計測要求情報を受信すると、記憶・読出部59は、計測要求情報に含まれる画像IDを検索キーとして画像管理テーブル(図13(a)参照)を検索することにより、対応する3次元モデルデータのファイル名、及び単位あたりの長さを読み出す(ステップS67)。更に、記憶・読出部59は、このファイル名の3次元モデルデータを記憶部5000から読み出す。続いて、モデル生成部56は、3次元モデルデータから計測要求情報に含まれている各特徴点の座標を特定し、座標における特徴点間の距離、及び読み出された単位あたりの長さ(mm)に基づいて、特徴点間の距離をmm単位に変換する(ステップS68)。例えば、計測要求情報に含まれる各特徴点の座標が「(100,100,2000),(500,100,2000)」であり、読み出された単位あたりの長さが2mmである場合、変換後の距離は400×2=800mmである。
距離の算出が完了すると、画像管理システム5の送受信部51は、計測要求情報に含まれている画像ID、及び特徴点の識別情報に、ステップS68で算出された距離を追加した計測結果情報を通信端末3bへ送信する(ステップS69)。これにより、通信端末3bでは、特徴点間の距離を把握することが可能となり、その距離を表示することができる。なお、画像管理システム5は、計測要求を受信した場合(ステップS66)または計測結果情報を送信した場合(ステップS69)、その受信または送信の回数を記憶することもできる。これによって、管理者Xは、全天球パノラマ画像に対するユーザBによる計測の要求の回数を把握することができる。管理者Xは、この要求回数に応じて本システムによる長さ情報の提供サービスの料金を算出することができる。そして、要求が所定回数(たとえば3回)を超えた場合には、予めステップS64の2次元に変換した画像内に長さを表示させるようにしてもよい。このようにすればユーザBが知りたいと思われる情報を予め提示することができ、ユーザBの利便性を向上することができる。
図23(a)は、上記画像ID「a15」に係る画像を撮影しているときの撮影装置1の動線を示す概念図である。図23中の視点(m−1,m,m+1)はそれぞれ、画像ID「a15」に係る画像の(m−1,m,m+1)番目のフレームにおける撮影装置1の位置を示す。上記実施形態では、(m,m+1)番目のフレームの画像から3次元モデルを生成することで、視点(m,m+1)間の動線からの視点の3次元モデルを生成した。
ところで、撮影装置1は全天球カメラであるため、図23(a)によると、m番目のフレームの全天球パノラマ画像にはシステムキッチンだけでなく、例えば、リビングテーブルも示されている。画像ID「a15」に係る画像の所定領域画像を再度登録するときに、m番目のフレームのリビングテーブルの示された領域を所定領域情報として登録することで(ステップS25参照)、ステップS32では、リビングテーブルの3次元モデルが生成されることになる。この場合、ステップS32−5では、リビングテーブルが撮影されている他の画像として、m+1番目のフレームが用いられる。ユーザAがシステムキッチンの3次元モデルを生成することを意図して、或いは3次元モデルの生成対象を意図せずに上記動線での撮影を行った場合でも、(m,m+1)番目のフレームの全天球パノラマ画像にリビングテーブルが示されていれば、後からリビングテーブルの3次元モデルを生成することが可能となる。
また、図23(a)によると、m番目のフレームの全天球パノラマ画像にはシステムキッチンだけでなく、例えば、洗面台も撮影されている。画像ID「a15」に係る画像の所定領域画像を再度登録するときに、m番目のフレームの洗面台の示された領域を所定領域情報として登録することで(ステップS25参照)、ステップS32では、洗面台の3次元モデルが生成されることになる。この場合、ステップS32−5では、洗面台が撮影されている他の画像として、m+1番目のフレームではなく、m−1番目のフレームが用いられることになる。このように、(m−1,m)番目のフレームの画像から3次元モデルを生成することで、視点(m−1,m)間の動線からの視点の3次元モデルを生成することが可能となる。動線上の視点からの画像を再生可能な3次元モデルを複数の生成する場合でも、m番目のフレームに係る画像データは共通に利用することが可能であるので、必要な画像データ数を少なくすることができる。
なお、この場合、モデル生成部56は、ステップS32−5において特徴点を追跡するときに、m番目のフレームに係る所定領域画像の特徴点と、m+1番目のフレームに係る全天球パノラマ画像の特徴点と、のマッチングを行う。そこで、マッチングできなかったときに、モデル生成部56は、m番目のフレームに係る所定領域画像の特徴点と、m−1番目のフレームに係る全天球パノラマ画像の特徴点と、のマッチングを行っても良い。これにより、特徴点の追跡を自動化することが可能となる。
上記実施形態では、ステップS59において通信端末3bの操作入力受付部32は、ユーザBから、1つのサムネイルの選択を受け付けたが、複数のサムネイルの選択を受け付けても良い。以下、一例として、2013年4月5日に撮影された画像ID「a01」によって示される画像のサムネイル3240aと、2015年3月9日に撮影された画像ID「a15」によって示される画像のサムネイル3240dと、が選択される場合について説明する。なお、画像ID「a01」によって示される画像の画像データ「a01.mp4」は、画像管理システム5の記憶部5000に記憶されている。
図23(b)は、画像ID「a01」によって示される画像を撮影しているときの撮影装置1の動線を示す概念図である。画像ID「a01,a15」によって示される各複数の全天球パノラマ画像のうち一部の全天球パノラマ画像には、共通の対象として、異なる視点から、例えばシステムキッチンが撮影されている。通信端末3aは、画像管理システム5へ、各画像の登録を指示するときに、視点mのフレームにおけるシステムキッチン、或いは視点pのフレームにおけるシステムキッチンを表示させている(ステップS25参照)。これにより、通信端末3aは、画像管理システム5へ、視点m或いは視点pのフレームを示す各フレーム情報、及びシステムキッチンが示される各所定領域情報を送信する(ステップS26参照)。画像管理システム5は、システムキッチンの各サムネイルを生成すると共に、視点(m,m+1)、或いは視点(p,p+1)の各画像を用いて、システムキッチンの各3次元モデルを生成する(ステップS26乃至S33参照)。
通信端末3bにおいて複数のサムネイルが選択されると、各サムネイルのリンク情報に基づいて、画像管理システム5は各画像に係る複数の3次元モデルデータ(「a01.obj」、「a15.obj」)を読み出して通信端末3bへ送信する(ステップS61乃至S63参照)。複数の3次元モデルデータを受信した通信端末3bでは各3次元モデルを2次元に変換した各画像を作成して表示する(ステップS61乃至S63参照)。図24は、不動産物件の画面例を示した図である。図24において、表示領域3230aには画像ID「a01」に係る画像が表示され、表示領域3230bには画像ID「a15」に係る画像が表示されている。
通信端末3bの操作入力受付部32が中心点変更ボタン3251の選択を受け付けると、表示制御部33は、予め選択されていた一方の画像について、中心点の座標を変更した画像を3次元モデルデータに基づいて作成する。同様に、通信端末3bの操作入力受付部32が視点変更ボタン3252の選択を受け付けると、表示制御部33は、操作入力受付部32によって選択が受け付けられた一方の画像について、視点の座標を変更した画像を、3次元モデルデータに基づいて作成する。このようにして、通信端末3bのユーザBは、中心点変更ボタン3251及び視点変更ボタン3252を操作することにより、異なるタイミングで撮像された各画像における視点を合わせることができる。
〔実施形態の補足〕
上記実施形態では、SfM法により、特徴点間の距離を計測する方法について説明したが、距離の計測方法はこれに限定されない。例えば、全天球カメラが2つのカメラにより構成される二眼のステレオカメラである場合には、ステレオによる視差から三角測量の原理を利用して特徴点間の距離を算出することもできる。また、撮影装置1にGPS(Global Positioning System)が設けられており(屋内GPSを含む)、各フレームにおけるカメラの絶対的な位置を特定することが可能であり、撮影対象の位置が既知の場合には、既知の特徴点間の距離を入力することなく距離を算出することもできる。さらに、撮影装置1において屋内位置検知システムの利用が可能な場合には、そのシステムを利用して撮影時の撮影装置1の位置を検知するようにしてもよい。さらにまた、画像管理システム5が画像認識機能を備えている場合、画像管理システム5において画像認識を行い、撮影した画像内に長さが既知の物(たとえば官製はがきやプリンタ、コピー機、ティッシュペーパーの箱等)が存在する場合、その認識した物の長さに基づいて距離を推定または特定してもよい。この場合、画像管理システム5の記憶部5000(HD504またはメディア506)にはそれぞれの物毎に角度に対する長さに関するデータあるいはその長さを算出する数式と撮影装置1からの距離の情報の関係が記憶されている。なお、図20のステップS68で算出した特徴点間の長さをその特徴点を含む認識された画像(たとえばシステムキッチン)と撮影時の角度とともに記憶部5000に記憶するようにしてもよい。これにより、次回、同一の物を撮影した場合に画像認識でき、距離の特定を行うことが可能となる。これらの他の方法よって距離の算出、位置の特定を行い、3次元モデルデータを生成してもよい。
また、上記実施形態では3次元モデル生成には動画データを使用していたがこれに限られず、たとえば、所定の時間間隔あるいは任意のタイミングで取得した静止画のデータに含まれる複数の特徴点および取得した距離を使って3次元モデルを生成してもよい。
上記実施形態における画像管理システム5、及びリンク情報管理システム7は、単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。前者の場合には管理者XとYが同一の者であってもよく、後者の場合には複数のコンピュータシステム毎に管理者を設けてもよい。また、ユーザBが3次元モデルデータや長さの情報を直接得たい場合には、通信端末3bからリンク情報管理システム7を経由せずに画像管理システム5にアクセスし、所望の3次元データや長さ情報を得るようにしてもよい。この場合、ユーザBは通信端末3bを利用して所定のIDとパスワードを入力することにより、画像管理システム5にアクセス可能となる。なお、アクセス制限解除の認証方法はIDとパスワードに限られず、たとえば、通信端末3bと画像管理システム5が指紋や血管、虹彩等生態認証に対応している場合には、それによって画像管理システム5はアクセス可否を判断してもよい。
また、上記実施形態の各プログラムが記憶されたCD−ROM、メディア307、506等の記録媒体、並びに、これらプログラムが記憶されたHD504は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
<<本実施形態の主な効果>>
画像管理システム5の記憶部5000(記憶手段の一例)は、2013年4月5日(第1のタイミングの一例)に異なる位置で撮影された複数の全天球画像を示す画像データ「a01.mp4」(第1の画像データの一例)と、2015年3月9日(第2のタイミングの一例)に異なる位置で撮影された複数の全天球画像を示す画像データ「a15.mp4」(第2の画像データの一例)と、を記憶する。画像管理システム5のモデル生成部56(生成手段の一例)は、2013年4月5日及び2015年3月9日に撮影されたシステムキッチン(共通の対象の一例)の第1の3次元モデルを画像データ「a01.mp4」を用いて生成し、共通の対象の第2の3次元モデルを画像データ「a15.mp4」を用いて生成する。各3次元モデルを生成することで、共通の対象を異なるタイミングに撮影するときに、撮影位置や姿勢を正確に管理しなくても、同じ視点からの共通の対象の画像を得ることが可能になる。
画像管理システム5の送受信部51(受信手段の一例)は、画像データ「a01.mp4」に係る複数の全天球画像の中から共通の対象が示されているフレームを示すフレーム情報(第1の特定情報の一例)、及び画像データ「a15.mp4」に係る複数の全天球画像の中から共通の対象が示されているフレームを示すフレーム情報(第2の特定情報の一例)を受信する。モデル生成部56は、各フレーム情報によって特定される各全天球画像を用いて各3次元モデルを生成する。これにより、各タイミングに異なる位置で撮影された複数の全天球画像の中から共通の対象を示す各フレームを特定して各3次元モデルを生成することが可能になる。
画像管理システム5の送受信部51は、各フレーム情報によって特定される各全天球画像からシステムキッチンが示されている各領域を特定するための各所定領域情報を受信する。モデル生成部56は、各所定領域情報によって特定される各領域の画像を用いて各3次元モデルを生成する。これにより、各フレーム情報によって特定される全天球画像の中から各所定領域情報によって特定される各領域の画像を用いて、共通の対象の各3次元モデルを生成することが可能になる
画像管理システム5の送受信部51(送信手段の一例)は、各3次元モデルの3次元モデルデータ(「a01.obj」、「a04.obj」)を、3次元モデルデータに基づく画像を生成可能な通信端末3bへ送信する。これにより、通信端末3bにおいて、各3次元モデルを2次元化した画像を生成することが可能となる。
通信端末3bの送受信部11(受信手段の一例)は、画像管理システム5によって送信される各3次元モデルデータ(「a01.obj」、「a04.obj」)を受信する。通信端末3bの表示制御部33は、スクリプトを起動することにより、各3次元モデルデータ(「a01.obj」、「a04.obj」)に基づく各画像を生成する。また、通信端末3bの操作入力受付部(操作入力受付手段の一例)は、ユーザBによる操作入力を受け付ける。表示制御部33は、操作入力に応じた視点の画像を生成する。これにより、各タイミングで撮影された対象について共通の視点からの画像を生成することが可能となる。
なお、以上の実施形態で使用した「全天球パノラマ画像」は、必ずしも360度すべての画像を表示するものだけを示すものではなく、技術的な要因その他によりその画像の一部を表示させない、または表示できないような360度画像に近いパノラマ画像も含んでいる。また、全天球パノラマ画像は、二眼の撮像装置1によって撮影される画像に限られず、三以上のレンズ及び/または撮像素子を使用して撮影しそれらの合成画像であってもよく、複数の方位・方向を別々に撮影してそれらを合成することで得るものであってもよい。また、以上の実施形態では、全天球パノラマ画像の撮影画像を正距円筒図法によって表現したがこれに限らず、メルカトル図法や心射円筒図法等他の円筒図法や擬似円筒図法、円錐図法や擬似円錐図法、方位図法や擬似方位図法、整合図法その他の図法などの全天球パノラマ画像を二次元で表現できる図法に変換して表現してもよい。また、上記実施形態の「全天球パノラマ画像」は、当業者によって同意のものとして認識されている「全天球画像」や、「全方位画像」等の任意の用語に置き換え可能である。また、撮影対象は不動産物件に限られず、撮影装置1により撮影可能なあらゆる対象が含まれる。このような対象としては、例えば、人、動物、人または動物の体内、機械、建物、インフラストラクチャ、土木・建設現場、植物、農場、気象観測対象等が含まれる。
1 撮影装置
3a 通信端末
3b 通信端末
5 画像管理システム
7 リンク情報管理システム
9 通信ネットワーク
9a 基地局
9b 基地局
31 送受信部
32 操作入力受付部
33 表示制御部
39 記憶・読出部
51 送受信部
52 識別情報割当部
53 サムネイル作成部
54 リンク情報作成部
55 抽出部
56 モデル生成部
59 記憶・読出部
71 送受信部
72 画面作成部
79 記憶・読出部
315 ディスプレイ
3000 記憶部
5000 記憶部
5001 画像管理DB
5002 サムネイル管理DB
7000 記憶部
7001 ユーザ管理DB
7003 物件管理DB
特開2005−222129号公報

Claims (10)

  1. 第1のタイミングに異なる位置で撮影された複数の全天球画像を示す第1の画像データと、第2のタイミングに異なる位置で撮影された複数の全天球画像を示す第2の画像データと、を記憶する記憶手段と、
    前記第1のタイミング及び前記第2のタイミングに撮影された共通の対象の第1の3次元モデルを前記第1の画像データを用いて生成し、前記共通の対象の第2の3次元モデルを前記第2の画像データを用いて生成する生成手段と、
    を有することを特徴とする画像管理システム。
  2. 前記第1のタイミングに異なる位置で撮影された複数の全天球画像の中から前記共通の対象が示されている全天球画像を特定するための第1の特定情報、及び前記第2のタイミングに異なる位置で撮影された複数の全天球画像の中から前記共通の対象が示されている全天球画像を特定するための第2の特定情報を受信する受信手段を有しており、
    前記生成手段は、前記第1の特定情報によって特定される全天球画像を用いて前記第1の3次元モデルを生成し、前記第2の特定情報によって特定される全天球画像を用いて前記第2の3次元モデルを生成することを特徴とする請求項1に記載の画像管理システム。
  3. 前記受信手段は、前記第1の特定情報によって特定される全天球画像から前記共通の対象が示されている領域を特定するための第1の領域情報、及び前記第2の特定情報によって特定される全天球画像から前記共通の対象が示されている領域を特定するための第2の領域情報を受信し、
    前記生成手段は、前記第1の領域情報によって特定される領域の画像を用いて前記第1の3次元モデルを生成し、前記第2の領域情報によって特定される領域の画像を用いて前記第2の3次元モデルを生成することを特徴とする請求項2に記載の画像管理システム。
  4. 前記第1の3次元モデルを示す第1の3次元モデルデータ及び前記第2の3次元モデルを示す第2の3次元モデルデータを、前記3次元モデルデータに基づく画像を生成可能な通信端末へ送信する送信手段を有することを特徴とする請求項1乃至3のいずれか一項に記載の画像管理システム。
  5. 請求項4に記載の画像管理システムによって送信される前記第1の3次元モデルデータ及び前記第2の3次元モデルデータを受信する受信手段と、
    前記第1の3次元モデルデータ及び前記第2の3次元モデルデータに基づく各画像を生成する生成手段と、
    操作入力を受け付ける操作入力受付手段と、
    を有しており、
    前記生成手段は、前記操作入力に応じた視点の画像を生成することを特徴とする通信端末。
  6. 請求項1乃至4のいずれか一項に記載の画像管理システムと、
    請求項5に記載の通信端末と、
    を有することを特徴とする通信システム。
  7. 第1のタイミングに異なる位置で撮影された複数の全天球画像を示す第1の画像データと、第2のタイミングに異なる位置で撮影された複数の全天球画像を示す第2の画像データと、を記憶する記憶手段を有する画像管理システムが、
    前記第1のタイミング及び前記第2のタイミングに撮影された共通の対象の第1の3次元モデルを前記第1の画像データを用いて生成し、前記共通の対象の第2の3次元モデルを前記第2の画像データを用いて生成する生成処理
    を実行することを特徴とする画像管理方法。
  8. 通信端末が、
    前記画像管理システムによって送信される前記第1の3次元モデルデータ及び前記第2の3次元モデルデータを受信する受信処理と、
    前記第1の3次元モデルデータ及び前記第2の3次元モデルデータに基づく各画像を生成する生成処理と、
    操作入力を受け付ける操作入力受付処理と、
    を実行し、
    前記生成処理は、前記操作入力に応じた視点の画像を生成することを特徴とする請求項7に記載の画像管理方法。
  9. 前記画像管理システムに、請求項7に記載の各処理を実行させることを特徴とするプログラム。
  10. 前記通信端末に、請求項8に記載の各処理を実行させることを特徴とするプログラム。
JP2015074008A 2015-03-31 2015-03-31 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム Pending JP2016194784A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015074008A JP2016194784A (ja) 2015-03-31 2015-03-31 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015074008A JP2016194784A (ja) 2015-03-31 2015-03-31 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2016194784A true JP2016194784A (ja) 2016-11-17

Family

ID=57323596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015074008A Pending JP2016194784A (ja) 2015-03-31 2015-03-31 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2016194784A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019031468A1 (ja) 2017-08-07 2019-02-14 ソニー株式会社 送信装置、送信方法、受信装置、受信方法および撮像装置
WO2019031469A1 (ja) 2017-08-10 2019-02-14 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2019107175A1 (ja) 2017-11-30 2019-06-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2021161774A1 (ja) 2020-02-10 2021-08-19 ソニーグループ株式会社 画像処理装置、画像処理方法及びプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019031468A1 (ja) 2017-08-07 2019-02-14 ソニー株式会社 送信装置、送信方法、受信装置、受信方法および撮像装置
US11012619B2 (en) 2017-08-07 2021-05-18 Sony Corporation Transmission device, transmission method, reception device, reception method, and imaging device
WO2019031469A1 (ja) 2017-08-10 2019-02-14 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US11089285B2 (en) 2017-08-10 2021-08-10 Sony Corporation Transmission device, transmission method, reception device, and reception method
WO2019107175A1 (ja) 2017-11-30 2019-06-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2021161774A1 (ja) 2020-02-10 2021-08-19 ソニーグループ株式会社 画像処理装置、画像処理方法及びプログラム

Similar Documents

Publication Publication Date Title
US11509825B2 (en) Image management system, image management method, and computer program product
JP2014112302A (ja) 所定領域管理システム、通信方法、及びプログラム
JP5920057B2 (ja) 送信装置、画像共有システム、送信方法、及びプログラム
JP7420126B2 (ja) システム、管理システム、画像管理方法、及びプログラム
JP2021039468A (ja) 撮影装置、通信システム、通信方法およびプログラム
JPWO2017014126A1 (ja) 画像管理システム、画像管理方法及びプログラム
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
JP2016194784A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP2016194783A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP6720778B2 (ja) 画像管理システム、画像管理方法、及びプログラム
JP6115113B2 (ja) 所定領域管理システム、所定領域管理方法、及びプログラム
JP6304300B2 (ja) 送信装置、通信方法、プログラムおよび受信装置
JP6011117B2 (ja) 受信装置、画像共有システム、受信方法、及びプログラム
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
JP2018026642A (ja) 画像管理システム、画像通信システム、画像管理方法、及びプログラム
JP5942637B2 (ja) 付加情報管理システム、画像共有システム、付加情報管理方法、及びプログラム
JP2017184025A (ja) 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム
JP2016194782A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP6508288B2 (ja) システム、画像共有システム、通信方法、及びプログラム
JP6233451B2 (ja) 画像共有システム、通信方法及びプログラム
JP2017037423A (ja) 画像管理システム、画像管理方法、画像通信システム及びプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180209