JP2022012444A - 画像情報生成装置、方法およびプログラム - Google Patents

画像情報生成装置、方法およびプログラム Download PDF

Info

Publication number
JP2022012444A
JP2022012444A JP2020114270A JP2020114270A JP2022012444A JP 2022012444 A JP2022012444 A JP 2022012444A JP 2020114270 A JP2020114270 A JP 2020114270A JP 2020114270 A JP2020114270 A JP 2020114270A JP 2022012444 A JP2022012444 A JP 2022012444A
Authority
JP
Japan
Prior art keywords
image
omnidirectional
shooting
omnidirectional image
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020114270A
Other languages
English (en)
Other versions
JP7467262B2 (ja
Inventor
ケン キム
Ken Kim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Communications Corp
3I Inc
Original Assignee
NTT Communications Corp
3I Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Communications Corp, 3I Inc filed Critical NTT Communications Corp
Priority to JP2020114270A priority Critical patent/JP7467262B2/ja
Priority to PCT/JP2021/018534 priority patent/WO2022004153A1/ja
Priority to KR1020237002290A priority patent/KR20230033016A/ko
Publication of JP2022012444A publication Critical patent/JP2022012444A/ja
Priority to US18/145,888 priority patent/US20230131239A1/en
Application granted granted Critical
Publication of JP7467262B2 publication Critical patent/JP7467262B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/04Architectural design, interior design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028Multiple view windows (top-side-front-sagittal-orthogonal)

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Business, Economics & Management (AREA)
  • Studio Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)

Abstract

【課題】三次元空間の変化の様子を適切に表現可能な画像情報を生成する。【解決手段】この発明の一実施形態は、サーバ装置SVが、施設のフロアごとにその三次元空間を複数の位置でそれぞれ撮影された全方位画像を全方位画像記憶部21に記憶しておく。そして、撮影日時の異なる同一フロアの2つの画像を比較表示する際に、比較対象となるすべての全方位画像の中から、その撮影位置座標が比較基準となる画像の撮影位置座標に最も近い全方位画像を選択し、選択された比較対象の全方位画像のアングルを比較基準となる画像のアングルと対応するように調整し、調整後の比較対象の画像と比較基準の画像とを並べて配置した比較表示画像データを生成し、ユーザ端末UT1へ送信する。【選択図】図3

Description

この発明の実施形態は、例えば施設等の三次元空間を撮影した画像を用いて上記施設を管理するシステムで使用される画像情報生成装置、方法およびプログラムに関する。
近年、事業所やオフィス、住居等の施設を撮影された画像を用いて管理する技術が提案されている。例えば、特許文献1には、建物内の三次元空間を異なる複数の位置でそれぞれ全方位(360°)を撮影してその撮影画像を記憶媒体に記録し、記録された各全方位画像を接続することにより上記施設内を示す三次元(3D)画像を生成する技術が記載されている。この技術を用いると、例えば施設の管理者または利用者は、現場に出向かなくても施設の状態を3D画像により遠隔的に把握することが可能となる。
米国特許出願公開2018/0075652号明細書
ところで、建築現場や居住空間のインテリア等は時間の経過により変化するが、この変化の様子を画像を用いて管理できるようにすることが求められている。しかしながら、従来では一般に、指定された複数の日時に対応する同一空間の画像を単に記憶媒体から選択して並べて表示するものとなっている。このため、例えば上記複数の日時に撮影された各画像の撮影条件、例えば撮影位置や撮影方向、倍率等が異なると、これらの画像を単に並べて表示しても管理者または利用者は空間の変化の様子を的確に把握することが困難となる。
この発明は上記事情に着目してなされたもので、一側面では、三次元空間の変化の様子を適切に表現可能な画像情報を生成する技術を提供しようとするものである。
上記課題を解決するためにこの発明に係る画像情報生成装置または画像情報生成方法の一態様は、複数の撮影機会において三次元空間を複数の撮影位置でそれぞれ撮影した全方位画像を、前記撮影位置を示す座標と関連付けて記憶した記憶装置を利用する。そして、前記複数の撮影機会のうち、第1の撮影機会および第2の撮影機会にそれぞれ撮影された前記三次元空間における第1の全方位画像と第2の全方位画像との比較を要求する情報が入力された場合に、前記記憶装置に記憶された前記全方位画像のうち、前記第2の撮影機会に撮影されたすべての前記第2の全方位画像の中から、その撮影位置座標が前記第1の全方位画像の撮影位置座標に対し最も近い第2の全方位画像を選択する。そして、選択された前記第2の全方位画像の表示範囲および表示向きを、前記第1の全方位画像の表示範囲および撮影方向に対応するように調整し、調整された前記第2の全方位画像と前記第1の全方位画像とを比較可能に配置した合成画像を生成し出力するようにしたものである。
この発明に係る一態様によれば、比較の基準となる画像と比較対象の画像の撮影位置が異なる場合でも、撮影位置が比較基準となる画像の撮影位置に最も近い比較対象の画像が選択され、さらに選択された比較対象画像のアングルが比較基準の画像に対応するように調整された上で、両画像を対比する表示画像情報が生成される。このため、三次元空間の変化の様子を適切に表現可能な画像情報を生成することができる。
図1は、この発明の一実施形態に係る画像情報生成装置として動作するサーバ装置を含むシステムの概略構成図である。 図2は、図1に示したシステムにおけるサーバ装置のハードウェア構成の一例を示すブロック図である。 図3は、図1に示したシステムにおけるサーバ装置のソフトウェア構成の一例を示すブロック図である。 図4は、図3に示したサーバ装置による画像情報生成処理の手順と処理内容の一例を示すフローチャートである。 図5は、比較基準となる全方位画像の撮影位置の一例を示す図である。 図6は、比較対象となる全方位画像の撮影位置の一例を示す図である。 図7は、表示画像情報の一例を示す図である。
以下、図面を参照してこの発明に係わる実施形態を説明する。
[一実施形態]
(構成例)
(1)システム
図1は、この発明の一実施形態に係る画像情報生成装置を含むシステムの概略構成図である。
このシステムは、画像情報生成装置として動作するサーバ装置SVを備えている。そして、このサーバ装置SVと、ユーザが使用するユーザ端末MT,UT1~UTnとの間で、ネットワークNWを介してデータ通信が可能に構成されている。
ユーザ端末MT,UT1~UTnには、全方位画像の登録を行うユーザが使用するユーザ端末MTと、登録された画像を閲覧するユーザが使用するユーザ端末UT1~UTnとがあり、いずれも例えばスマートフォンやダブレット型端末等の携帯情報端末により構成される。なお、ユーザ端末としてはノート型のパーソナルコンピュータやデスクトップ型のパーソナルコンピュータを用いてもよく、またネットワークNWへの接続インタフェースについても無線に限らず有線を使用してもよい。
ユーザ端末MTは、カメラCMとの間で例えば信号ケーブルまたはBluetooth(登録商標)等の小電力無線データ通信インタフェースを介してデータ伝送が可能となっている。カメラCMは、全方位を撮影可能なカメラからなり、例えば高さ位置を一定に保持することが可能な三脚に固定されている。カメラCMは、撮影された全方位画像データを、上記小電力無線データ通信インタフェースを介してユーザ端末MTへ送信する。
またユーザ端末MTは、例えばGPS(Global Positioning System)または無線LAN(Local Area Network)から送信される信号を利用して現在位置を測定する機能を有する。またユーザ端末MTは、例えば建物内のように上記位置測定機能を使用できない場合に備え、ユーザが基準点となる位置座標を手動入力する機能を有している。
ユーザ端末MTは、上記カメラCMから一つの位置で撮影された全方位画像データを受信するごとに、当該撮影位置を表す位置座標を、上記基準点の位置座標と、内蔵する動きセンサ(例えば加速度センサとジャイロセンサ)により計測された移動距離および移動方向とをもとに算出する。そして、受信された上記全方位画像データを、計算された上記撮影位置座標と撮影日時を表す情報と共に、ネットワークNWを介してサーバ装置SVへ送信する。これらの処理は、事前にインストールされた専用のアプリケーションにより実行される。
ユーザ端末UT1~UTnは、例えばブラウザを有する。そして、上記ブラウザによりサーバ装置SVにアクセスし、ユーザの入力操作に応じて、所望の施設およびフロアの、所望の日時における所望の場所の画像をダウンロードして、ディスプレイに表示する機能を有している。
なお、ネットワークNWは、インターネットを含むIP網と、このIP網にアクセスするためのアクセスネット網とから構成される。アクセス網としては、例えば公衆有線網や携帯電話網、有線LAN(Local Area Network)、無線LAN、CATV(Cable Television)等が用いられる。
(2)サーバ装置SV
図2および図3は、それぞれサーバ装置SVのハードウェア構成およびソフトウェア構成を示すブロック図である。
サーバ装置SVは、クラウド上またはWeb上に設置されたサーバコンピュータからなり、中央処理ユニット(Central Processing Unit:CPU)等のハードウェアプロセッサを有する制御部1を備える。そして、この制御部1に対しバス4を介して記憶部2および通信インタフェース(通信I/F)3を接続したものとなっている。
通信I/F3は、制御部1の制御の下、ネットワークNWを介して上記ユーザ端末MT,UT1~UTnとの間でデータの送受信を行うもので、例えば有線ネットワーク用のインタフェースが用いられる。
記憶部2は、例えば、主記憶媒体としてHDD(Hard Disk Drive)またはSSD(Solid State Drive)等の随時書込みおよび読出しが可能な不揮発性メモリを使用する。なお、記憶媒体としては、ROM(Read Only Memory)およびRAM(Random Access Memory)を組み合わせて使用してもよい。
記憶部2の記憶領域には、プログラム記憶領域とデータ記憶領域が設けられている。プログラム記憶領域には、OS(Operating System)等のミドルウェアに加えて、この発明の一実施形態に係る各種制御処理を実行するために必要なプログラムが格納される。
データ記憶領域には、一実施形態を実施する上で必要な記憶部として、全方位画像記憶部21と、平面図データ記憶部22と、調整済み画像記憶部23が設けられ、さらに制御部1による各種処理に必要な作業用の記憶部が設けられている。
全方位画像記憶部21は、ユーザ端末MTから取得された対象施設のフロアごとの全方位画像群を記憶するために使用される。平面図データ記憶部22は、上記対象施設の各フロアの平面図データを記憶するために用いられる。調整済み画像記憶部23は、制御部1による比較画像調整処理により調整された画像を記憶するために使用される。
制御部1は、この発明の一実施形態に係る制御処理機能として、全方位画像取得部11と、画像閲覧制御部12と、比較対象画像選択部13と、画像アングル調整部14と、比較表示画像生成出力部15を備えている。これらの処理部11~15は、何れも記憶部2内のプログラム記憶領域に格納されたプログラムをハードウェアプロセッサに実行させることにより実現される。
全方位画像取得部11は、ユーザ端末MTから、例えば建物内の複数の位置の各々で撮影された全方位画像データが送られるごとに、この全方位画像データを通信I/F3を介して受信する。そして、受信された上記全方位画像データを、当該画像データと共に受信された撮影位置座標と撮影日時を表す情報と関連付けて全方位画像記憶部21に記憶させる処理を行う。
画像閲覧制御部12は、ユーザ端末UT1~UTnから送信される画像閲覧要求を通信I/F3を介して受信した場合に、要求内容に応じて該当する全方位画像を要求元のユーザ端末UT1~UTnへダウンロードする処理を行う。また画像閲覧制御部12は、ユーザ端末UT1~UTnから画像比較要求を受信した場合には、比較対象画像選択部13に当該画像比較要求を渡す処理を行う。
画像比較要求には、比較基準を指定する情報および比較対象を指定する情報の両方が含まれる場合と、比較対象を指定する情報のみが含まれる場合がある。前者は、ユーザが最初から比較画像の閲覧を希望する場合に用いられ、後者はユーザが既に比較基準となる画像を閲覧中で、比較対象のみを指定する場合に用いられる。
比較対象画像選択部13は、全方位画像記憶部に記憶された、上記指定された施設名および対象エリアに係るすべての全方位画像の中から、上記比較対象を指定する情報に含まれる撮影日時に対応する全方位画像を先ず選択し、選択された各全方位画像の中から、撮影位置座標が、閲覧中の比較基準の画像の撮影位置座標、または上記比較基準を指定する情報に含まれる撮影位置座標に対し最も近い全方位画像を選択する処理を行う。
画像アングル調整部14は、上記比較基準を指定する情報により指定された画像と、上記比較対象画像選択部13により選択された全方位画像とを比較し、比較対象の全方位画像のアングル(例えば表示範囲と撮影方向)を、比較基準となる画像のアングルと同一となるように、或いは近づけるように調整する。そして、調整後の比較対象の画像を比較基準の画像と共に調整済み画像記憶部23に一時保存する処理を行う。
比較表示画像生成出力部15は、上記調整済み画像記憶部23に保存された調整後の比較対象の画像と比較基準の画像を読み込み、両画像を合成することで左右に並べて配置した表示画像データを生成する。そして、生成された上記表示画像データを通信I/F3を介して、要求元のユーザ端末UT1~UTnへ送信する処理を行う。
(動作例)
次に、以上のように構成されたサーバ装置SVの動作例を説明する。図4はその処理手順と処理内容の一例を示すフローチャートである。
(1)全方位画像の取得
例えば、所望の建物の所望のフロアにおける多地点の全方位画像を撮影し記録しようとする場合、ユーザは先ず登録対象の建物とそのフロアの平面図データを用いて、フロアの撮影を開始しようとする位置を基準点として定め、この基準点の位置座標を上記平面図データの座標系から求めてユーザ端末MTに入力する。この結果ユーザ端末MTには、上記対象フロアの基準点の位置座標が設定される。なお、登録対象の建物とフロアの平面図データは、サーバ装置SVの平面図データ記憶部22に事前に記憶されており、ユーザ端末MTはサーバ装置SVから所望の建物およびフロアの平面図データをダウンロードすることで取得できる。
そして、ユーザはカメラCMを操作して上記基準点において全方位を撮影する。なお、カメラCMの撮影操作は、ユーザ端末MTにより遠隔的に行ってもよい。上記撮影操作が行われると、カメラCMにより撮影された上記基準点の全方位画像データがユーザ端末MTに送信され、当該全方位画像データはユーザ端末MTからサーバ装置SVへ送信される。このときユーザ端末MTは、上記基準点の位置座標と撮影日時を表す情報を、上記全方位画像データに付加して送信する。
上記基準点における撮影を終了すると、ユーザは次の撮影位置(撮影ポイント)に移動して同様にカメラCMにより全方位撮影を行う。ユーザ端末MTは、上記カメラCMから上記新たな撮影ポイントで撮影された全方位画像データを受信すると、当該全方位画像データを撮影位置座標と撮影日時を表す情報と共にサーバ装置SVへ送信する。このとき、撮影位置座標は、上記基準点において設定された位置座標と、ユーザ端末MTの距離センサ(例えば加速度センサとジャイロセンサ)により計測された、基準点から上記新たな撮影ポイントまでの移動距離および移動方向とにより算出される。
以後同様にユーザ端末MTは、ユーザが新たな撮影ポイントに移動してカメラCMにより全方位撮影を行うごとに、カメラCMから送信される全方位画像データを、その都度動きセンサの計測値をもとに算出される撮影位置座標と、撮影日時を表す情報と共に、サーバ装置SVへ送信する。
これに対し、サーバ装置SVは、全方位画像取得部11の制御の下、ステップS10で画像撮影の開始を監視している。そして、ユーザ端末MTから画像撮影の開始通知を受信すると、ステップS11に移行して全方位画像データの受信・記憶処理を以下のように実行する。
すなわち、全方位画像取得部11は、ユーザ端末MTから送信される全方位画像データを通信I/F3を介して受信し、受信された全方位画像データを、当該データと共に受信された撮影位置座標および撮影日時を表す情報と関連付けた状態で、全方位画像記憶部21に記憶させる。またそれと共に全方位画像取得部11は、上記撮影位置座標を、平面図データ記憶部22に記憶されている該当するフロアの平面図データにプロットする。
以後同様に全方位画像取得部11は、ユーザ端末MTから全方位画像データが送信されるごとに、上記ステップS11により全方位画像データの受信・記憶処理を繰り返し実行する。なお、この全方位画像データの受信・記憶処理は、全方位画像取得部11がユーザ端末MTから撮影終了通知が送られたことをステップS12で検出した時点で終了する。
なお、以上述べた画像撮影は、同一日時に複数の人がそれぞれ行う場合と、異なる日時に同一の人または異なる人がそれぞれ行う場合を含んでおり、いずれの画像撮影で得られた画像もそれぞれサーバ装置SVに記憶される。また、上記画像撮影が行われるごとに、その撮影ポイントがプロットされた平面図データが生成され、平面図データ記憶部22に記憶される。なお、上記撮影ポイントは、すべての撮影ポイントについてプロットされなくてもよく、少なくとも1つの撮影ポイントがプロットされるようにしてもよい。
(2)全方位画像による三次元閲覧ツアー
サーバ装置SVに記憶された全方位画像を閲覧する場合、ユーザは自身のユーザ端末UT1においてブラウザを起動し、サーバ装置SVに対しアクセスする。そうすると、サーバ装置SVは画像閲覧制御部12の制御の下、先ずホーム画面を送信する。この状態で、ユーザが閲覧を希望する施設名とそのフロア番号を指定すると、サーバ装置SVは画像閲覧制御部12により該当するフロアの平面図データを送信し、ユーザ端末UT1に表示させる。
図5は、このときダウンロードされる平面図データの一例を示すものである。図5に示すように平面図データには、フロアの間取りと撮影位置(撮影ポイント)および撮影順序が丸数字で表示されている。この状態でユーザが、例えば任意の撮影ポイントを指定すると、当該撮影ポイントにおける全方位画像がサーバ装置SVからユーザ端末UT1にダウンロードされる。そして、ユーザが例えばマウス操作により画像の表示方向を変化させると、この操作に応動して上記全方位画像の表示対象範囲が360°に渡って変化する。また、マウス操作により順次撮影ポイントを移動させると、各撮影ポイントにおける全方位画像が順次ダウンロードされて表示される。かくして、上記フロアの各部屋について全方位画像を用いた三次元閲覧ツアーが可能となる。
(3)比較対象画像の選択
上記三次元閲覧ツアーの最中に、ユーザが例えばいま表示中の任意の部屋の画像(比較基準の画像)と、過去の別の日時に撮影された同じ部屋の画像(比較対象の画像)とを比較するために、ユーザ端末UT1において上記別の撮影日時を入力したとする。そうするとユーザ端末UT1からサーバ装置SVに対し上記別の撮影日時を指定する画像比較要求が送信される。
これに対しサーバ装置SVは、ステップS13により上記画像比較要求を受信すると、比較対象画像選択部13の制御の下、先ずステップS14において、上記三次元閲覧ツアーにより表示中の画像の撮影位置座標を全方位画像記憶部21から特定する。続いてステップS15において、全方位画像記憶部21を検索することで、上記画像比較要求により指定された別の撮影日時における同一フロアのすべての全方位画像の中から、その撮影位置座標が上記比較基準画像の撮影位置座標に対し最も近い全方位画像を選択する。
例えば、いまユーザが図5の“10”の撮影ポイントP1において撮影された全方位画像を図中Q1に示すアングル(表示範囲と方向)で閲覧中だったとする。また、ユーザが比較対象として指定した別の撮影日時における同一フロアの撮影ポイントが、図6に示すものだったとする。この場合、サーバ装置SVの比較対象画像選択部13は、上記図6に示したすべての撮影ポイントの中から、図5に示した閲覧中の撮影ポイントP1との間の距離が最も短い撮影ポイントP2を選択する。
(4)比較対象画像のアングル調整
サーバ装置SVは、次に画像アングル調整部14の制御の下、ステップS16において、選択された上記撮影ポイントP2に対応する全方位画像を全方位画像記憶部21から読み出し、この読み出された比較対象の全方位画像を上記比較基準の表示画像と比較する。そして、比較対象画像のアングルQ2を比較基準画像のアングルQ1に近づけるように、比較対象画像の表示範囲および表示方向を調整する。この調整処理は、例えば、表示されている比較基準画像と比較対象画像との対照位置を画素単位でシフトさせながら、比較基準画像と比較対象画像との間の対応する各画素間の差分値が最小となるシフト位置を探索することにより行われる。
画像アングル調整部14は、上記比較対象画像に対する表示範囲および表示方向の調整処理が終了すると、調整された比較対象画像を上記比較基準画像と対応付けて一旦調整済み画像記憶部23に保存させる。
(5)比較表示画像の生成と送信
サーバ装置SVは、続いて比較表示画像生成出力部15の制御の下、ステップS17において、上記調整済み画像記憶部23から比較基準画像と比較対象画像を読み出し、これらの画像を横方向に並べた状態で合成し、比較表示画像データを生成する。またそれと共に比較表示画像生成出力部15は、上記比較表示画像データの比較基準画像上に、フロアの平面図データを重ねて合成する。この平面図データには閲覧中の画像の撮影ポイントP1とそのアングルQ1が表示される。
比較表示画像生成出力部15は、生成された比較表示画像データを、ステップS18により通信I/F3から要求元のユーザ端末UT1に向け送信する。
ユーザ端末UT1は、サーバ装置SVから送信された上記比較表示画像データを受信すると、当該比較表示画像をそれまで表示されていた比較基準画像に代わってディスプレイに表示する。図7は、この比較表示画像の表示例を示すもので、画面右側が比較基準画像を、左側が比較対象画像をそれぞれ示している。図中RDは比較基準画像上に表示されたフロアの平面図である。
(作用・効果)
以上述べたように一実施形態では、施設のフロアごとにその三次元空間を複数の位置でそれぞれ撮影された全方位画像を全方位画像記憶部21に記憶しておく。そして、撮影日時の異なる同一フロアの2つの画像を比較表示する際に、比較対象となるすべての全方位画像の中から、その撮影位置座標が比較基準となる画像の撮影位置座標に最も近い全方位画像を選択し、選択された比較対象の全方位画像のアングルを比較基準となる画像のアングルと対応するように調整し、調整後の比較対象の画像と比較基準の画像とを並べて配置した比較表示画像データを生成し、ユーザ端末UT1へ送信するようにしている。
従って一実施形態によれば、比較基準となる画像と比較対象の画像の撮影位置が異なる場合でも、撮影位置が比較基準の画像の撮影位置に最も近い比較対象の画像が選択され、さらに選択された比較対象の画像のアングルが比較基準の画像のアングルに対応するように調整されたのち、両画像を比較する表示画像情報が生成される。このため、ユーザは三次元空間の変化の様子を適切に表現可能な画像情報を生成することができる。
また、比較表示画像データにはフロアの平面図データが重ねて表示され、この平面図データには撮影ポイントと撮影アングルが表示されるので、ユーザは自身がいま閲覧している画像の撮影位置と撮影方向を平面図により一目で確認することができる。
[他の実施形態]
(1)比較対象の全方位画像の中に、比較基準の画像の撮影位置に対応する画像が存在しない場合には、比較基準の画像と比較対象の画像とを比較する画像データを生成することは困難である。
そこで、このような場合には、比較対象画像選択部13により撮影位置座標が最も近い比較対象画像を選択する際に、比較基準画像の撮影位置座標との間の距離が予め設定されたしきい値以上離れているか否かを判定する。そして、撮影位置座標間の距離がしきい値以上離れていると判定された場合には、このときの全方位画像を比較対象画像として選択せず、比較表示画像生成出力部15にその旨を通知する。比較表示画像生成出力部15は、対応する比較対象画像が存在しない旨のメッセージを生成し、このメッセージをユーザ端末UT1へ送信して表示させる。このようにすると、比較対象として不適切な画像が表示される不具合を防止することができる。
(2)前記一実施形態では、同一場所における異なる2つの日時の全方位画像を並べて表示する比較表示画像データを生成する場合を例にとって説明したが、異なる3以上の日時の画像を並べて表示する比較表示画像データを生成するようにしてもよい。
(3)前記一実施形態では、異なる2つの日時に撮影された画像を比較表示する比較表示画像データを生成する場合を例にとって説明したが、同一のフロアについて同日に異なる2人のユーザがそれぞれ撮影した全方位画像を比較表示するデータを生成するようにしてもよい。
(4)前記一実施形態は、画像情報生成装置の機能をサーバ装置SVに設けた場合を例にとって説明したが、エッジルータ等のネットワーク間接続装置やユーザ端末に設けてもよい。また、制御部と記憶部とを別々のサーバ装置または端末装置に分散して設け、これらを通信回線またはネットワークを介して接続するようにしてもよい。
(5)その他、画像情報生成装置の構成や画像生成処理の手順および処理内容、三次元空間の種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
SV…サーバ装置
MT,UT1~UTn…ユーザ端末
NW…ネットワーク
CM…カメラ
1…制御部
2…記憶部
3…通信I/F
4…バス
11…全方位画像取得部
12…画像閲覧制御部
13…比較対象画像選択部
14…画像アングル調整部
15…比較表示画像生成出力部
21…全方位画像記憶部
22…平面図データ記憶部
23…調整済み画像記憶部

Claims (7)

  1. 複数の撮影機会において三次元空間を複数の撮影位置でそれぞれ撮影した全方位画像を、前記撮影位置を示す座標と関連付けて記憶した記憶装置に対し、接続可能な画像情報生成装置であって、
    前記複数の撮影機会のうち、第1の撮影機会および第2の撮影機会にそれぞれ撮影された前記三次元空間における第1の全方位画像と第2の全方位画像との比較を要求する情報が入力された場合に、前記記憶装置に記憶された前記全方位画像のうち、前記第2の撮影機会に撮影されたすべての前記第2の全方位画像の中から、その撮影位置座標が前記第1の全方位画像の撮影位置座標に対し最も近い第2の全方位画像を選択する選択部と、
    選択された前記第2の全方位画像の表示範囲および表示向きを、前記第1の全方位画像の表示範囲および撮影方向に対応するように調整する調整部と、
    前記表示範囲および表示向きが調整された前記第2の全方位画像と前記第1の全方位画像とを比較可能に配置した合成画像を生成し出力する画像生成部と
    を具備する画像情報生成装置。
  2. 前記選択部は、第1の日時および第2の日時にそれぞれ撮影された前記三次元空間における前記第1の全方位画像と前記第2の全方位画像との比較を要求する情報が入力された場合に、前記記憶装置に記憶された前記全方位画像のうち、前記第2の日時に撮影されたすべての前記第2の全方位画像の中から、その撮影位置座標が前記第1の全方位画像の撮影位置座標に対し最も近い第2の全方位画像を選択する、請求項1に記載の画像情報生成装置。
  3. 前記選択部は、前記第2の撮影機会に撮影されたすべての前記第2の全方位画像の中から選択された前記第2の全方位画像の撮影位置座標が、前記第1の全方位画像の撮影位置座標から予め設定された距離以上離れている場合に、選択された前記第2の全方位画像を前記合成画像の生成対象から除外する、請求項1に記載の画像情報生成装置。
  4. 前記画像生成部は、前記選択された前記第2の全方位画像が前記合成画像の生成対象から除外された場合に、比較対象の前記第2の全方位画像が存在しない旨のメッセージを生成し出力する、請求項3に記載の画像情報生成装置。
  5. 前記画像生成部は、前記第1の全方位画像と前記第2の全方位画像とを比較可能に配置した前記合成画像に、前記三次元空間の平面図に前記第1の全方位画像と前記第2の全方位画像のうちの少なくとも一方の撮影位置座標をプロットした画像をさらに重ねた画像を生成する、請求項1に記載の画像情報生成装置。
  6. 複数の撮影機会において三次元空間を複数の撮影位置でそれぞれ撮影した全方位画像を、前記撮影位置を示す座標と関連付けて記憶した記憶装置に対し、接続可能な装置が実行する画像情報生成方法であって、
    前記複数の撮影機会のうち、第1の撮影機会および第2の撮影機会にそれぞれ撮影された前記三次元空間における第1の全方位画像と第2の全方位画像との比較を要求する情報が入力された場合に、前記記憶装置に記憶された前記全方位画像のうち、前記第2の撮影機会に撮影されたすべての前記第2の全方位画像の中から、その撮影位置座標が前記第1の全方位画像の撮影位置座標に対し最も近い第2の全方位画像を選択する過程と、
    選択された前記第2の全方位画像の表示範囲および表示向きを、前記第1の全方位画像の表示範囲および撮影方向に対応するように調整する過程と、
    前記表示範囲および表示向きが調整された前記第2の全方位画像と前記第1の全方位画像とを比較可能に配置した合成画像を生成し出力する過程と
    を具備する画像情報生成方法。
  7. 請求項1乃至5のいずれかに記載の画像情報生成装置が具備する前記各部の処理を、前記画像情報生成装置が備えるプロセッサに実行させるプログラム。
JP2020114270A 2020-07-01 2020-07-01 画像情報生成装置、方法およびプログラム Active JP7467262B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020114270A JP7467262B2 (ja) 2020-07-01 2020-07-01 画像情報生成装置、方法およびプログラム
PCT/JP2021/018534 WO2022004153A1 (ja) 2020-07-01 2021-05-17 画像情報生成装置、方法およびプログラム
KR1020237002290A KR20230033016A (ko) 2020-07-01 2021-05-17 화상 정보 생성 장치, 방법 및 프로그램
US18/145,888 US20230131239A1 (en) 2020-07-01 2022-12-23 Image information generating apparatus and method, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020114270A JP7467262B2 (ja) 2020-07-01 2020-07-01 画像情報生成装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2022012444A true JP2022012444A (ja) 2022-01-17
JP7467262B2 JP7467262B2 (ja) 2024-04-15

Family

ID=79315870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020114270A Active JP7467262B2 (ja) 2020-07-01 2020-07-01 画像情報生成装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US20230131239A1 (ja)
JP (1) JP7467262B2 (ja)
KR (1) KR20230033016A (ja)
WO (1) WO2022004153A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023162613A1 (ja) * 2022-02-25 2023-08-31 パナソニックIpマネジメント株式会社 画像管理システム、画像管理方法、及びプログラム
WO2023224033A1 (ja) * 2022-05-17 2023-11-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置、及び情報処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017119244A1 (ja) 2016-01-05 2017-07-13 富士フイルム株式会社 処理液、基板の洗浄方法、および、半導体デバイスの製造方法
JP6816465B2 (ja) 2016-11-16 2021-01-20 株式会社リコー 画像表示システム、通信システム、画像表示方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023162613A1 (ja) * 2022-02-25 2023-08-31 パナソニックIpマネジメント株式会社 画像管理システム、画像管理方法、及びプログラム
WO2023224033A1 (ja) * 2022-05-17 2023-11-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置、及び情報処理プログラム

Also Published As

Publication number Publication date
KR20230033016A (ko) 2023-03-07
WO2022004153A1 (ja) 2022-01-06
JP7467262B2 (ja) 2024-04-15
US20230131239A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
JP6075066B2 (ja) 画像管理システム、画像管理方法、及びプログラム
US9338311B2 (en) Image-related handling support system, information processing apparatus, and image-related handling support method
JP6167703B2 (ja) 表示制御装置、プログラム及び記録媒体
US20230131239A1 (en) Image information generating apparatus and method, and computer-readable storage medium
JP2014112302A (ja) 所定領域管理システム、通信方法、及びプログラム
JP6721004B2 (ja) 画像管理システム、及び画像管理方法
WO2016143749A1 (ja) 作業の様子を画像により記録するための端末装置、サーバ装置およびプログラム
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
JP2013021399A (ja) 撮影依頼装置、撮影依頼装置の制御方法、およびプログラム
US20230308762A1 (en) Display terminal, information processing system, communication system, displaying method, information processing method, communication method, and recording medium
JP2016194784A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
US20230269482A1 (en) Information processing system, communication system, and image sharing method
KR20190110013A (ko) 카메라 시스템
JP6302421B2 (ja) コンテンツ検索装置、コンテンツ検索方法、コンテンツ格納装置およびコンテンツ格納方法
JP6297739B1 (ja) 物件情報提供サーバ
WO2022004154A1 (ja) 撮影支援装置、方法およびプログラム
JP5664285B2 (ja) 情報処理装置、およびカメラ
WO2022004156A1 (ja) 情報設定制御装置、方法およびプログラム
JP5979205B2 (ja) 情報処理装置、およびカメラ
JP2017182843A (ja) プログラム、表示制御装置及び表示制御方法
US20230308622A1 (en) Display terminal, displaying method, and recording medium
US20230269481A1 (en) Information processing system, communication system, and image transmission method
WO2022004155A1 (ja) 撮影位置管理装置、方法およびプログラム
US20240179267A1 (en) Display terminal, communication system, and display method
JP2017182548A (ja) 画像管理システム、画像管理方法、画像通信システム及びプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210423

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220131

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240403

R150 Certificate of patent or registration of utility model

Ref document number: 7467262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150