JP2022057800A - 画像通信システム、通信管理装置、通信管理方法及びプログラム - Google Patents

画像通信システム、通信管理装置、通信管理方法及びプログラム Download PDF

Info

Publication number
JP2022057800A
JP2022057800A JP2020166241A JP2020166241A JP2022057800A JP 2022057800 A JP2022057800 A JP 2022057800A JP 2020166241 A JP2020166241 A JP 2020166241A JP 2020166241 A JP2020166241 A JP 2020166241A JP 2022057800 A JP2022057800 A JP 2022057800A
Authority
JP
Japan
Prior art keywords
image
predetermined area
communication
photographing
communication terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020166241A
Other languages
English (en)
Inventor
英邦 安中
Hidekuni Yasunaka
健一郎 森田
Kenichiro Morita
恭輔 上主
Kyosuke Kaminushi
博之 神田
Hiroyuki Kanda
智慎 相川
Tomochika Aikawa
佑哉 秋本
Yuya Akimoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2020166241A priority Critical patent/JP2022057800A/ja
Priority to EP21196881.3A priority patent/EP3989539B1/en
Priority to US17/480,159 priority patent/US11818492B2/en
Publication of JP2022057800A publication Critical patent/JP2022057800A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25833Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25841Management of client data involving the geographical location of the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743Video hosting of uploaded data from client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Information Transfer Between Computers (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】一台の撮影装置で、複数の注目点に対する撮影画像を同時に提供する画像通信システムを提供する。【解決手段】画像通信システム1における通信管理装置は、複数の撮影装置から選択され、通信端末が送信した複数の注目点Pnの座標情報を受信し、各注目点の座標値が示す任意の二つの指定位置との距離が互いに最短であり二つの注目点P1及びP2の各画像を共用可能な共用撮影装置10A-1-4(10A-2-1)のIPアドレス及び二つの注目点P1及びP2をそれぞれ正面に見るための各々の所定領域を示す共用撮影装置の各所定領域情報を、通信端末に送信する。共用撮影装置の各所定領域情報を受信した通信端末は、二つの注目点P1及びP2を正面に見た場合の各々の所定領域画像をディスプレイに表示させる。【選択図】図42

Description

本発明は、画像通信システム、通信管理装置、通信管理方法及びプログラムに関する。
複数の広角レンズ又は魚眼レンズを用いて全方位を撮影可能な撮影装置が知られている。また、このような撮影装置を用いて撮影された画像データをリアルタイムに配信し、撮影装置が設置(配置)された配信拠点の状況を、別拠点においてリアルタイムに閲覧可能なシステムが知られている。
例えば、遠隔地に配置された複数のカメラが撮像した画像を端末に表示させて、ユーザが遠隔地の様子を把握することができるシステムが開示されている(特許文献1参照)。
しかしながら、従来の方法では、一台の撮影装置で、複数の注目点に対する撮影画像を同時に提供することができないという課題が生じる。
上述した課題を解決するために、請求項1に係る発明は、複数の撮影装置で撮影された画像を表示する通信端末と、前記通信端末と通信する通信管理装置と、を有する画像通信システムであって、前記通信管理装置は、前記通信端末が送信した、前記複数の撮影装置が配置された領域における複数の指定位置をそれぞれ示す各指定位置情報を受信する受信手段と、前記複数の撮影装置から選択され、前記受信手段によって受信された前記各指定位置情報が示す各指定位置のうち任意の二つの指定位置との距離が互いに最短であり前記二つの指定位置の各画像を共用可能な共用撮影装置の識別情報、及び前記二つの指定位置をそれぞれ正面に見るための各々の所定領域を示す前記共用撮影装置の各所定領域情報を、前記通信端末に送信する送信手段と、を有し、前記通信端末は、前記各指定位置を正面に見るための各々の所定領域を示す各所定領域情報を受信する受信手段と、前記受信手段によって受信された前記各指定位置を正面に見るための各々の所定領域を示す各所定領域情報に基づいて、前記各指定位置を正面に見た場合の各々の所定領域画像を表示手段に表示させる表示制御手段と、を有する、ことを特徴とする画像通信システムを提供する。
以上説明したように本発明によれば、一台の撮影装置で、複数の注目点に対する撮影画像を同時に提供することができるという効果を奏する。
(A)は撮影装置の左側面図、(B)は撮影装置の正面図、(C)は撮影装置の平面図である。 撮影装置の使用イメージ図である。 (A)は撮影装置で撮影された半球画像(前側)、(B)は撮影装置で撮影された半球画像(後側)、(C)は正距円筒図法により表された画像を示した図である。 (A)は正距円筒射影画像で球を被う状態を示した概念図、(B)は全天球画像を示した図である。 全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 (A)は図5の立体斜視図、(B)はディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Tの画像との関係を示した図である。 球座標による三次元ユークリッド空間内の点を示した図である。 画像通信システムの全体構成を示す図である。 画像通信システムにおける配信拠点の概略を説明するための図である。 撮影装置のハードウエア構成の一例を示す図である。 配信端末、通信管理装置及び通信端末のハードウエア構成の一例を示す図である。 画像通信システムの機能構成の一例を示す図である。 画像通信システムの機能構成の一例を示す図である。 (A)は撮影装置管理テーブルの一例を示す概略図、(B)は画像種類管理テーブルの一例を示す概念図である。 (A)はセッション管理テーブルの一例を示す概略図、(B)は画像種類管理テーブルの一例を示す概念図である。 所定領域管理テーブルの一例を示す概略図である。 配置情報管理テーブルの一例を示す概念図である。 配信拠点管理テーブルの一例を示す概略図である。 (A)は画像種類管理テーブルの一例を示す概略図、(B)は所定領域管理テーブルの一例を示す概念図である。 注目点Pが二つ設定された場合の注目点Pと撮影装置の関係の一例を概略的に説明するための図である。 注目点P1の周辺の各撮影装置の設置方向及び方位角の一例を概略的に説明するための図である。 注目点P2の周辺の各撮影装置の設置方向及び方位角の一例を概略的に説明するための図である。 注目点Pが三つ設定された場合の注目点Pと撮影装置の関係の一例を概略的に説明するための図である。 不規則な位置に配置された撮影装置と各注目点との関係の一例を概略的に説明するための図である。 画像通信システムにおける特定の通信セッションへの参加処理の一例を示すシーケンス図である。 通信セッションの選択画面の一例を示す図である。 画像通信システムにおける画像種類情報の管理処理の一例を示すシーケンス図である。 画像通信システムにおける撮影画像データ及び音データの通信処理の一例を示すシーケンス図である。 画像通信システムにおける注目点Pの表示処理の一例を示すシーケンス図である。 撮影装置の選択処理の一例を示すフローチャートである。 共用撮影装置の選択処理の一例を示すフローチャートである。 通信端末に表示される注目点指定画面の一例を示す図である。 注目点P1の周辺の撮影装置が撮影した撮影画像を表示する表示画面の一例を示す図である。 注目点P1の周辺の撮影装置が撮影した撮影画像を表示する表示画面の一例を示す図である。 注目点P1の周辺の撮影装置が撮影した撮影画像を表示する表示画面の一例を示す図である。 注目点P1の周辺の撮影装置が撮影した撮影画像を表示する表示画面の一例を示す図である。 注目点P2の周辺の撮影装置が撮影した撮影画像を表示する表示画面の一例を示す図である。 注目点P2の周辺の撮影装置が撮影した撮影画像を表示する表示画面の一例を示す図である。 目点P2の周辺の撮影装置が撮影した撮影画像を表示する表示画面の一例を示す図である。 注目点P2の周辺の撮影装置が撮影した撮影画像を表示する表示画面の一例を示す図である。 複数の注目点を選択したときの通信端末の表示画面の一例を示す図である。 画像通信システムにおける所定領域画像の表示処理の変形例を示すシーケンス図である。
以下、図面を用いて、本発明の一実施形態について説明する。なお、図面の説明において重複する部分があれば、その説明を省略する。
〔実施形態〕
〔画像の生成方法〕
図1乃至図8を用いて、画像の生成方法について説明する。
まず、図1を用いて、撮影装置10の外観を説明する。撮影装置10は、全天球(360°)画像の元になる撮影画像を得るためのデジタルカメラである。図1(A)は撮影装置の左側面図であり、図1(B)は撮影装置の正面図であり、図1(C)は撮影装置の平面図である。
図1(A)に示されているように、撮影装置10は、人間が片手で持つことができる大きさである。また、図1(A),図1(B),図1(C)に示されているように、撮影装置10の上部には、正面側(前側)に撮像素子103a及び背面側(後側)に撮像素子103bが設けられている。これら撮像素子(画像センサ)103a,103bは、半球画像(画角180°以上)の撮影が可能な光学部材(例えば、後述するレンズ102a,102b)と併せて用いられる。また、図1(B)に示されているように、撮影装置10の正面側と反対側の面には、シャッターボタン等の操作部115が設けられている。
次に、図2を用いて、撮影装置10の使用状況を説明する。図2は、撮影装置の使用イメージ図である。撮影装置10は、図2に示されているように、例えば、利用者(ユーザ)が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図1に示されている撮像素子103a及び撮像素子103bによって、それぞれ利用者の周りの被写体が撮像されることで、二つの半球画像を得ることができる。
次に、図3及び図4を用いて、撮影装置10で撮影された画像の処理の概略を説明する。図3(A)は撮影装置で撮影された半球画像(前側)、図3(B)は撮影装置で撮影された半球画像(後側)、図3(C)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。図4(A)は正距円筒射影画像で球を被う状態を示した概念図、図4(B)は全天球画像を示した図である。
図3(A)に示されているように、撮像素子103aによって得られた画像は、後述のレンズ102aによって湾曲した半球画像(前側)となる。また、図3(B)に示されているように、撮像素子103bによって得られた画像は、後述のレンズ102bによって湾曲した半球画像(後側)となる。そして、撮影装置10は、半球画像(前側)と180度反転された半球画像(後側)とを合成して、図3(C)に示されているような正距円筒射影画像ECが作成する。
そして、撮影装置10は、OpenGL ES(Open Graphics Library for Embedded Systems)を利用することで、図4(A)に示されているように、球面を覆うように正距円筒射影画像ECを貼り付け、図4(B)に示されているような全天球画像(全天球パノラマ画像)CEを作成する。このように、全天球画像CEは、正距円筒射影画像ECが球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)及び3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。また、全天球画像CEは、静止画であっても動画であってもよい。
以上のように、全天球画像CEは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、撮影装置10は、全天球画像CEの一部の所定領域T(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図5乃至図8を用いて説明する。
図5は、画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見る利用者の視点の位置に相当するものである。図6(A)は、図5の立体斜視図、図6(B)は、ディスプレイに所定領域の画像が表示されている状態を示す図である。図6(A)は、図5に示した全天球画像CEを、三次元の立体球CSで表している。このように生成された全天球画像CEが、立体球CSであるとした場合、図5に示されているように、仮想カメラICは、全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮影領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮影方向と画角を示す所定領域情報によって特定される。また、所定領域Tのズームは、仮想カメラICを全天球画像CEに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。したがって、所定領域Tは、画角αと、仮想カメラICから全天球画像CEまでの距離fにより特定できる(図7参照)。
そして、図6(A)に示されている所定領域画像Qは、図6(B)に示されているように、所定のディスプレイに、仮想カメラICの撮影領域の画像として表示される。図6(B)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。以下、仮想カメラICの撮影方向(ea,aa)と画角(α)を用いて説明する。なお、所定領域Tは、画角αと距離fではなく、所定領域Tである仮想カメラICの撮像領域(X,Y,Z)によって示してもよい。
次に、図7を用いて、所定領域情報と所定領域Tの画像の関係について説明する。図7は、所定領域情報と所定領域Tの画像との関係を示した図である。図7に示されているように、「ea」はelevation angle(仰角)、「aa」はazimuth angle(方位角)、「α」は画角(Angle)を示す。すなわち、仮想カメラICの姿勢は、撮影方向(ea,aa)で示される仮想カメラICの注視点が、仮想カメラICの撮影領域である所定領域Tの中心点CP(x,y)となるように変更される。図7に示されているように、仮想カメラICの画角αによって表される所定領域Tの対角画角をαとした場合の中心点CP(x,y)が、所定領域情報のパラメータ((x,y))となる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは、仮想カメラICから中心点CP(x,y)までの距離である。Lは、所定領域Tの任意の頂点と中心点CP(x,y)との距離である(2Lは対角線)。そして、図7では、一般的に以下の(式1)で示される三角関数が成り立つ。
Figure 2022057800000002
なお、上記で説明した撮影装置10は、広角画像を取得可能な撮影装置の一例であり、全天球画像は、広角画像の一例である。ここで、広角画像は、一般には広角レンズを用いて撮影された画像であり、人間の目で感じるよりも広い範囲を撮影することができるレンズで撮影されたものである。また、一般的に35mmフィルム換算で35mm以下の焦点距離のレンズで、撮影された画像を意味する。
図8は、球座標による三次元ユークリッド空間内の点を示した図である。ここで、中心点CPを球面極座標系で表現したときの位置座標を(r,θ,φ)とする。(r,θ,φ)は、それぞれ動径、極角、方位角である。動径rは、全天球画像を含む三次元の仮想空間の原点から中心点CPまでの距離であるため、fに等しい。図8は、これらの関係を表した図である。以降、仮想カメラICの位置座標(r,θ,φ)を用いて説明する。
〔画像通信システムの概略〕
続いて、図9を用いて、本実施形態の画像通信システムの構成の概略について説明する。図9は、画像通信システムの全体構成の一例を示す図である。図9に示されている画像通信システム1は、複数の配信拠点から配信される映像等の撮影画像を、複数の閲覧拠点において表示させることで、配信拠点で撮影された広範囲な画像(例えば、全天球画像)を、リアルタイムに閲覧できるシステムである。なお、本実施形態では、配信拠点を領域とも呼ぶ。
図9に示されているように、画像通信システム1は、複数の配信拠点(配信拠点A(領域A)、配信拠点B(領域B))のそれぞれに位置する撮影装置10(10A,10B、以下区別する必要のないときは、撮影装置10と称する。)及び配信端末30(30A,30B、以下区別する必要のないときは、配信端末30と称する。)、通信管理装置50、並びに複数の閲覧拠点(閲覧拠点A、閲覧拠点B)のそれぞれに位置する通信端末70(70C,70D、以下区別する必要のないときは、通信端末70と称する。)を含む。
画像通信システム1を構成する配信端末30、通信管理装置50及び通信端末70は、通信ネットワーク100を介して通信することができる。通信ネットワーク100は、インターネット、移動体通信網、LAN(Local Area Network)等によって構築されている。なお、通信ネットワーク100には、有線通信だけでなく、3G(3rd Generation)、4G(4th Generation)、5G(5th Generation)、Wi-Fi(Wireless Fidelity)(登録商標)、WiMAX(Worldwide Interoperability for Microwave Access)又はLTE(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。
これらのうち、撮影装置10は、上述のように、被写体や風景等を撮影して全天球画像の元になる二つの半球画像を得るための特殊なデジタルカメラである。撮影装置10によって得られる撮影画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮影画像は、画像とともに音声を含んでもよい。配信端末30は、USB(Universal Serial Bus)ケーブル等の有線ケーブルを介して撮影装置10から取得した画像を、通信管理装置50を介して、通信端末70に配信する。ここでは、撮影装置10A及び配信端末30Aは、同じ拠点である配信拠点Aに置かれている。一方、撮影装置10B及び配信端末30Bは、同じ拠点である配信拠点Bに置かれている。なお、配信拠点は、二拠点に限られず、一拠点のみであってもよいし、三拠点以上であってもよい。また、撮影装置10及び配信端末30の接続関係は、有線ケーブルを用いた有線接続ではなく、近距離無線通信等を用いた無線接続であってもよい。
通信管理装置50は、配信端末30及び通信端末70の通信を管理及び制御したり、送受信される画像データの種類(例えば、一般画像と特殊画像の種別)を管理したりする。ここでは、特殊画像は、全天球画像である。また、通信管理装置50は、画像通信のサービスを行なうサービス会社等に配置されている。なお、通信管理装置50は、サーバ機能を有し、通信端末70からの要求に対して、画像データの識別情報(画像データID)、撮影装置のIPアドレス、画像データの種類を表す画像種類情報、等を提供する。
なお、通信管理装置50は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されてもよい。また、通信管理装置50の機能の全て又は一部は、クラウド環境に存在するサーバコンピュータであってもよいし、オンプレミス環境に存在するサーバコンピュータであってもよい。
通信端末70は、各閲覧拠点の利用者によって使用されるPC等のコンピュータである。通信端末70は、配信端末30から配信された画像(静止画又は動画)を表示させる。通信端末70は、通信ネットワーク100を介して、撮影装置10によって撮影された撮影画像である全天球画像を取得する。また、通信端末70は、OpenGL ESをインストールしており、全天球画像の一部の領域を示す所定領域情報を作成したり、配信端末30から送られて来た全天球画像から所定領域画像を作成したりすることができる。ここでは、通信端末70Cは、利用者A1が位置する閲覧拠点Aに置かれており、通信端末70Dは、利用者Bが位置する閲覧拠点Bに置かれている。
なお、図9に示す各端末及び装置(通信端末、撮影装置及び配信端末)、並びに利用者の配置は一例であり、他の例であってもよい。また、通信端末70は、PCに限られず、例えば、タブレット端末、スマートフォン、ウェアラブル端末、PJ(Projector:プロジェクタ)、IWB(Interactive White Board:相互通信が可能な電子式の黒板機能を有する白板)又は自律走行ロボット等であってもよい。
ここで、図10を用いて、画像通信システム1における配信拠点について概略的に説明する。図10は、画像通信システムにおける配信拠点の概略を説明するための図である。図10は、配信拠点Aに配置された複数の撮影装置10Aと配信端末30Aを示し、複数の撮影装置10の間に複数の車両が配置されている状態を俯瞰したイメージ図である。なお、図10は、配信拠点Aの例を説明するが、配信拠点B等の他の配信拠点においても同様である。
図10に示されている配信拠点Aは、例えば、自動車のショールーム等の空間内に、複数の撮影装置10A(撮影装置10A-1-撮影装置10A-8)、及びそれぞれの撮影装置10Aと通信可能な配信端末30Aが配置されている。なお、配信拠点は、自動車のショールームに限られず、オフィスフロア、学校、工場、倉庫、建設現場、サーバルーム又は店舗等、閲覧拠点の利用者(閲覧者)が遠隔拠点の状況を把握したいニーズが存在する空間であればよい。撮影装置10Aは、例えば、ショールームに配置された柱、所定の高さのポール等の上に所定の間隔で配置されている。さらに撮影装置10Aは、例えば、ショールームの天井から吊り下げられた状態で所定の間隔で配置されてもよい。配信拠点Aは、複数の撮影装置10Aを用いて、配信拠点Aの全体が撮影される。また、配信端末30Aは、撮影装置10Aから撮影画像データを受信し、受信した撮影画像データを、閲覧拠点の通信端末70に配信する。なお、配信拠点Aに配置される撮影装置10A及び配信端末30Aの数は、図10に例示したものに限られない。つまり、図9の配信拠点Aに示したように、撮影装置10Aと配信端末30Aとの関係が1対1の場合もあり得る。さらに、図10に示したように、撮影装置10Aと配信端末30Aとの関係が多対1の場合もあり得る。これらの関係は、配信拠点Bにおいても同様である。
従来、遠隔地に配置された複数の撮影装置によって撮影された撮影画像を、閲覧拠点から閲覧可能なシステムにおいて、配信拠点の特定の箇所の様子を見たい場合、利用者は、どの撮影装置の撮影画像を見ればよいのかがわからなかった。また、異なる閲覧拠点の利用者が異なる箇所を閲覧したい場合、撮影装置に対する操作(例えば、PTZ(pan-tilt-zoom)操作)が競合するため、同じ配信拠点を閲覧する複数の利用者がそれぞれ異なる箇所を閲覧するような排他的な閲覧を行うことができなかった。さらに、撮影装置によって上述のような全天球画像を撮影する場合であっても、複数の全天球画像を個別に操作して目的の箇所を表示させるための処理を行わなければならず、利用者が直感的に操作することができなかった。そこで、画像通信システム1は、利用者の表示画面に対する直感的な操作によって、複数の利用者が同じ撮影装置から取得した撮影画像を用いて配信拠点の異なる箇所を注目して同時に閲覧可能にする。
〔画像通信システムのハードウエア構成〕
次に、図11及び図12を用いて、実施形態に係る画像通信システムを構成する各装置又は端末のハードウエア構成を説明する。なお、図11及び図12に示されているハードウエア構成は、必要に応じて構成要素が追加又は削除されてもよい。
<撮影装置のハードウエア構成>
まず、図11を用いて、撮影装置10のハードウエア構成を説明する。図11は、撮影装置のハードウエア構成の一例を示す図である。以下では、撮影装置10は、二つの撮像素子を使用した全天球(全方位)撮影装置とするが、撮像素子は二つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置10と同じ機能を有するようにしてもよい。
図11に示されているように、撮影装置10は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、入出力I/F116、近距離通信回路117、近距離通信回路117のアンテナ117a、電子コンパス118、ジャイロセンサ119、加速度センサ120及びネットワークI/F121によって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102b(以下区別する必要のないときは、レンズ102と称する。)、及び各レンズに対応させて設けられている二つの撮像素子103a,103bを備えている。撮像素子103a,103bは、レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平又は垂直同期信号や画素クロック等を生成するタイミング生成回路、及びこの撮像素子の動作に必要な種々のコマンドもしくはパラメータ等が設定されるレジスタ群等を有している。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスを介して接続している。一方、撮像ユニット101の撮像素子103a,103bは、それぞれ撮像制御ユニット105とシリアルI/Fバス(I2Cバス等)を介して接続している。画像処理ユニット104、撮像制御ユニット105及び音処理ユニット109は、バス110を介してCPU111と接続している。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、入出力I/F116、近距離通信回路117、電子コンパス118、ジャイロセンサ119、加速度センサ120及びネットワークI/F121等も接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図3(C)に示されているような正距円筒射影画像のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下(又はタップ等の操作、以下、単に「操作」という)されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮影装置10によっては、ディスプレイ(例えば、近距離通信回路117を用いて撮影装置10と近距離通信を行うスマートフォン等の外部端末のディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置10には表示部(ディスプレイ)が設けられていないが、表示部を設けてもよい。マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、撮影装置10の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、及び表示と操作の機能を兼ねたタッチパネル等の総称である。利用者は、操作部115を操作することで、種々の撮影モードや撮影条件等を入力する。
入出力I/F116は、SDカード等の外付けのメディア又はパーソナルコンピュータ等とのインターフェース回路(USBI/F等)の総称である。入出力I/F116は、無線、有線を問わない。DRAM114に記憶された正距円筒射影画像のデータは、入出力I/F116を介して外付けのメディアに記録されたり、必要に応じて入出力I/F116を介して外部端末(装置)に送信されたりする。
近距離通信回路117は、撮影装置10に設けられたアンテナ117aを介して、NFC(Near Field Communication)、Bluetooth(登録商標)又はWi-Fi(登録商標)等の近距離無線通信技術によって、外部端末(装置)と通信を行う。近距離通信回路117は、正距円筒射影画像のデータを、外部端末(装置)に送信することができる。
電子コンパス118は、地球の磁気から撮影装置10の方位を算出し、方位情報を出力する。この方位情報は、Exifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮影日時及び画像データのデータ容量の各データも含む。また、ジャイロセンサ119は、撮影装置10の移動に伴う角度の変化(Roll角、Pitch角、Yaw角)を検出するセンサである。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。さらに、加速度センサ120は、三軸方向の加速度を検出するセンサである。撮影装置10は、加速度センサ120が検出した加速度に基づいて、自装置(撮影装置10)の姿勢(重力方向に対する角度)を算出する。撮影装置10は、加速度センサ120を設けることによって、画像補正の精度が向上する。ネットワークI/F121は、ルータ等を介して、インターネット等の通信ネットワーク100を利用したデータ通信を行うためのインターフェースである。
<配信端末のハードウエア構成>
図12は、配信端末のハードウエア構成の一例を示す図である。配信端末30の各ハードウエア構成は、300番台の符号で示されている。配信端末30は、コンピュータによって構築されており、図12に示されているように、CPU301、ROM302、RAM303、HD(Hard Disk)304、HDDコントローラ305、ディスプレイ306、外部機器接続I/F308、ネットワークI/F309、バスライン310、キーボード311、ポインティングデバイス312、DVD-RW(Digital Versatile Disk Rewritable)ドライブ314、メディアI/F316、音入出力I/F317、マイク318、スピーカ319及び近距離通信回路320を備えている。
これらのうち、CPU301は、配信端末30全体の動作を制御する。ROM302は、IPL等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。HD304は、プログラム等の各種データを記憶する。HDDコントローラ305は、CPU301の制御にしたがってHD304に対する各種データの読み出し又は書き込みを制御する。ディスプレイ306は、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示する。ディスプレイ306は、表示部の一例である。なお、ディスプレイ306は、入力手段を備えたタッチパネルディスプレイであってもよい。外部機器接続I/F308は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USBメモリ又はプリンタ等である。ネットワークI/F309は、通信ネットワーク100を利用してデータ通信をするためのインターフェースである。バスライン310は、図12に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバス又はデータバス等である。
また、キーボード311は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス312は、各種指示の選択もしくは実行、処理対象の選択、又はカーソルの移動等を行う入力手段の一種である。なお、入力手段は、キーボード311及びポインティングデバイス312のみならず、タッチパネル又は音声入力装置等であってもよい。DVD-RWドライブ314は、着脱可能な記録媒体の一例としてのDVD-RW313に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RWに限らず、DVD-R又はBlu-ray(登録商標) Disc(ブルーレイディスク)等であってもよい。メディアI/F316は、フラッシュメモリ等の記録メディア315に対するデータの読み出し又は書き込み(記憶)を制御する。マイク318は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F317は、CPU301の制御に従ってマイク318及びスピーカ319との間で音信号の入出力を処理する回路である。近距離通信回路320は、NFC、Bluetooth又はWi-Fi等の近距離無線通信技術によって、外部端末(装置)と通信を行うための通信回路である。
<通信管理装置のハードウエア構成>
図12は、通信管理装置のハードウエア構成の一例を示す図である。通信管理装置50の各ハードウエア構成は、括弧内の500番台の符号で示されている。通信管理装置50は、コンピュータによって構築されており、図12に示されているように、配信端末30と同様の構成を備えているため、各ハードウエア構成の説明を省略する。
<通信端末のハードウエア構成>
図12は、通信端末のハードウエア構成の一例を示す図である。通信端末70の各ハードウエア構成は、括弧内の700番台の符号で示されている。通信端末70は、コンピュータによって構築されており、図12に示されているように、配信端末30と同様の構成を備えているため、各ハードウエア構成の説明を省略する。
なお、上記各プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、Blu-ray Disc、SDカード、USBメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。例えば、通信管理装置50は、本発明に係るプログラムが実行されることで本発明に係る通信管理方法を実現する。
〔画像通信システムの機能構成〕
続いて、図13乃至図20を用いて、実施形態に係る画像通信システムの機能構成について説明する。図13及び図14は、画像通信システムの機能構成の一例を示す図である。なお、図13及び図14は、図9に示されている装置又は端末のうち、後述の処理又は動作に関連しているものを示す。
<撮影装置の機能構成>
まず、図13を用いて、撮影装置10の機能構成について説明する。撮影装置10は、通信部11、受付部12、撮像部13、集音部14及び記憶・読出部19を有している。これら各部は、図11に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮影装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。また、撮影装置10は、図11に示されているROM112、SRAM113及びDRAM114によって構築される記憶部1000を有している。記憶部1000は、自装置のGUID(Globally Unique Identifier)を記憶している。
通信部11は、主に、CPU111の処理によって実現され、他の装置又は端末と各種データ又は情報の通信を行う。通信部11は、例えば、近距離通信回路117を用いて、他の装置又は端末との間で、近距離無線通信技術によるデータ通信を行う。また、通信部11は、例えば、入出力I/F116を用いて、他の装置又は端末との間で、各種ケーブル等を介したデータ通信を行う。さらに、通信部11は、ネットワークI/F121を用いて、他の装置又は端末との間で、通信ネットワーク100を介したデータ通信を行う。
受付部12は、主に、操作部115に対するCPU111の処理によって実現され、利用者から各種の選択又は入力を受け付ける。撮像部13は、主に、撮像ユニット101、画像処理ユニット104及び撮像制御ユニット105に対するCPU111の処理によって実現され、風景等の被写体を撮像し、撮影画像データを取得する。集音部14は、主に、マイク108及び音処理ユニット109に対するCPU111の処理によって実現され、撮影装置10の周囲の音を集音する。
記憶・読出部19は、主に、CPU111の処理によって実現され、記憶部1000に、各種データ(又は情報)を記憶したり、記憶部1000から各種データ(又は情報)を読み出したりする。
<配信端末の機能構成>
次に、図13を用いて、配信端末30の機能構成について説明する。配信端末30は、送受信部31、受付部32、画像・音処理部33、表示制御部34、判断部35、作成部36、通信部37及び記憶・読出部39を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD304からRAM303上に展開された配信端末用プログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。また、配信端末30は、図12に示されているROM302、RAM303及びHD304によって構築される記憶部3000を有している。
送受信部31は、主に、ネットワークI/F309に対するCPU301の処理によって実現され、通信ネットワーク100を介して、他の装置又は端末との間で各種データ又は情報の送受信を行う。
受付部32は、主に、キーボード311又はポインティングデバイス312に対するCPU301の処理によって実現され、利用者から各種の選択又は入力を受け付ける。
画像・音処理部33は、主に、CPU301の処理によって実現され、撮影装置10が被写体を撮像して取得した撮影画像データに対して画像処理を行う。また、画像・音処理部33は、マイク318によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行う。画像・音処理部33は、例えば、表示制御部34がディスプレイ306に画像を表示させるため、ソース名等の画像種類情報に基づき、撮影装置10から受信された撮影画像データに対して画像処理を行う。具体的には、画像種類情報が特殊画像である旨を示す場合、画像・音処理部33は、撮影画像データ(例えば、図3(A),(B)に示されているような各半球画像のデータ)に基づいて、図4(B)に示されているような全天球画像データに変換することで全天球画像データを作成する。さらに、画像・音処理部33は、他の端末から通信管理装置50を介して配信された音データに係る音声信号をスピーカ319に出力し、スピーカ319から音声を出力させる。
表示制御部34は、主に、CPU301の処理によって実現され、ディスプレイ306に、各種画像又は文字等を表示させる。判断部35は、CPU301の処理によって実現され、各種判断を行う。判断部35は、例えば、撮影装置10から受信された撮影画像データに係る画像種類を判断する。
作成部36は、主に、CPU301の処理によって実現され、判断部35によって、一般画像又は特殊画像(ここでは、全天球画像)と判断された結果に基づき、命名規則に従って、画像種類情報の一例であるソース名を作成する。例えば、判断部35が、一般画像であると判断した場合、作成部36は、一般画像である旨を示すソース名「Video」を作成する。一方、判断部35が、特殊画像であると判断した場合、作成部36は、特殊画像である旨を示すソース名「Video_Omni」を作成する。
通信部37は、主に、近距離通信回路320に対するCPU301の処理によって実現され、撮影装置10の通信部11と、NFC、Bluetooth又はWiFi等の近距離無線通信技術による通信を行う。なお、通信部37と送受信部31とは通信ユニットを別個に有する構成で説明したが、共用構成であってもよい。
記憶・読出部39は、主に、CPU301の処理によって実現され、記憶部3000に、各種データ(又は情報)を記憶したり、記憶部3000から各種データ(又は情報)を読み出したりする。
(撮影装置管理テーブル)
図15(A)は、撮影装置管理テーブルの一例を示す概念図である。記憶部3000には、図15(A)に示されている撮影装置管理テーブルによって構成された撮影装置管理DB3001が構築されている。この撮影装置管理テーブルでは、全天球画像の元になる二つの半球画像を得ることができる撮影装置のGUIDのうちのベンダIDとプロダクトIDが記憶、管理されている。GUIDとしては、例えば、USBデバイスで利用されるベンダID(VID)とプロダクトID(PID)が利用できる。このベンダIDとプロダクトIDは、例えば、配信端末30の工場出荷時から記憶されていてもよいし、工場出荷後に追加で記憶してもよい。
(画像種類管理テーブル)
図15(B)は、画像種類管理テーブルの一例を示す概念図である。記憶部3000には、図15(B)に示されている画像種類管理テーブルによって構成された画像種類管理DB3002が構築されている。この画像種類管理テーブルでは、画像データIDごとに、撮影装置の宛先の一例である撮影装置のIP(Internet Protocol)アドレス及びソース名(画像種類情報)が関連づけて管理されている。このうち、画像データIDは、画像配信を行う際の画像データを識別するための画像データ識別情報の一例である。撮影装置のIPアドレスは、関連づけられている画像データIDで示される画像データを撮影した撮影装置10のIPアドレスを示す。ソース名は、関連づけられている画像データIDで示される画像データを撮影した撮影装置10を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、配信端末30によって作成された名称である。
例えば、撮影装置のIPアドレスがそれぞれ「2.1.2.3」、「2.1.1.5」、「2.1.5.4」、「2.1.5.6」の四つの撮影装置は、それぞれ、画像データID「RS001」、「RS002」、「RS003」、「RS004」によって示される画像データを送信していることが表されている。さらに、各撮影装置のソース名によって示される画像の種類は、「Video_Omni」、「Video_Omni」、「Video」、「Video」であり、これらは順に撮影画像の画像種類が「特殊画像」、「特殊画像」、「一般画像」、「一般画像」である旨を示している。本実施形態において、特殊画像は、全天球画像である。なお、IPアドレスは、宛先情報の一例であって、宛先情報は、MAC(Media Access Control)アドレス又は端末ID(Identification)等であってもよい。また、IPアドレスは、IPv4アドレスを簡略化して表すが、IPアドレスは、IPv6であってもよい。さらに、画像データ以外のデータについても、画像データIDと関連づけて管理してもよい。画像データ以外のデータは、例えば、音データ、配信拠点と閲覧拠点との画面共有時の資料データ等である。
<通信管理装置の機能構成>
次に、図14を用いて、通信管理装置50の機能構成について説明する。通信管理装置50は、送受信部51、選択部53、判断部55、生成部56、配信拠点管理部57及び記憶・読出部59を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理装置用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。また、通信管理装置50は、図12に示されているROM502、RAM503及びHD504によって構築される記憶部5000を有している。
送受信部51は、主に、ネットワークI/F509に対するCPU501の処理によって実現され、通信ネットワーク100を介して、他の装置との間で各種データ又は情報の送受信を行う。
選択部53は、主に、CPU501の処理によって実現され、複数の撮影装置10のうちの特定の撮影装置10を選択する。選択部53は、例えば、通信端末70によって受け付けられた複数の注目点Pn(nは2以上の自然数。以下、単に「複数の注目点Pn」と記載する)を示す各座標値、及び複数の撮影装置10の配置位置を示す配置位置情報(座標値)に基づいて、複数の撮影装置10のうちの特定の撮影装置10を選択する。本実施形態において注目点Pnは、複数の撮影装置が配置された領域における各指定位置を示す。つまり、注目点は指定位置を示す。また、本実施形態において選択部53は、選択手段の一例として機能又は機能する手段を有する。なお、本実施形態では、座標値を座標情報とも呼ぶ。
判断部55は、主に、CPU501の処理によって実現され、各種判断を行なう。選択部53は、主に、CPU501の処理によって実現され、通信端末70からの要求に応じて、撮影装置10の選択を行う。また、本実施形態において判断部55は、判断手段の一例として機能又は機能する手段を有する。
生成部56は、主に、CPU501の処理によって実現され、画像データID及び所定領域情報を生成する。生成部56は、例えば、選択部53によって選択された撮影装置10が撮影した撮影画像における所定領域(例えば、図5等に示されている所定領域T)を示す所定領域情報を生成する。なお、撮影画像の全体が表示された場合の画像(例えば、図5等に示されている全天球画像CE)は、「全体画像」ともいう。また、本実施形態において生成部56は、生成手段の一例として機能又は機能する手段を有する。具体的には、生成部56は、複数の注目点Pnのうちの各注目点に最も近い撮影装置10の識別情報、各注目点のそれぞれの座標を示す各指定位置座標情報(座標値)、及び各指定位置を正面に見るための各々の所定領域を示す各所定領域情報を生成する。なお、生成部56は、複数の撮影装置10が配置された領域を複数の注目点Pnのそれぞれを所定の数で分割した複数の分割領域から、各注目点Pに最も近い各撮影装置10の識別情報を生成する。さらに、生成部56は、利用者によって指定された複数の注目点Pnにおける所定の注目点の方向を正面(中央)に見るための所定領域情報を、注目点Pの座標値に関連付けて算出する。
配信拠点管理部57は、主に、CPU501の処理によって実現され、配信拠点の状態を示す配信拠点情報を管理する。
記憶・読出部59は、主に、CPU501の処理によって実現され、記憶部5000に、各種データ(又は情報)を記憶したり、記憶部5000から各種データ(又は情報)を読み出したりする。
(セッション管理テーブル)
図16(A)は、セッション管理テーブルの一例を示す概念図である。記憶部5000には、図16(A)に示されているセッション管理テーブルによって構成されたセッション管理DB5001が構築されている。このセッション管理テーブルでは、セッションIDごとに、拠点ID及び参加した通信端末のIPアドレスが関連づけて管理されている。このうち、セッションIDは、画像通信を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想のフロアごとに生成される。セッションIDは、各通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。拠点IDは、配信拠点を識別するための拠点識別情報の一例である。参加した通信端末のIPアドレスは、関連づけられているセッションIDで示される仮想のフロアに参加した通信端末のIPアドレスを示している。
(画像種類管理テーブル)
図16(B)は、画像種類管理テーブルの一例を示す概念図である。記憶部5000には、図16(B)に示されている画像種類管理テーブルによって構成された画像種類管理DB5002が構築されている。この画像種類管理テーブルでは、図15(B)に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションIDと同じセッションIDが関連づけて管理されている。なお、通信管理装置5において、配信端末30及び通信端末70で管理される、画像データID、撮影装置のIPアドレス及び画像種類情報と同じものを管理するのは、新たな通信端末が仮想のフロアに入る場合等に、既に画像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行なう必要がない。
(所定領域管理テーブル)
図17は、所定領域管理テーブルの一例を示す概念図である。記憶部5000には、図17に示されている所定領域管理テーブルによって構成された所定領域管理DB5003が構築されている。この所定領域管理テーブルでは、撮影装置(画像送信元)のIPアドレスごとに、注目点の位置を示す注目点座標値(x,y,z)、撮影画像データの送信先の通信端末のIPアドレス、及び撮影画像データの送信先の通信端末で表示中の所定領域画像のパラメータを示す所定領域情報が関連づけて管理されている。所定領域情報は、図6及び図7に示されているように、撮影画像から、この撮影画像における所定領域Tの画像(所定領域画像)に変換するための変換パラメータである。
例えば、図17の所定領域管理テーブルの1行目は、撮影装置10のIPアドレスが「2.1.2.3」の場合、撮影装置10が撮影した撮影画像データを配信端末30が受信した後、配信端末30から送信された撮影画像データが、通信管理装置50を介して、IPアドレスが「1.2.1.3」の通信端末70に送信された旨を管理している。
また、送受信部51によって、既に管理されている撮影画像データの送信元の撮影装置のIPアドレス及び撮影画像データの送信先の通信端末のIPアドレスと同じ組のIPアドレスを含む所定領域情報が新たに受信された場合には、記憶・読出部59は、既に管理している所定領域情報を新たに受信された所定領域情報に書き換える。
(配置情報管理テーブル)
図18は、配置情報管理テーブルの一例を示す概念図である。記憶部5000には、図18に示されている配置情報管理テーブルによって構成された配置情報管理DB5004が構築されている。この配置情報管理テーブルでは、配信拠点を識別するための拠点IDごとに、配信拠点に配置された撮影装置10のIPアドレス、撮影装置10が配置された位置を示す座標値、及び撮影装置10の配置方向が関連付けて管理されている。これらのうち、座標値は、撮影装置10が配置された配信拠点のマップ上の座標値を示す。また、撮影装置10の配置方向は、撮影装置10の正面が向いているマップ上の方向(角度)を示す。なお、この配置情報は、配信拠点又は配信端末30の管理者によって任意の方向(角度)に設定される。
(配信拠点管理テーブル)
図19は、配信拠点管理テーブルの一例を示す概念図である。記憶部5000には、図19に示されている配信拠点管理テーブルによって構成された配信拠点管理DB5005が構築されている。この配信拠点管理テーブルでは、配信拠点を識別するための拠点IDごとに、拠点名及び配信拠点の状態を示す配信拠点情報が関連づけて管理されている。このうち、配信拠点情報は、配信拠点のマップを示すマップ画像データ及び配信拠点の座標値を示す拠点座標情報(座標値)にアクセスするためのURL(Uniform Resource Locator)を含む。通信端末70は、通信管理装置50から送信されたURLへアクセスすることで、配信拠点のマップ画像データ及び拠点座標情報を取得することができる。なお、URLは、記憶先情報の一例である。記憶先情報は、URLに限られず、URI(Uniform Resource Identifier)等であってもよい。
<通信端末の機能構成>
次に、図14を用いて、通信端末70の機能構成について説明する。通信端末70は、送受信部(取得部)71、受付部72、画像・音処理部73、表示制御部74、判断部75、作成部76、注目点特定部77、選択部81、生成部82及び記憶・読出部79を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD704からRAM703上に展開された通信端末用プログラムに従ったCPU701からの命令によって動作することで実現される機能又は手段である。また、通信端末70は、図12に示されているROM702、RAM703及びHD704によって構築される記憶部7000を有している。
送受信部(取得部)71は、主に、ネットワークI/F709に対するCPU701の処理によって実現され、通信ネットワーク100を介して、他の装置又は端末との間で各種データ又は情報の送受信を行う。送受信部(取得部)71は、例えば、配信端末30から配信された撮影画像データを、通信管理装置50を介して受信する。また、送受信部(取得部)71は、例えば、取得部としての機能を担い、複数の注目点Pnの各座標情報(注目点Pnの各指定位置情報)のうち任意の二つの注目点の各画像を共用可能な共用撮影装置の識別情報、及び二つの注目点をそれぞれ正面に見るための各々の所定領域を示す共用撮影装置の各所定領域情報を取得する。
受付部72は、主に、キーボード711又はポインティングデバイス712に対するCPU701の処理によって実現され、利用者から各種の選択又は入力を受け付ける。受付部72は、例えば、利用者によって指定された配信拠点における複数の注目点Pnの入力を受け付ける。本実施形態において受付部72は、受付手段の一例として機能又は機能する手段を有する。
画像・音処理部73は、主に、CPU701の処理によって実現され、配信端末30から配信された撮影画像データに対して画像処理を行う。また、画像・音処理部73は、配信端末30から配信された音データに対して音声処理を行う。画像・音処理部73は、例えば、送受信部(取得部)71によって受信された所定領域情報に対応する所定領域の画像をディスプレイ706に表示させるため、撮影画像(全天球画像)に対する所定領域情報を用いた透視射影変換を行うことで、所定領域情報に対応する所定領域画像を生成する。さらに、画像・音処理部73は、配信端末30から通信管理装置50を介して配信された音データに係る音声信号をスピーカ719に出力し、スピーカ719から音声を出力させる。
表示制御部74は、主に、CPU701の処理によって実現され、ディスプレイ706に、各種画像又は文字等を表示させる。表示制御部74は、例えば、画像・音処理部73によって生成された所定領域画像を、ディスプレイ706に表示させる。
判断部75は、CPU701の処理によって実現され、各種判断を行う。本実施形態において表示制御部74は、表示制御手段の一例として機能又は機能する手段を有する。
作成部76は、主に、CPU701の処理によって実現され、作成部36と同様の機能を実現する。注目点特定部77は、主に、CPU701の処理によって実現され、撮影装置10が配置されている配信拠点における注目点Pを特定する。注目点特定部77は、例えば、利用者によって指定された配信拠点のマップ画像上での複数の注目点Pnの各座標情報を特定する。
選択部81は、主に、CPU701の処理によって実現され、選択部53と同様の機能を実現する。生成部82は、主に、CPU701の処理によって実現され、所定領域情報を生成する。生成部82は、例えば、選択部81によって選択された撮影装置10が撮影した撮影画像における所定領域を示す所定領域情報を生成する。また、生成部82は、例えば、取得部としての機能を担い、受付部72で受け付けられた複数の注目点Pnの座標情報と撮影装置10の配置位置とに基づいて選択された特定の撮影装置10の撮影画像における注目点Pを含む所定領域を示す所定領域情報を取得する。
記憶・読出部79は、主に、CPU701の処理によって実現され、記憶部7000に、各種データ(又は情報)を記憶したり、記憶部7000から各種データ(又は情報)を読み出したりする。
画像種類管理テーブル
図20(A)は、画像種類管理テーブルの一例を示す概念図である。記憶部7000には、図20(A)に示されている画像種類管理テーブルによって構成された画像種類管理DB7001が構築されている。この画像種類管理テーブルは、図15(B)に示されている画像種類管理テーブルと同じデータ構成であるため、説明を省略する。
所定領域管理テーブル
図20(B)は、所定領域管理テーブルの一例を示す概念図である。記憶部7000には、図20(B)に示されている所定領域管理テーブルによって構成された所定領域管理DB7002が構築されている。この所定領域管理テーブルでは、撮影画像データを撮影した撮影装置のIPアドレスごとに、注目点の位置を示す注目点座標値(x,y,z)及び表示中の所定領域画像を示す所定領域情報が関連づけて管理されている。所定領域情報は、図6及び図7に示されているように、撮影画像から、この撮影画像における所定領域Tの画像(所定領域画像)に変換するための変換パラメータである。
続いて、図21乃至図27を用いて、複数の撮影装置10が配信拠点Aに配置された場合における注目点Pと撮影装置の関係について説明する。
<注目点Pが二つ設定された場合>
図21は、注目点Pが二つ設定された場合の注目点Pと撮影装置の関係の一例を概略的に説明するための図である。例えば、図10に示したような画像通信システム1におけるショールーム等の配信拠点A(領域A)において、複数の撮影装置10Aは、図21のように格子状に規則的に並べて配置されている。この配置状態は、例えば、生成部56によって、それぞれの撮影装置10が有する座標値をもとに二次元の配置画像(マップ画像)として生成される。このとき、通信端末70を利用する利用者は、通信端末70のディスプレイ706上の拠点表示画面820に表示された二次元の配置画像に対応するツアー画像830を参照して「注目点」ボタン860を操作することができる。図21では、配信拠点において注目点P1及びP2が設定されている状態を示している。なお、注目点P1、P2は、複数の指定位置の一例である。
<注目点P1の周辺における撮影装置の選択処理>
図22は、注目点P1の周辺の各撮影装置の設置方向及び方位角の一例を概略的に説明するための図である。図22の例に示されているように、通信管理装置50の選択部53は、通信管理装置50内に生成された二次元の配置画像(マップ画像)上に黒丸(●)で与えられた注目点P1を中心(境)に、配信拠点の領域を点線で示されたように4分割する。4分割された領域は、二次元の配置画像の左上から時計回りに領域1-1、1-2、1-3及び1-4である。このとき、選択部53は、各領域から注目点P1に最も近い位置に配置された撮影装置10A-1-1、10A-1-2、10A-1-3及び10A-1-4をそれぞれ選択する。このとき、選択部53は、周知の技術、例えば、2点間の距離を求める公式を用いて、各領域から注目点P1に最も近い位置に配置された撮影装置10A-1-1、10A-1-2、10A-1-3及び10A-1-4をそれぞれ選択することができる。
<注目点P2の周辺における撮影装置の選択処理>
図23は、注目点P2の周辺の各撮影装置の設置方向及び方位角の一例を概略的に説明するための図である。図23の場合も同様に、図22の例で示したような方法で注目点P2に最も近い位置に配置された撮影装置10A-2-1、10A-2-2、10A-2-3及び10A-2-4をそれぞれ選択することができる。図23の例に示されているように、通信管理装置50の選択部53は、通信管理装置50内に生成された二次元の配置画像(マップ画像)上に黒丸(●)で与えられた注目点P2を中心(境)に、配信拠点の領域を一点鎖線で示されたように4分割する。4分割された領域は、二次元の配置画像の左上から時計回りに領域2-1、2-2、2-3及び2-4である。このとき、選択部53は、注目点P1の場合と同様に、各領域から注目点P2に最も近い位置に配置された撮影装置10A-2-1、10A-2-2、10A-2-3及び10A-2-4をそれぞれ選択する。
<注目点Pが三つ設定された場合>
図24は、注目点Pが三つ設定された場合の注目点Pと撮影装置の関係の一例を概略的に説明するための図である。図24の場合も図22及び図23の例で示したような方法で注目点P3に最も近い位置に配置された撮影装置10A-3-1、10A-3-2、10A-3-3及び10A-3-4をそれぞれ選択することができる。図24の例に示されているように、通信管理装置50の選択部53は、通信管理装置50内に生成された二次元の配置画像(マップ画像)上に黒丸(●)で与えられた注目点P3を中心(境)に、配信拠点の領域を注目点P1の場合よりも細かい点線で示されたように4分割する。4分割された領域は、二次元の配置画像の左上から時計回りに領域3-1、3-2、3-3及び3-4である。このとき、選択部53は、注目点P1及びP2の場合と同様に、各領域から注目点P3に最も近い位置に配置された撮影装置10A-3-1、10A-3-2、10A-3-3及び10A-3-4をそれぞれ選択する。
一方、図25は、不規則な位置に配置された撮影装置と各注目点との関係の一例を概略的に説明するための図である。図25に示されているように、配信拠点Aにおいて配置される撮影装置10は互いに不規則な位置に配置されていてもよく、選択部53は、図21-図24で説明したように各注目点に最も近い位置に配置された撮影装置を選択することができる。
〔実施形態の処理又は動作〕
<セッション参加処理>
続いて、図26乃至図42を用いて、実施形態に係る画像通信システムの処理又は動作について説明する。なお、以下の説明において、配信拠点Aの撮影画像が通信端末70に配信される例を説明するが、配信拠点B等の他の配信拠点からの画像配信においても同様の処理が行われる。まず、図26及び図27を用いて、特定の通信セッションへの参加処理について説明する。図26は、画像通信システムにおける特定の通信セッションへの参加処理の一例を示すシーケンス図である。図27は、通信セッションの選択画面の一例を示す図である。
まず、閲覧拠点Aの利用者(例えば、利用者A1)が通信セッションの選択画面の表示を行う操作を行い、受付部72が選択画面を表示する操作を受け付けることで、通信端末70Cの表示制御部74は、ディスプレイ706に、図27に示されている選択画面800を表示させる(ステップS11)。図27に示されている選択画面800は、選択対象である各フロアA1,B1,B2等を示す選択ボタン810a,810b,810c等を表示している。また、各選択ボタン810a等は、各セッションIDを関連づけている。
ここで、利用者A1が配信拠点である仮想のフロアの所望の選択ボタン(ここでは選択ボタン810a)を選択した場合、受付部72は、通信セッションの選択を受け付ける(ステップS12)。そして、送受信部(取得部)71は、通信管理装置50に対して、配信拠点との通信セッションへの参加要求を送信する(ステップS13)。これにより、通信管理装置50の送受信部51は、参加要求を受信する。この参加要求は、ステップS12で選択を受け付けられた通信セッションを示すセッションID、及び要求元端末である通信端末70CのIPアドレスを含む。
次に、通信管理装置50の記憶・読出部59は、セッション管理テーブル(セッション管理DB5001、図16(A)参照)において、ステップS13で受信されたセッションIDと同じセッションIDのレコードにおける参加端末IPアドレスのフィールドに、ステップS13で受信されたIPアドレスを追加することで、通信セッションへの参加処理を行なう(ステップS14)。また、記憶・読出部59は、セッション管理DB5001において、参加処理が行われた通信セッションのセッションIDに関連づけられた拠点IDを読み出す。次に、記憶・読出部59は、ステップS14で読み出された拠点IDを検索キーとして配信拠点管理テーブル(配信拠点管理DB5005、図19参照)を検索することにより、読み出された拠点IDと同じ拠点IDに関連づけられた配信拠点情報を読み出す(ステップS15)。そして、送受信部51は、通信端末70Cに対して、参加要求応答を送信する(ステップS16)。これにより、通信端末70Cの送受信部(取得部)71は、参加要求応答を受信する。この参加要求応答は、ステップS13によって受信されたセッションID、ステップS15で読み出された配信拠点情報及び参加処理結果を含む。また、この参加処理結果は、ステップS14で読み出された拠点IDを含む。以降、参加処理が成功した場合について説明する。なお、図26に示されている処理と同様の処理により、閲覧拠点Bの通信端末70Dは、通信セッションの参加処理を行う。
<画像種類情報の管理処理>
次に、図28を用いて、画像種類情報の管理処理を説明する。図28は、画像通信システムにおける画像種類情報の管理処理を示すシーケンス図である。
まず、配信拠点Aの利用者が、配信端末30Aに、撮影装置10Aを接続すると、撮影装置10Aの記憶・読出部19は、記憶部1000に記憶されている自装置(撮影装置10A)のGUIDを読み出す。そして、撮影装置10Aの通信部11は、配信端末30Aに対して自装置のGUIDを送信する(ステップS31)。これにより、配信端末30Aの通信部37は、撮影装置10AのGUIDを受信する。
次に、配信端末30Aの判断部35は、撮影装置管理テーブル(撮影装置管理DB3001、図15(A)参照)において、ステップS31で受信されたGUID中のベンダID及びプロダクトIDと、同じベンダID及びプロダクトIDが管理されているか否かを判断することで、画像種類を判断する(ステップS32)。具体的には、撮影装置管理DB3001において、同じベンダID及びプロダクトIDが管理されている場合、判断部35は、撮影装置10Aが特殊画像(ここでは、全天球画像)を撮影する撮影装置であると判断する。これに対して、撮影装置管理テーブル(撮影装置管理DB3001、図15(A)参照)において、同じベンダID及びプロダクトIDが管理されていない場合には、判断部35は、撮影装置10Aが一般画像を撮影する撮影装置であると判断する。
次に、記憶・読出部39は、画像種類管理テーブル(画像種類管理DB3002、図15(B)参照)に対して、撮影装置10AのIPアドレスと、ステップS32で判断された判断結果である画像種類情報とを関連づけて記憶する(ステップS33)。この状態では、画像データIDは関連づけられていない。画像種類情報は、例えば、所定の命名規則に従って定められたソース名又は画像種類(一般画像、特殊画像)である。
次に、送受信部31は、通信管理装置50に対して、画像種類情報の追加要求を送信する(ステップS34)。この画像種類情報の追加要求は、ステップS33で記憶した撮影装置10AのIPアドレス、配信拠点Aの拠点ID及び画像種類情報を含む。これにより、通信管理装置50の送受信部51は、画像種類情報の追加要求を受信する。
次に、通信管理装置50の記憶・読出部59は、ステップS34によって受信された拠点IDを検索キーとして、セッション管理テーブル(セッション管理DB5001、図16(A)参照)を検索することにより、対応するセッションIDを読み出す(ステップS35)。
次に、生成部56は、固有の画像データIDを生成する(ステップS36)。そして、記憶・読出部59は、画像種類管理テーブル(画像種類管理DB5002、図16(B)参照)に、新たなレコードとして、ステップS35で読み出されたセッションID、ステップS36で生成された画像データID、並びにステップS34で受信された撮影装置10AのIPアドレス及び画像種類情報を関連づけて記憶する(ステップS37)。そして、送受信部51は、配信端末30Aに対して、ステップS36で生成された画像データIDを送信する(ステップS38)。これにより、配信端末30Aの送受信部31は、画像データIDを受信する。
次に、配信端末30Aの記憶・読出部39は、画像種類管理テーブル(画像種類管理DB3002、図15(B)参照)に、ステップS33で記憶しておいた撮影装置10AのIPアドレス及び画像種類情報に関連づけて、ステップS38で受信された画像データIDを記憶する(ステップS39)。
一方、通信管理装置50の送受信部51は、通信端末70Cに対して、画像種類情報の追加通知を送信する(ステップS40)。これにより、通信端末70Cの送受信部(取得部)71は、画像種類情報の追加通知を受信する。この画像種類情報の追加通知は、ステップS36で生成された画像データID、並びにステップS37で記憶された撮影装置10AのIPアドレス及び画像種類情報を含む。
次に、通信端末70Cの記憶・読出部79は、画像種類管理テーブル(画像種類管理DB7001、図20(A)参照)に、新たなレコードとして、ステップS40で受信された、画像データID、撮影装置10AのIPアドレス及び画像種類情報を関連づけて記憶する(ステップS41)。以上より、配信端末30Aと通信端末70Cでは、画像種類管理DB3002及び画像種類管理DB7001で同じ情報を共有することができる。なお、同様に、他の通信端末である通信端末70Dにも画像種類情報の追加通信が送信され、通信端末70Dでも、画像種類管理DB7001に記憶される。
<撮影画像データの通信処理>
次に、図29を用いて、配信拠点Aで得られた撮影画像データ及び音データが、通信管理装置50を介して、各通信端末(通信端末70C,70D)へ送信される処理について説明する。図29は、画像通信システムにおける撮影画像データ及び音データの通信処理の一例を示すシーケンス図である。なお、図29は、一台の撮影装置10によって取得された撮影画像データが各通信端末70に配信される例を示すが、配信拠点に配置された他の撮影装置10によって取得された複数の撮影画像データが配信される場合においても同様の処理が行われる。
まず、撮影装置10Aの通信部11は、配信端末30Aに対して、被写体や風景等を撮影して取得された撮影画像データ及び集音して取得された音データを送信する(ステップS51)。これにより、配信端末30Aの通信部37は、撮影画像データ及び音データを受信する。この場合、撮影装置10Aは、全天球画像の元になる二つの半球画像を得ることができる装置であるため、図3(A),(B)に示されているように、撮影画像データは、二つの半球画像のデータによって構成されている。
次に、配信端末30Aの送受信部31は、通信管理装置50に対して、撮影装置10Aから送られてきた撮影画像データ及び音データを送信する(ステップS52)。これにより、通信管理装置50の送受信部51は、撮影画像データ及び音データ、並びに画像データIDを受信する。この送受信では、送受信対象である撮影画像データを識別するための画像データIDが含まれる。
次に、通信管理装置50の送受信部51は、配信端末30Aと同じセッションに参加している通信端末(通信端末70C,70D)に対して、撮影画像データ及び音データを送信する(ステップS53,S54)。これにより、通信端末70C及び通信端末70Dの送受信部(取得部)71は、それぞれ撮影画像データ及び音データを受信する。これらの各送受信では、送受信対象である撮影画像データを識別するための画像データIDが含まれる。
<注目点Pの表示処理>
次に、図30乃至図42を用いて、閲覧拠点の利用者によって指定された配信拠点の複数の注目点Pnの画像を表示させる処理について説明する。図30は、画像通信システムにおける注目点Pの表示処理の一例を示すシーケンス図である。図30は、閲覧拠点Aの通信端末70Cが配信端末30Aから配信された撮影画像を表示する場合の例を説明する。なお、他の閲覧拠点である閲覧拠点Bの通信端末70Dに撮影画像を表示させる場合も同様の処理が行われる。
まず、通信端末70Cの表示制御部74は、ステップS16で受信された配信拠点情報を用いて、配信拠点Aの状況を示す拠点表示画面820を、ディスプレイ706に表示させる(ステップS71)。図33は、通信端末に表示される注目点指定画面の一例を示す図である。図33に示されている拠点表示画面820には、配信拠点の状況を示すツアー画像830が表示されている。
図33に示されている拠点表示画面820は、配信拠点が撮影された全天球画像を閲覧することで配信拠点を遠隔閲覧させるツアー画像830、ツアー画像830の所定の撮影地点へ視点変更するための視点変更アイコン850、注目点Pを示す十字(又は星印等)855、配信拠点内の注目点Pを表示させる場合に操作される「注目点」ボタン860、注目点P1,P2,・・・の選択を確定させる場合に操作される「OK」ボタン870、及び配信拠点の閲覧を終了する場合に操作される「キャンセル」ボタン880を含む。
このうち、ツアー画像830は、ステップS16で受信された配信拠点情報に含まれるマップ画像データを用いて表示される。ツアー画像830は、予め配信拠点を撮影装置10によって撮影された画像であり、利用者A1が視点変更アイコン850を操作することで、配信拠点全体の配置等を把握することができる。具体的には、利用者A1は、例えば、ツアー画像830を見ながら、ポインタp1を用いて視点変更アイコン850を操作することで、配信拠点内の閲覧したい箇所を閲覧することができる。なお、ツアー画像830は、ステップS16で受信された配信拠点情報に含まれるマップ画像データを用いて表示されるものとして説明するが、ツアー画像830は、リアルタイムに受信された配信拠点の撮影画像データを表示させる構成であってもよい。
次に、利用者A1が「注目点」ボタン860を操作し、ポインタp1を用いて視点変更アイコン850を操作することで、表示制御部74は、注目点P1の指定(入力)を受け付ける。また、利用者A1は、引き続きポインタp1を用いて注目点P1と異なる場所に対して視点変更アイコン850を操作することで、受付部72は、注目点P2の指定(入力)を受け付ける。このようにして、利用者A1が複数の注目点P1,P2等の入力を行い、「OK」ボタン870を操作することで、受付部72は、利用者A1による複数の注目点Pnの選択を受け付ける(ステップS72)。なお、受付部72は、入力手段の一例であるマウスを用いた利用者A1のクリック又はダブルクリックの操作によって、複数の注目点Pnの指定を受け付けてもよい。
次に、注目点特定部77は、ステップS72で指定が受け付けられた注目点Pの座標である注目点座標を特定する(ステップS73)。ここで、注目点特定部77によって特定される注目点座標は、ステップS72で複数の注目点Pnの指定が受け付けられた際に表示されているツアー画像830の中心点の座標である。なお、注目点座標は、ツアー画像830中のポインタp1の位置を示す座標であってもよい。
送受信部(取得部)71は、通信管理装置50に対して、撮影装置10の選択を要求する旨を示す撮影装置選択要求を送信する(ステップS74)。これにより、通信管理装置50の送受信部51は、通信端末70から送信された撮影装置選択要求を受信する。この撮影装置選択要求には、ステップS74で特定された注目点座標及びステップS16で受信された拠点IDが含まれる。
なお、本実施形態に係る画像通信システム1では、上述したステップS74の処理が実行される場合、通信端末70(通信端末)と通信管理装置50(通信管理装置)との間に他の装置等が存在してもよい。つまり、通信端末70と通信管理装置50との間で送受信される各情報は、一度他の装置等を介して送受信されるような構成であってもよい。
<撮影装置の選択処理>
次に、通信管理装置50は、ステップS74で受信された撮影装置選択要求に応じて、撮影装置10の選択処理を実行する(ステップS75)。ここで、図31、図21乃至図24を用いて、ステップS75の処理を詳細に説明する。図31は、撮影装置の選択処理の一例を示すフローチャートである。
まず、記憶・読出部59は、ステップS74で受信された拠点IDを検索キーとして配信拠点管理テーブル(配信拠点管理DB5005、図18参照)を検索することにより、受信された拠点IDと同じ拠点IDに関連づけられた配信拠点情報を読み出す(ステップS101)。
次に、選択部53は、ステップS74で受信された複数の注目点Pnを表す各注目点座標に基づいて、所定の位置を示す各注目点Pの座標を通る線分で、配信拠点Aの領域を複数の領域に分割する(ステップS102)。図22に示されている例では、利用者A1によって指定された注目点P1を黒丸(●)で示している。この場合、選択部53は、注目点P1に最も近い位置に配置された撮影装置10A-1-1、10A-1-2、10A-1-3及び10A-1-4をそれぞれ選択することができる。これは、注目点P2に対しも同様である。
次に、記憶・読出部59は、ステップS74で受信された拠点IDを検索キーとして配置情報管理テーブル(配置情報管理DB5004、図18参照)を検索することにより、受信された拠点IDと同じ拠点IDに関連づけられた配置情報を読み出す(ステップS103)。
次に、選択部53は、ステップS103で読み出された配置情報が示す座標値に基づいて、ステップS102で分割された領域ごとの注目点座標に最も近い撮影装置10を選択する(ステップS104)。具体的には、選択部53は、配置情報に示されている撮影装置10を、一つずつ順次処理を行う。
まず、選択部53は、例えば、読み出された配置情報が示す座標値を参照し、撮影装置10が存在している領域が分割された領域(例えば、領域1-領域4)のどの領域に属するかを判定する。その後、選択部53は、撮影装置10の座標値と各注目点座標との距離を算出する。そして、選択部53は、判定された領域において初めての撮影装置10であった場合、または判定された領域で「現時点も最も距離が短い」撮影装置10よりも距離が短い場合、判定された領域における「現時点で最も距離が短い」撮影装置10として、撮影装置10の識別情報(例えば、撮影装置10のIPアドレス)および算出された距離を保持する。
選択部53は、上述の処理を設置情報に示されている全ての撮影装置10に対して行うことで、分割された領域のそれぞれでの「最も距離が近い」撮影装置10を選択する。選択部53は、分割された領域の数と同じ数の撮影装置10を選択する。図22の例において、選択部53は、撮影装置10A-1-1,10A-1-2,10A-1-3,10A-1-4を、それぞれ領域1-1-領域1-4における注目点P1の注目点座標に最も近い撮影装置10として選択する。同様に、図23の例において、選択部53は、撮影装置10A-2-1,10A-2-2,10A-2-3,10A-2-4を、それぞれ領域2-1-領域2-4における注目点P2の注目点座標に最も近い撮影装置10として選択する。上述した処理は、図24の注目点が三つ指定された場合においても同様である。
次に、選択部53は、ステップS103で読み出された配置情報が示す座標値に基づいて、共用撮影装置を選択する(ステップS105)。
<共用撮影装置の選択処理>
図32は、共用撮影装置の選択処理の一例を示すフローチャートである。まず、選択部53は、利用者A1によって指定された複数の注目点Pnのうちの二つの注目点を選択する(ステップS151)。なお、図22及び図23に例示した注目点はP1及びP2の二つである。
続いて、判断部55は、選択した二つの注目点P1及びP2の間に共用可能な共用撮影装置があるか否かを判断する(ステップS152)。このステップS152で実行される共用撮影装置の有無の判断とは、二つの指定位置(注目点P1及びP2)をそれぞれ正面に見るための各々の所定領域を示す所定領域情報を与えることのできる撮影装置があるか否かを判断するものである。具体的には、選択部53は、利用者A1により指定された注目点P1及びP2の各位置を示す座標値を所定領域管理テーブル(所定領域管理DB5003、図17参照)からそれぞれ読み出す。続いて、選択部53は、配置情報管理テーブル(配置情報管理DB5004、図18参照)で管理されている撮影装置10の各座標値を検索して、二つの座標値(指定位置)との距離が互いに最短であり二つの座標値(指定位置)の各画像を共用可能な撮影装置10を選択する。つまり、注目点P1と撮影装置10との距離及び注目点P2と撮影装置10との距離が互いに最短となるような撮影装置10が、共用撮影装置となる。
選択した二つの注目点(P1及びP2)の間に共用可能な共用撮影装置がある場合(ステップS152;YES)、選択部53は、共用可能な一つの共用撮影装置を選択する。この場合、選択部53は、図22及び図23に示された例において、注目点P1及びP2に対して共用可能な共用撮影装置として、撮影装置10A-1-4(撮影装置10A-2-1)を選択する(ステップS153)。なお、上述した二つの座標値(指定位置)との距離が互いに最短であるとする計算式は周知の演算で求めることができるため、説明を省略する。
続いて、判断部55は、全ての注目点に対して実行したか否かを判断する(ステップS154)。このステップS154の処理が実行される理由は、利用者により注目点が三つ以上指定される場合があるためである。図24は、注目点Pが三つ設定された場合の注目点Pと撮影装置の関係の一例を概略的に説明するための図である。図24では、注目点P3が追加され、三つの注目点が利用者A1によって指定されている例が示されている。注目点が二つの場合は共用撮影装置の有無の判断は1回で済むが、注目点が三つの場合は、二つの注目点の組合せが3通り発生するため、3回の判断が必要となる。例えば、選択部53は、まず、注目点P1と注目点P2との間に共用可能な共用撮影装置があるか否かを判断する。同様に、選択部53は、注目点P1と注目点P3,そして、注目点P2と注目点P3との間に共用可能な共用撮影装置があるか否かをそれぞれ判断する。利用者A1によって指定される注目点の数が四つ以上になった場合も同様に、判断部55は、複数回の判断を行う。
図24のように、注目点Pが三つ指定され、全ての注目点に対してそれぞれ共用可能な共用撮影装置があるか否かを判断していない場合(ステップS154;NO)、判断部55は、ステップS151の処理に戻る。一方で、注目点が二つの場合や、注目点が三つ指定されたうちの二つの注目点を選ぶ組合せの全てに対して共用可能な共用撮影装置があるか否かの判断が終了した場合(ステップS154;YES)、判断部55は、このフローを抜ける。つまり、判断部55は、送受信部51によって受信された複数の注目点Pnが示す注目点座標のうちの二つの注目点座標の組合せが複数存在すると判断した場合、生成部56は、組合せの全てに対して得られる共用撮影装置の識別情報、及び組合せのうち二つの指定位置をそれぞれ正面に見るための各々の所定領域を示す共用撮影装置の各所定領域情報を生成する。
選択した二つの注目点(P1及びP2)の間に共用可能な共用撮影装置がない場合(ステップS152;NO)、選択部53は、共用可能な撮影装置を選択せず、ステップS102で分割された領域ごとの注目点座標に最も近いそれぞれの撮影装置10を選択する(ステップS155)。例えば、選択部53は、図24の注目点P2に最も近い位置に配置された撮影装置10A-2-1、10A-2-2、10A-2-3及び10A-2-4と、注目点P3に最も近い位置に配置された撮影装置10A-3-1、10A-3-2、10A-3-3及び10A-3-4を選択してステップS154に遷移する。
図25は、不規則な位置に配置された撮影装置と各注目点との関係の一例を概略的に説明するための図である。共用撮影装置を選択する処理は、図25に示されたように、配信拠点に配置された各撮影装置10が不規則な位置(ばらばらの位置)に配置されている状態においても適用される。
図31に戻り、生成部56は、選択された共用撮影装置の所定領域情報を生成する(ステップS106)。生成部56は、この処理において、図7に示された所定領域情報と所定領域Tの画像との関係をもとに、所定領域情報を生成する。上述したように、生成部56は、各注目点の方向を正面(中央)に表示させるための所定領域情報を、所定領域管理テーブル(所定領域管理DB5003、図17参照)で管理されている注目点座標値及びそれらの注目点座標値に対応する所定領域情報(動径(r)、極角(θ)、方位角(φ))、並びに、配置情報管理テーブル(配置情報管理DB5004、図18参照)で管理されている撮影装置のIPアドレスに対応する座標値(x,y,z)及び撮影装置の配置方向(x軸に対する角度)に基づいて算出する。具体的には、生成部56は、選択された撮影装置10が撮影する全天球画像に対して、注目点座標が中心にくるような所定領域画像(透視射影変換画像)を表示させるための所定領域情報を生成する。ここで、動径(r)と極角(θ)は、予め設定された所定の値が用いられるものとする。これは、透視射影変換画像の画角と仰角を一定として処理することを示している。方位角(φ)は、図21に示されているように、設置情報に示されている撮影装置10の設置方向と撮影装置10から注目点座標の方向との相対値として算出することができる。そして、生成部56は、算出された結果をもとに、撮影装置10が取得する全天球画像から注目点座標を中心とした所定領域画像を表示(透視射影表示)させるための所定領域情報を生成する。
続いて、生成部56は、注目点ごとに選択された他の撮影装置の所定領域情報を生成する(ステップS107)。つまり、生成部56は、複数の撮影装置10が配置された領域を複数の注目点Pnのそれぞれを通り所定の数で分割した際に得られる複数の分割領域から得られた複数の注目点Pnのうちの各注目点Pに最も近い各撮影装置10の識別情報、及び各注目点Pのそれぞれの座標を示す注目点座標情報に基づいて、各注目点Pを正面に見るための各々の所定領域を示す各所定領域情報を生成する。具体的には、生成部56は、選択された撮影装置10Aが撮影する全天球画像に対して、注目点座標が正面にくるような所定領域画像(透視射影変換画像)を表示させるための所定領域情報を生成する。他の撮影装置の所定領域情報の生成方法については、上述したステップS106と同様である。生成部56は、このような処理を、ステップS104で選択された全ての撮影装置10Aに対して実行する。なお、撮影装置10の座標値を示す配置位置、及び撮影装置10Aの正面がどの方向を向いているかを示す配置方向は、予め管理者等によって配置情報管理DB5004に設定されている。上述したステップS106の処理において、撮影装置のIPアドレスと所定領域情報の組合せを得るために、記憶・読出部59及び選択部53は、通信管理装置50が管理する所定領域管理テーブル(所定領域管理DB5003、図17参照)及び配置情報管理テーブル(配置情報管理DB5004、図18参照)をそれぞれ用いて、対応する所定領域情報を生成する。
そして、記憶・読出部59は、所定領域管理テーブル(所定領域管理DB5003、図17(A)参照)に対して、ステップS105で生成された所定領域情報を、対応する撮影装置10AのIPアドレスに関連づけて記憶する(ステップS108)。
このように、通信管理装置50は、通信端末70から送信された複数の注目点Pnの各注目点座標値、及び複数の撮影装置10の各配置情報(各座標値)に基づいて、複数の注目点Pnの所定領域情報を与えることのできる共用撮影装置10を選択することができる。
なお、本実施形態において生成部56は、生成手段の一例としての機能又は機能する手段を有する。さらに、所定領域情報を生成する生成部56は、通信管理装置50が有する構成以外に、通信管理装置50と通信端末70との間に設けられた別の装置が有するような構成であってもよい。
図30に戻り、通信管理装置50の送受信部51は、通信端末70Cに対して、ステップS75における処理結果である選択結果通知を送信する(ステップS76)。これにより、通信端末70Cの送受信部(取得部)71は、通信管理装置50から送信された選択結果通知を受信する。この選択結果通知には、ステップS104で選択された共用撮影装置を含む注目点Pnに最も近い各撮影装置の各識別情報、ステップS105で生成された注目点Pnに最も近い撮影装置ごとに注目点が正面に来るように生成された所定領域情報、及び注目点Pnに最も近い各撮影装置における各所定領域情報が含まれる。つまり、送受信部51は、生成部56によって生成された複数の注目点Pnの各座標値のうちの各座標値に最も近い各撮影装置10の識別情報(IPアドレス)、各注目点Pのそれぞれの座標を示す各座標情報(座標値)、及び各注目点Pを正面に見るための各々の所定領域を示す各所定領域情報を、通信端末70に対して送信する。このようにして、通信端末70Cの送受信部(取得部)71は、ステップS72で受け付けられた複数の注目点Pnを含む各所定領域を示す各所定領域情報を取得する。
上述したように、送受信部51は、複数の撮影装置から選択され、送受信部51によって受信された複数の指定位置情報(注目点Pn)を示す各指定位置(各座標値)のうち任意の二つの指定位置との距離が互いに最短であり二つの指定位置(注目点P1及びP2)の各画像を共用可能な共用撮影装置(撮影装置10A-1-4(10A-2-1))の識別情報(IPアドレス)、及び二つの指定位置をそれぞれ正面に見るための各々の所定領域を示す共用撮影装置(撮影装置10A-1-4(10A-2-1))の各所定領域情報を、通信端末70に送信する。
なお、通信管理装置50の送受信部51は、通信端末70に対して送信する各所定領域情報を、同時又は別々のタイミングで送信することができる。さらに、別々のタイミングで送信する場合でも、各所定領域情報の送信順序は問われない。
次に、通信端末70Cの記憶・読出部79は、所定領域管理テーブル(所定領域管理DB7002、図20(B)参照)に対して、ステップS76で受信された所定領域情報を撮影装置10のIPアドレスに関連づけて記憶する(ステップS77)。
続いて、送受信部(取得部)71は、選択された撮影装置10が撮影した撮影画像を取得するために、通信管理装置50に対して撮影画像要求を送信する(ステップS78)。これにより、通信管理装置50の送受信部51は、通信端末70から送信された撮影画像要求を受信する。なお、撮影画像要求には、ステップS40で取得した画像データIDが含まれる。
撮影画像要求を受信した通信管理装置50の記憶・読出部59は、画像データIDを検索キーとして画像種類管理テーブル(画像種類管理DB5002、図16(B)参照)を検索することにより、対応するソース名(画像種類情報)を読み出す(ステップS79)。これにより、画像データIDに対応する撮影画像を表す画像データが特定される。
送受信部51は、通信端末70に対して読み出した撮影画像を表す画像データを送信する(ステップS80)。これにより、通信端末70の送受信部71は、通信管理装置50から送信された画像データを受信する。この画像データには撮影画像に係る画像データID及び音データが含まれる。
次に、利用者A1による所定の入力操作によって、受付部72は、ステップS53で受信された撮影画像データのうち、通信端末70Cに表示させる表示画像の選択を受け付ける(ステップS81)。なお、通信端末70が複数の撮影画像を同時に表示することが可能な場合、又は受信された撮影画像が通信端末70で同時に表示可能な数より少ない場合において、ステップS78の処理は省略されてもよい。
次に、画像・音処理部73は、ステップS76で選択された表示画像に対応する所定領域情報によって特定される所定領域の画像を表示させるため、ステップS76で受信された所定領域情報を用いた透視射影変換を行うことで、所定領域画像を生成する(ステップS82)。これにより、通信端末70Cは、通信管理装置50で選択された撮影装置10が撮影した撮影画像(全天球画像)のうち、利用者が指定した注目点Pを含む所定領域画像を生成することができる。
そして、表示制御部74は、ステップS79で生成された所定領域画像を、ディスプレイ706に表示させる(ステップS83)。
●各所定領域画像の画面表示例●
ここで、本実施形態に係る通信端末70における表示画面の一例について説明する。図34-図37は、注目点P1の周辺の撮影装置が撮影した撮影画像を表示する表示画面の一例を示す図である。これらの撮影画像中の被写体(車両)は、図34の場合、各撮影装置と注目点P1の間の角度(方位角)分だけ傾いており、例えば、X軸に対して約45°である。図34は、所定領域画像X11が通信端末70に表示されている例を示すものである。図34では、撮影装置10A-1-1がX軸に対して反時計回りに約45°傾けた先にある注目点P1を中心に見た場合、その背景に一台の車両が映り込んでいる所定領域画像X11が通信端末70に表示されている。図35,36及び37の場合も同様に、所定領域画像X12,X13及びX14がそれぞれ通信端末70に表示されている。
図38-図41は、注目点P2の周辺の撮影装置が撮影した撮影画像を表示する表示画面の一例を示す図である。これらの撮影画像中の被写体(車両)は、図38の場合、各撮影装置と注目点P2の間の角度(方位角)分だけ傾いており、例えば、X軸に対して約60°である。図38は、所定領域画像X21が通信端末70に表示されている例を示すものである。図38では、撮影装置10A-2-1がX軸に対して約60°傾けた先にある注目点P2を中心に見た場合、その背景に別の一台の車両が映り込んでいる所定領域画像X21が通信端末70に表示されている。図39,40及び41の場合も同様に、所定領域画像X22,X23及びX24がそれぞれ通信端末70に表示されている。
●通信端末の画面表示例●
図42は、複数の注目点を選択したときの通信端末の表示画面の一例を示す図である。まず、通信端末70の利用者は、ディスプレイ706に表示されたツアー画像830内の視点変更アイコン850、ポインタP1及び注目点ボタン860等を操作して2つの異なる位置の注目点P1,P2を指定する。利用者による注目点P1,P2の指定を受けると、通信端末70の表示制御部74は、図42に示されている表示画面950を表示する。例えば、表示画面950では、利用者によって指定された注目点P1によって与えられる領域1内の各撮影装置が撮影した領域1画面960が表示されている。領域1画面960は、注目点P1を中心に見るための所定領域画像を表示する画面961,962,963及び964を含む画面である。各画面961,962,963及び964では、注目点P1に最も近い撮影装置10A-1-1,10A-1-2,10A-1-3及び10A-1-4が撮影した全天球画像のうち、それぞれ注目点P1を中心に見るための所定領域画像を表示する各画面が表示画面950に表示されている。なお、注目点P1に最も近い各撮影装置10は、上述したように、選択部53によって注目点P1を中心(境)に領域を4分割された領域1-1,1-2,1-3及び1-4の中から選ばれる。
表示画面950では、同様に、利用者によって指定された注目点P2によって与えられる領域2内の各撮影装置が撮影した領域2画面970が表示されている。領域2画面970は、注目点P2を中心に見るための所定領域画像を表示する画面971,972,973及び974を含む画面である。各画面971,972,973及び974では、注目点P2に最も近い撮影装置10A-2-1,10A-2-2,10A-2-3及び10A-2-4が撮影した全天球画像のうち、それぞれ注目点P2を中心に見るための所定領域画像を表示する各画面が表示画面950に表示されている。なお、注目点P2に最も近い各撮影装置10は、上述したように、選択部53によって注目点P2を中心(境)に領域を4分割された領域2-1,2-2,2-3及び2-4の中から選ばれる。
このとき、領域1画面960に含まれる領域1-4における注目点P1を中心に見るための所定領域画像と、領域2画面970に含まれる領域2-1における注目点P2を中心に見るための所定領域画像は、同一の撮影装置10A-1-4(又は10A-2-1)によって撮影された全天球画像における二つの所定領域画像である。つまり、図42に示されているように、利用者は、配信拠点に配置された同一の撮影装置10A-1-4(又は10A-2-1)によって撮影された全天球画像のうち、異なる所定領域画像を同時に閲覧することができる。このとき、通信端末70の表示制御部74は、領域1画面960内の小画面1-4及び領域2画面970内の小画面2-1の少なくとも一方に、他の所定領域画像を表示する小画面と区別し、同一の撮影装置で撮影された所定領域画像であることを示すために、画面表示内容を変えてもよい。画面表示内容を変えるための具体例として、例えば、小画面1-4及び小画面2-1の少なくとも一方に、所定の文字、英数字、記号、マーク、背景等の追加、又は、画面表示サイズの変更、画面の点滅等が考えられる。図42に示された例では、小画面1-4及び小画面2-1の画面内に、表示制御部74によって太陽マークが追加されている。
さらに、表示画面950では、配信拠点Aの俯瞰図を示すマップ980が表示制御部74により表示されている。このマップ980では、利用者が指定した注目点P1,P2が、注目点P1,P2の各座標値に対応する座標に黒丸(●)でそれぞれ表示されている。これにより、利用者は、利用者自身が指定した各注目点に対して、配信拠点からどのような所定領域画像が配信されているのかを、領域1画面960、領域2画面970及びマップ980とを、それぞれ比較しながら同時に確認することができる。
このように、画像通信システム1は、閲覧拠点の利用者が指定した複数の注目点Pnを同時に閲覧するために適切な撮影装置10を、通信管理装置50を用いて選択することができる。そして、画像通信システム1は、選択された撮影装置10によって複数の注目点Pnが撮影された画像を表示可能な所定領域情報を、通信管理装置50から通信端末70へ送信することで、通信端末70に複数の注目点Pnを示す画像を表示させることができる。
また、本実施形態に係る画像通信システム1では、上述したステップS75‐ステップS77、ステップS79‐ステップS81等の処理が実行される場合、通信管理装置50(通信管理装置)と通信端末70(通信端末)との間に他の装置等が存在してもよい。つまり、通信管理装置50と通信端末70との間で送受信される各情報は、一度他の装置を介して送受信されるような構成であってもよい。
また、本実施形態では、選択部53によって配信拠点が四つの領域に分割される例を説明したが、選択部53は、配信拠点に配置されている撮影装置10若しくは配信端末の数、通信ネットワーク100のネットワーク帯域、又は通信端末70に同時に受信及び表示可能な画像の数等に応じて領域の分割数を増減させてもよい。
<所定領域画像の表示処理の変形例>
次に、図43を用いて、画像通信システム1における所定領域画像の表示処理の変形例について説明する。図43は、画像通信システムにおける所定領域画像の表示処理の変形例を示すシーケンス図である。図43では、上述の撮影装置10の選択処理を、閲覧拠点の通信端末70で実行する例を示す。なお、ステップS201‐ステップS203の処理は、図30のステップS71‐ステップS73の処理と同様であるため説明を省略する。
図43において、送受信部(取得部)71は、通信管理装置50に対して、撮影装置10の配置位置を示す配置情報の取得要求である配置情報取得要求を送信する(ステップS204)。これにより、通信管理装置50の送受信部51は、通信端末70Cから送信された配置情報取得要求を受信する。この配置情報取得要求には、ステップS14及びS16で受信された拠点IDが含まれる。
次に、通信管理装置50は、ステップS204で受信された拠点IDを検索キーとして配置情報管理テーブル(配置情報管理DB5004、図18参照)を検索することにより、受信された拠点IDと同じ拠点IDに関連づけられた配置情報を読み出す(ステップS205)。そして、送受信部51は、通信端末70Cに対して、ステップS205で読み出された配置情報を送信する(ステップS206)。これにより、通信端末70Cの送受信部(取得部)71は、通信管理装置50から送信された配置情報を受信する。
次に、選択部81は、ステップS206で受信された配置情報が示す座標値に基づいて、撮影装置の選択処理を実行する(ステップS207)。なお、ステップS207で実行される撮影装置の選択処理は、図30で示されたステップS75の処理(詳細は、図31のフローチャートで示された処理)と同様であるため、説明を省略する。このうち、ステップS101及びS103の処理は省略されてもよい。また、ステップS107の処理で実行される記憶・読出部79による所定領域情報の記憶は、所定領域管理テーブル(所定領域管理DB5003、図17参照)に代えて、所定領域管理テーブル(所定領域管理DB7002、図20(B)参照)に対して行われる。さらに、ステップS208‐ステップS213の処理については、図30のステップS78‐ステップS83の処理と同様であるため、説明を省略する。
このように、実施形態の変形例に係る画像通信システム1は、利用者が指定した注目点Pを表示させる画像を撮影する撮影装置10の選択処理を通信端末70が行うことで、通信端末70に注目点Pを示す画像を表示させることができる。これにより、画像通信システム1は、上述の実施形態と同様に、指定した複数の注目点の画像を閲覧拠点の利用者に同時に閲覧させることができる。
なお、PTZ操作を可能とする撮影装置の場合、PTZの動作における応答速度の遅延と機械的な操作範囲の制限がある。特に機械的な操作範囲を考慮すると、仮に、180°程度映すことが可能な広角カメラを対面に置いたとしても、指定した注目点の付近の被写体が動いた場合など、PTZ操作を可能とする撮影装置も動かす必要が生じてしまう。そのため、配信拠点には、それぞれ複数の撮影装置が配置されることが望ましい。
〔本実施形態の主な効果〕
以上説明したように、本発明の一実施形態に係る画像通信システム1における通信管理装置50は、複数の撮影装置のうち、通信端末70が送信した複数の注目点Pnの各座標情報を受信し(S74)、各注目点のそれぞれの座標値のうち任意の二つの座標値(注目点P1及びP2の座標値)との距離が互いに最短であり二つの注目点P1及びP2の各画像を共用可能な共用撮影装置10A-1-4(10A-2-1)のIPアドレス、及び二つの注目点P1及びP2をそれぞれ正面に見るための各々の所定領域を示す共用撮影装置の各所定領域情報を、通信端末70に送信する(S76)。通信端末70は、二つの注目点P1及びP2をそれぞれ正面に見るための各々の所定領域を示す共用撮影装置の各所定領域情報を受信し(S76)、共用撮影装置の各所定領域情報に基づいて、二つの注目点P1及びP2を正面に見た場合の各々の所定領域画像をディスプレイ706に表示させる(S83)。これにより、通信管理装置50は、撮影装置10に対する特別な処理を行わずに、利用者によって指定された複数の注目点Pnを撮影した共用撮影装置の各所定領域画像を同時に通信端末70に表示させることができる。そのため、複数の注目点Pnを指定した利用者は、一台の撮影装置によって撮影された各注目点の所定領域画像を、通信端末70の画面上で同時に確認することが可能になる。
さらに、共用撮影装置が選択されることにより、画像通信システム1における通信管理装置50の処理負荷を1台分減らせるという効果も期待できる。
〔実施形態の補足〕
上述した実施形態では、全天球画像(全天球パノラマ画像)の一例として、撮影画像(全体画像)が三次元のパノラマ画像である場合について説明したが、二次元のパノラマ画像であってもよい。
また、上述した実施形態において、閲覧拠点の通信端末70は、閲覧専用の端末である必要は無く、この端末自身から撮影画像が配信されていて、配信機能と閲覧機能を同時に行える構成となっていてもよい。同様に、配信拠点の配信端末30は、配信専用の端末である必要はなく、他の拠点から配信された撮影画像を表示し、配信機能と閲覧機能を同時に行える構成となっていてもよい。このように、画像通信システム1は、複数の拠点の間において、撮影画像の双方向の通信を行うような構成であってもよい。
また、上述した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたデバイスを含むものとする。このデバイスとは、例えば、プロセッサ、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU(Graphics Processing Unit)、及び従来の回路モジュール等をいう。
また、上述した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり,コンピュータが,データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し,新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習及び深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
これまで本発明の一実施形態に係る通信端末、画像通信システム、画像表示方法及びプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更又は削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
1 画像通信システム
10 撮影装置
30 配信端末
50 通信管理装置
51 送受信部(送信手段の一例)
53 選択部(選択手段の一例)
55 判断部(判断手段の一例)
56 生成部(生成手段の一例)
70 通信端末
71 送受信部(取得手段の一例、受信手段の一例)
72 受付部(受付手段の一例)
74 表示制御部(表示制御手段の一例)
77 所定位置特定部
81 選択部(選択手段の一例)
82 生成部(生成手段の一例)
特開2017-22587号公報

Claims (10)

  1. 複数の撮影装置で撮影された画像を表示する通信端末と、前記通信端末と通信する通信管理装置と、を有する画像通信システムであって、
    前記通信管理装置は、
    前記通信端末が送信した、前記複数の撮影装置が配置された領域における複数の指定位置をそれぞれ示す各指定位置情報を受信する受信手段と、
    前記複数の撮影装置から選択され、前記受信手段によって受信された前記各指定位置情報が示す各指定位置のうち任意の二つの指定位置との距離が互いに最短であり前記二つの指定位置の各画像を共用可能な共用撮影装置の識別情報、及び前記二つの指定位置をそれぞれ正面に見るための各々の所定領域を示す前記共用撮影装置の各所定領域情報を、前記通信端末に送信する送信手段と、を有し、
    前記通信端末は、
    前記各指定位置を正面に見るための各々の所定領域を示す各所定領域情報を受信する受信手段と、
    前記受信手段によって受信された前記各指定位置を正面に見るための各々の所定領域を示す各所定領域情報に基づいて、前記各指定位置を正面に見た場合の各々の所定領域画像を表示手段に表示させる表示制御手段と、を有する、
    ことを特徴とする画像通信システム。
  2. 前記送信手段は、前記任意の二つの指定位置の組合せが複数存在する場合、前記組合せの全てに対して得られる前記共用撮影装置の識別情報、及び前記組合せのうち二つの指定位置をそれぞれ正面に見るための各々の所定領域を示す前記共用撮影装置の各所定領域情報を、前記通信端末に送信する、
    ことを特徴とする請求項1に記載の画像通信システム。
  3. 請求項1又は2に記載の画像通信システムであって、更に、前記通信管理装置は、
    前記受信手段によって受信された前記複数の指定位置を示す各座標情報、及び前記複数の撮影装置の各配置位置を示す各座標情報に基づいて、前記複数の撮影装置から前記共用撮影装置を選択する選択手段を有する、ことを特徴とする画像通信システム。
  4. 請求項1乃至3のいずれか一項に記載の画像通信システムであって、更に、前記通信管理装置は、
    前記複数の撮影装置が配置された領域を前記複数の指定位置のそれぞれを通り所定の数で分割した複数の分割領域から得られた前記各指定位置に最も近い各撮影装置の識別情報、及び前記各指定位置のそれぞれの座標を示す各指定位置座標情報に基づいて、前記各指定位置を正面に見るための各々の所定領域を示す各所定領域情報を生成する生成手段を有する、
    ことを特徴とする画像通信システム。
  5. 請求項4に記載の画像通信システムであって、
    前記生成手段は、
    前記各撮影装置の配置方向、並びに、前記各撮影装置及び前記複数の指定位置の各々に対する方位角に基づいて、前記各所定領域情報を生成する、
    ことを特徴とする画像通信システム。
  6. 前記送信手段は、
    前記生成手段によって生成された前記複数の指定位置のうちの各指定位置に最も近い各撮影装置の識別情報、前記各指定位置のそれぞれの座標を示す各指定位置座標情報、及び前記各指定位置を正面に見るための各々の所定領域を示す各所定領域情報を、前記通信端末に送信する、
    ことを特徴とする請求項4又は5に記載の画像通信システム。
  7. 請求項1乃至6のいずれか一項に記載の画像通信システムであって、
    前記通信端末は、更に、
    表示手段に表示され前記複数の撮影装置が配置された領域における前記複数の指定位置の入力を受け付ける受付手段と、
    前記受付手段により受け付けられた前記複数の指定位置をそれぞれ示す各指定位置情報を前記通信管理装置に送信する送信手段と、を有する、
    ことを特徴とする画像通信システム。
  8. 複数の撮影装置で撮影された画像を表示する通信端末と通信する通信管理装置であって、
    前記通信端末が送信した、前記複数の撮影装置が配置された領域における複数の指定位置をそれぞれ示す各指定位置情報を受信する受信手段と、
    前記複数の撮影装置から選択され、前記受信手段によって受信された前記各指定位置情報が示す各指定位置のうち任意の二つの指定位置との距離が互いに最短であり前記二つの指定位置の各画像を共用可能な共用撮影装置の識別情報、及び前記二つの指定位置をそれぞれ正面に見るための各々の所定領域を示す前記共用撮影装置の各所定領域情報を、前記通信端末に送信する送信手段と、を有する、
    ことを特徴とする通信管理装置。
  9. 複数の撮影装置で撮影された画像を表示する通信端末と通信する通信管理装置が実行する通信管理方法であって、
    前記通信端末が送信した、前記複数の撮影装置が配置された領域における複数の指定位置をそれぞれ示す各指定位置情報を受信する受信ステップと、
    前記複数の撮影装置から選択され、前記受信ステップによって受信された前記各指定位置情報が示す各指定位置のうち任意の二つの指定位置との距離が互いに最短であり前記二つの指定位置の各画像を共用可能な共用撮影装置の識別情報、及び前記二つの指定位置をそれぞれ正面に見るための各々の所定領域を示す前記共用撮影装置の各所定領域情報を、前記通信端末に送信する送信ステップと、を実行する、
    ことを特徴とする通信管理方法。
  10. コンピュータを、請求項8に記載の各手段として機能させるためのプログラム。
JP2020166241A 2020-09-30 2020-09-30 画像通信システム、通信管理装置、通信管理方法及びプログラム Pending JP2022057800A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020166241A JP2022057800A (ja) 2020-09-30 2020-09-30 画像通信システム、通信管理装置、通信管理方法及びプログラム
EP21196881.3A EP3989539B1 (en) 2020-09-30 2021-09-15 Communication management apparatus, image communication system, communication management method, and carrier means
US17/480,159 US11818492B2 (en) 2020-09-30 2021-09-21 Communication management apparatus, image communication system, communication management method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020166241A JP2022057800A (ja) 2020-09-30 2020-09-30 画像通信システム、通信管理装置、通信管理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2022057800A true JP2022057800A (ja) 2022-04-11

Family

ID=77774803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020166241A Pending JP2022057800A (ja) 2020-09-30 2020-09-30 画像通信システム、通信管理装置、通信管理方法及びプログラム

Country Status (3)

Country Link
US (1) US11818492B2 (ja)
EP (1) EP3989539B1 (ja)
JP (1) JP2022057800A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022186117A (ja) 2021-06-04 2022-12-15 株式会社リコー 通信端末、画像通信システム、画像表示方法およびプログラム
JP2023048464A (ja) 2021-09-28 2023-04-07 株式会社リコー メディア配信システム、通信システム、配信制御装置、配信制御方法及びプログラム
JP2023081226A (ja) 2021-11-30 2023-06-09 株式会社リコー 通信管理装置、通信システム、通信管理方法、及びプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3566451B2 (ja) * 1996-04-24 2004-09-15 キヤノン株式会社 カメラ制御システムおよびカメラ制御システムの制御方法
JP3785033B2 (ja) 2000-08-29 2006-06-14 株式会社東芝 監視カメラ制御システム及び監視カメラ制御装置
WO2012067603A1 (en) * 2010-11-15 2012-05-24 Intergraph Technologies Company System and method for camera control in a surveillance system
JP6065195B2 (ja) * 2012-05-08 2017-01-25 パナソニックIpマネジメント株式会社 表示映像形成装置及び表示映像形成方法
JP6070783B2 (ja) 2015-07-13 2017-02-01 沖電気工業株式会社 情報処理装置、プログラム及び情報処理方法
WO2017134706A1 (ja) * 2016-02-03 2017-08-10 パナソニックIpマネジメント株式会社 映像表示方法及び映像表示装置
US10264302B2 (en) 2016-09-30 2019-04-16 Ricoh Company, Ltd. Communication management apparatus, method and computer-readable storage medium for generating image data identification information
US10721116B2 (en) 2016-09-30 2020-07-21 Ricoh Company, Ltd. Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium
JP6756269B2 (ja) 2017-01-05 2020-09-16 株式会社リコー 通信端末、画像通信システム、通信方法、及びプログラム
JP2018129025A (ja) 2017-02-07 2018-08-16 日本電信電話株式会社 決定装置、画像処理装置、決定方法及び決定プログラム
JP6756679B2 (ja) 2017-02-07 2020-09-16 日本電信電話株式会社 決定装置、画像処理装置、決定方法及び決定プログラム
JP6805861B2 (ja) 2017-02-09 2020-12-23 株式会社リコー 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2019054322A (ja) 2017-09-12 2019-04-04 株式会社リコー 通信端末、画像通信システム、通信方法、及びプログラム
EP3461124B1 (en) 2017-09-25 2024-05-01 Ricoh Company, Ltd. Communication terminal, image communication system, display control method, and carrier means
JP6907861B2 (ja) 2017-09-25 2021-07-21 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP7095361B2 (ja) 2018-03-29 2022-07-05 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP2019180027A (ja) 2018-03-30 2019-10-17 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP7164831B2 (ja) 2018-03-30 2022-11-02 株式会社リコー 通信管理システム、通信システム、通信方法、及びプログラム
US10554883B2 (en) 2018-03-30 2020-02-04 Ricoh Company, Ltd. VR system, communication method, and non-transitory computer-readable medium
US10764513B2 (en) 2018-07-31 2020-09-01 Ricoh Company, Ltd. Communication terminal, image data communication system, and communication method
JP7176296B2 (ja) 2018-08-23 2022-11-22 株式会社リコー 通信端末、通信システム、ログデータ送信方法、プログラム
US20200186407A1 (en) 2018-11-30 2020-06-11 Kenichiro Morita Communication terminal, image network system, display method, and program
US10868923B2 (en) 2018-11-30 2020-12-15 Ricoh Company, Ltd. Communication management system, communication system, communication control method, and recording medium
JP7400195B2 (ja) 2019-03-11 2023-12-19 株式会社リコー 画像通信システム、撮像装置、通信端末、モード切替方法、プログラム
EP3709634A1 (en) 2019-03-13 2020-09-16 Ricoh Company, Ltd. Communication management system, communication system, communication management device, image processing method, and carrier medium
JP7192592B2 (ja) * 2019-03-15 2022-12-20 株式会社リコー 撮像装置、画像通信システム、画像処理方法、プログラム
JP7346975B2 (ja) 2019-07-25 2023-09-20 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP7326963B2 (ja) 2019-07-25 2023-08-16 株式会社リコー 通信端末、通信システム、画像共有方法およびプログラム
JP7327008B2 (ja) 2019-09-02 2023-08-16 株式会社リコー 撮影装置、通信システム、通信方法およびプログラム
KR102512560B1 (ko) * 2019-09-03 2023-03-22 주식회사 쓰리아이 3d 투어 비교 표시 시스템 및 방법
JP7368707B2 (ja) 2019-09-24 2023-10-25 株式会社リコー 画像処理方法、プログラム、画像処理装置および画像処理システム

Also Published As

Publication number Publication date
US11818492B2 (en) 2023-11-14
EP3989539B1 (en) 2024-04-17
EP3989539A1 (en) 2022-04-27
US20220103763A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
JP7452596B2 (ja) 通信端末、表示方法、プログラム及び画像通信システム
JP7095361B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7400195B2 (ja) 画像通信システム、撮像装置、通信端末、モード切替方法、プログラム
JP2023129649A (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム
JP7192592B2 (ja) 撮像装置、画像通信システム、画像処理方法、プログラム
US11743590B2 (en) Communication terminal, image communication system, and method for displaying image
JP2022057800A (ja) 画像通信システム、通信管理装置、通信管理方法及びプログラム
US20220070412A1 (en) Communication terminal, image communication system, method of displaying image, and recording medium
US11736802B2 (en) Communication management apparatus, image communication system, communication management method, and recording medium
JP2021039468A (ja) 撮影装置、通信システム、通信方法およびプログラム
WO2017014126A1 (ja) 画像管理システム、画像管理方法及びプログラム
US11062422B2 (en) Image processing apparatus, image communication system, image processing method, and recording medium
JP2018061243A (ja) 通信端末、表示方法、及びプログラム
JP2017041881A (ja) 保安器具、画像通信システム、照射方法及びプログラム
JP2017184025A (ja) 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム
US11863871B2 (en) Communication terminal, image communication system, and method of displaying image
JP2020088571A (ja) 管理システム、情報処理システム、情報処理方法およびプログラム
JP7472556B2 (ja) 撮像装置、通信システム、コンテンツ送信方法
US20240087157A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system
JP7006133B2 (ja) 通信システム及び通信方法
JP2024017224A (ja) 情報処理装置、入出力装置、情報処理システム、情報処理方法、入出力方法、およびプログラム
JP2020155847A (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP2017037423A (ja) 画像管理システム、画像管理方法、画像通信システム及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230714

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20231023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240620