JP2020149635A - 撮像装置、画像通信システム、画像処理方法、プログラム - Google Patents
撮像装置、画像通信システム、画像処理方法、プログラム Download PDFInfo
- Publication number
- JP2020149635A JP2020149635A JP2019049128A JP2019049128A JP2020149635A JP 2020149635 A JP2020149635 A JP 2020149635A JP 2019049128 A JP2019049128 A JP 2019049128A JP 2019049128 A JP2019049128 A JP 2019049128A JP 2020149635 A JP2020149635 A JP 2020149635A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- attention point
- point
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 314
- 238000003384 imaging method Methods 0.000 title claims abstract description 66
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000012545 processing Methods 0.000 claims abstract description 120
- 238000006243 chemical reaction Methods 0.000 claims abstract description 70
- 238000005520 cutting process Methods 0.000 claims abstract description 7
- 238000012937 correction Methods 0.000 claims description 35
- 230000008859 change Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 50
- 238000003860 storage Methods 0.000 description 44
- 230000006870 function Effects 0.000 description 39
- 238000000034 method Methods 0.000 description 38
- 230000005540 biological transmission Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 31
- 230000036961 partial effect Effects 0.000 description 13
- 230000001133 acceleration Effects 0.000 description 11
- 230000015654 memory Effects 0.000 description 11
- 239000003795 chemical substances by application Substances 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 239000013256 coordination polymer Substances 0.000 description 6
- 238000005304 joining Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00129—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a display device, e.g. CRT or LCD monitor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00408—Display of information to the user, e.g. menus
- H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
- H04N1/00458—Sequential viewing of a plurality of images, e.g. browsing or scrolling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/354—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying sequentially
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0084—Digital still camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
1.不動産業者が物件に赴き、撮像装置で物件を撮像する。
2.内見をしたい顧客が撮像装置の映像を通信端末で受信してリアルタイムに遠隔で閲覧する。
3.映像だけでなく音声もつながっているので顧客は不動産業者と会話しながら内見できる。
まず、図1を用いて、画像通信システム10の概略的な動作について説明する。図1は、任意の方向の注目点が指定された全天球画像を拠点Aから拠点Bの間に送信する画像通信システム10の概略的な動作を説明する図である。
定義される注目点とは上記のように撮像素子上の1点又はある範囲である。撮像装置5aからみて常に同じ方向の被写体が写る。本実施形態では長手方向の上側の被写体が写る撮像素子の画素又はある範囲を定義された注目点とするが、注目点の場所は任意に決定できる。例えば、長手方向の下側が指す方向、レンズの光軸方向、又は、撮像装置5aの突起部分が指す方向、の被写体が写る撮像素子の画素などでもよい。
図2乃至図9を用いて、全天球画像の生成方法について説明する。
図9は、球座標による3次元ユークリッド空間内の点を示した図である。中心点CPを球面極座標系で表現したときの位置座標を(r、θ、φ)とする。(r、θ、φ)は、それぞれ動径、極角、方位角である。動径rは、全天球画像を含む三次元の仮想空間の原点から中心点CPまでの距離であるため、fに等しい。図9は、これらの関係を表した図である。以降、位置座標(r,θ、φ)を用いて中心点を説明する。
続いて、図10を用いて、本実施形態の画像通信システム10の構成の概略について説明する。図10は、本実施形態の画像通信システム10の構成の概略図である。
次に、図11〜図14を用いて、本実施形態の撮像装置5a、5c、通信端末1〜4、通信管理システムのハードウェア構成を詳細に説明する。なお、撮像装置5cは、一般のカメラであるため、詳細な説明は省略する。
まず、図11を用いて、撮像装置5a、5cのハードウェア構成を説明する。図11は、撮像装置5a、5cのハードウェア構成図である。以下では、撮像装置5a、5cは、2つの撮像素子を使用した全天球(全方位)撮像装置とするが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置5a、5cと同じ機能を有するようにしてもよい。
次に、図12を用いて、通信端末3,4のハードウェア構成を説明する。図12は、通信端末3,4のハードウェア構成図である。図12に示されているように、通信端末3,4は、CPU301、ROM302、RAM303、フラッシュメモリ304、SSD305、メディアI/F307、操作ボタン308、電源スイッチ309、バスライン310、ネットワークI/F311、カメラ312、撮像素子I/F313、マイク314、スピーカ315、音入出力I/F316、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319、近距離通信回路319のアンテナ319aを備えている。
次に、図13を用いて、通信管理システム50のハードウェア構成を説明する。図13は、通信管理システムのハードウェア構成図である。
次に、図14を用いて、通信端末1,2のハードウェアについて説明する。図14は、通信端末1,2のハードウェア構成図である。図14に示されているように、通信端末1,2は、CPU901、ROM902、RAM903、EEPROM904、CMOSセンサ905、加速度・方位センサ906、メディアI/F908、GPS受信部909を備えている。
次に、図15〜図22を用いて、本実施形態の機能構成について説明する。図15及び図16は、画像通信システム10の機能をブロック状に示す機能ブロック図である。
図15に示されているように、撮像装置5aは、受付部12a、撮像部13a、集音部14a、姿勢情報取得部15a、画像処理部16a、通信部18a、及び記憶・読出部19aを有している。これら各部は画像処理部16aを除いて、図11に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮像装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。画像処理部16aはASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)等の回路モジュールで実現されるとするが、ソフト的に実現されてもよい。
撮像装置5aの受付部12aは、主に、図11に示されている操作部115及びCPU111の処理によって実現され、撮像者8からの操作入力を受け付ける。
図15に示されているように、通信端末1は、送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、作成部96、算出部97、通信部98、及び記憶・読出部99を有している。これら各部は、図14に示されている各構成要素のいずれかが、EEPROM904からRAM903上に展開された通信端末1用プログラムに従ったCPU901からの命令によって動作することで実現される機能又は手段である。
図17は、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データID、送信元端末の宛先の一例であるIPアドレス、及びソース名が関連付けて記憶されて管理されている。これらのうち、画像データIDは、ビデオ通信を行う際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データIDが付加されている。これにより、送信先端末(受信側の通信端末)は、受信した画像データの送信元端末を特定することができる。送信元端末のIPアドレスは、関連付けられている画像データIDで示される画像データを送信する通信端末のIPアドレスを示す。ソース名は、関連付けられている画像データIDで示される画像データを出力する撮像装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、通信端末3等によって作成された名称である。
図18は、撮像装置管理テーブルを示す概念図である。この撮像装置管理テーブルでは、全天球画像の元になる2つの半球画像を得ることができる撮像装置のGUIDのうちのベンダIDとプロダクトIDが記憶されて管理されている。GUIDとしては、例えば、USBデバイスで利用されるベンダID(VID)とプロダクトID(PID)が利用できる。このベンダIDとプロダクトIDは、通信端末3、4の工場出荷時から記憶されているが、工場出荷後に追加で記憶してもよい。
図19は、所定領域情報管理テーブルを示す概念図である。この所定領域情報管理テーブルでは、撮像画像データの送信元の通信端末のIPアドレス、撮像画像データの送信先の通信端末のIPアドレス、及び、撮像画像データの送信先の通信端末で表示中の所定領域画像を示す所定領域情報が関連付けられて記憶されて管理されている。なお、撮像画像データの送信先の通信端末は、所定領域情報の送信元の通信端末でもある。所定領域情報は、図6及び図7に示されているように、撮像画像から、この撮像画像における所定領域Tの画像(所定領域画像)に変換するための変換テーブルである。なお、IPアドレスは、宛先情報の一例であって、宛先情報には、MAC(Media Access Control)アドレス、通信端末を特定するための端末ID(Identification)等が含まれる。また、ここでは、IPアドレスは、IPv4アドレスを簡略化して表されている。IPアドレスは、IPv6でもよい。
通信端末1の送受信部91は、主に、図14に示されている遠距離通信回路911及びCPU901の処理によって実現され、通信ネットワーク100を介して、通信管理システム50と各種データ(又は情報)の送受信を行う。
次に、通信端末2の機能構成について詳細に説明する。通信端末2は、基本的に通信端末1と同じ機能を有している。即ち、図16に示されているように、通信端末2は、送受信部71、受付部72、画像・音処理部73、表示制御部74、判断部75、作成部76、算出部77、通信部78、及び記憶・読出部79を有している。しかし、各機能はそれぞれ、通信端末1における送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、作成部96、算出部97、通信部98、及び記憶・読出部99と同様の機能を実現するため、これらの説明を省略する。
次に、通信端末3の機能構成について説明する。通信端末3は、基本的に通信端末1と同じ機能を有している。即ち、図15に示されているように、通信端末3は、送受信部31c、受付部32c、画像・音処理部33c、表示制御部34c、判断部35c、作成部36c、算出部37c、通信部38c、記憶・読出部39cを有している。しかし、これらは、通信端末1における送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、作成部96、算出部97、通信部98、記憶・読出部99、及び記憶部9000と同様の機能を実現するため、これらの説明を省略する。
次に、通信端末4の機能構成について説明する。通信端末4は、基本的に通信端末1と同じ機能を有している。即ち、図16に示されているように、通信端末4は、送受信部31d、受付部32d、画像・音処理部33d、表示制御部34d、判断部35d、作成部36d、算出部37d、通信部38d、記憶・読出部39d、及び記憶部3000dを有している。しかし、これらは、通信端末1における送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、作成部96、算出部97、通信部98、記憶・読出部99、及び記憶部9000と同様の機能を実現するため、これらの説明を省略する。
次に、通信管理システム50の各機能構成について詳細に説明する。通信管理システム50は、送受信部51、判断部55、生成部56、及び記憶・読出部59を有している。これら各部は、図13に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理システム50用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
図20は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションID、及び参加した通信端末のIPアドレスが関連付けて記憶されて管理されている。このうち、セッションIDは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションIDは、通信端末1〜4でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のIPアドレスは、関連付けられているセッションIDで示される仮想の会議室に参加した通信端末のIPアドレスを示している。
図21は、画像種類管理テーブルを示す概念図である。図21に示されている画像種類管理テーブルは、図17に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションIDと同じセッションIDが関連付けて管理されている。ここでは、同じセッションID「se101」で示される仮想の会議室には、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」の3つの通信端末が参加していることが示されている。なお、通信管理システム50において、通信端末1〜4(ビデオ会議端末)等の通信端末で管理される、画像データID、送信元端末のIPアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行う必要がない。
図22は、所定領域情報管理テーブルを示す概念図である。この所定領域情報管理テーブルは、基本的に図19に示されている所定領域情報管理テーブルと同様のデータ構造を有している。但し、後述のように、送受信部51は、各通信端末に一定期間(例えば30秒)毎に最新の所定領域情報を送信するため、所定領域情報が一定期間毎に送信されるまでの間に、送受信部51によって受信された全ての所定領域情報は削除されずに保存されている。図22では、新しい所定領域情報ほど上位で管理されている。
通信管理システム50の送受信部51は、主に、図13に示されているネットワークI/F509及びCPU501の処理によって実現され、通信ネットワーク100を介して通信端末1〜4と各種データ(又は情報)の送受信を行う。
まず、図23及び図24を用いて、特定の通信セッションへの参加処理について説明する。図23は、特定の通信セッションへの参加処理を示したシーケンス図である。図24は、通信セッション(仮想の会議室)の選択画面を示した図である。
次に、図25〜図27を用いて撮像装置5aの姿勢情報について説明する。図25は、撮像装置5aの座標軸を説明する図の一例であり、図26は基準となる撮像装置5aの姿勢を説明する図の一例である。基準となる撮像装置5aの姿勢とは、撮像装置の姿勢の初期状態である。
α= atan2(ay,−az) ay^2+az^2 ≧ threshR^2
= 0 ay^2+az^2 < threshR^2
と表せる。αは−π<α≦πの値をとる。
α(n+1)=α(n)+k*gα*dt
β(n+1)=β(n)+k*gβ*dt
γ(n+1)=γ(n)+k*gγ*dt
として算出できる。
図28を用いて、撮像者8が指し示した注目点座標が天頂補正でどのように処理されるかのイメージを説明する。図28(a)は撮像者8が対象を指し示す様子を示す。撮像者8は撮像装置5aで人形190を指し示している。
図29は、撮像装置5aが有する画像処理部16aの主要な機能ブロックを示す。画像処理部16aは、撮像画像取得部202と、つなぎ合わせ処理部204と、天頂補正部206と、全天球画像生成部208と、画像圧縮部210と、注目点定義部194と、注目点変換部196と、注目点指定有無判断部198と、を有する。
他の拠点から送信された全天球画像を受信すると、通信端末1〜4は全天球画像を表示する。
図30は変換テーブル及び平面座標系から球面座標系への変換を説明する図である。図30(a)は、本実施形態による撮像装置5aが用いる変換テーブルを説明する図である。変換テーブルは、撮像素子の平面座標系(x、y)で表現される部分画像から、球面座標系(θ、φ)の正距円筒画像(以下、補正後画像という)への射影を規定する。変換テーブルは、各魚眼レンズごとに、補正後画像の座標値(θ,φ)と、該座標値(θ,φ)にマッピングされる補正前の部分画像の座標値(x、y)とを対応付ける情報を、全座標値(θ,φ)に対して保持したものである。図30の例示では、1画素が担当する角度は、φ方向及びθ方向いずれも1/10度であり、変換テーブルは、各魚眼レンズについて、3600×1800の対応関係を示す情報を有している。オリジナルの変換テーブルは、事前に製造元等で理想的なレンズモデルからの歪みを補正した上で計算され、テーブル化されたものを用いることができる。
図31は、姿勢情報に基づく変換テーブルの補正を説明する図である。ここで、座標変換前の3次元直交座標を(x1,y1,z1)、(x1,y1,z1)の球面座標を(θ1,φ1)と表記し、座標変換後の3次元直交座標を(x2,y2,z2)、(x2,y2,z2)の球面座標を(θ2,φ2)と表記する。
続いて、図32を用いて、画像回転部216による回転処理について説明する。図32は画像回転部216の画像回転処理を模式的に示す図である。画像回転とは球面座標上で注目点座標を画像中央に移動させる処理をいう。
・回転後の新しい座標を(θN,φN)
・注目点座標を(θ0,φ0)
・回転の対象となる任意の座標を(θ、φ)
とする。
θN=θ−θ0 + 180° (θ−θ0 ≦ 180°)
θ−θ0 − 180° (θ−θ0 > 180°) … (7)
φN=φ−φ0 + 90° (φ−φ0 ≦ 90°)
φ−φ0 − 90° (φ−φ0 > 90°) … (8)
式(7)(8)は、中央点と注目点座標のθ方向とφ方向の差だけ任意の画素を回転(移動)させている。
続いて、図33を用い、拠点Aで得られた全天球画像及び音データが、通信管理システム50を介して、他の各通信端末2〜4へ送信される処理について説明する。図33は、映像通話における全天球画像及び音データの通信処理を示すシーケンス図である。
図35は、拠点Bにおいて通信端末2のディスプレイ917に表示された映像表示画面250の一例である。映像表示画面250の左側の表示領域(レイアウト番号「1」)には拠点Aの全天画像が表示され、右側上段の表示領域(レイアウト番号「2」)には拠点Cの全天球画像が表示されている。更に、映像表示画面250の右側中段の表示領域(レイアウト番号「3」)には拠点Dの画像が表示され、右側下段の表示領域(レイアウト番号「4」)には拠点B(自拠点)の画像が表示されている。レイアウト番号「1」の表示領域は主表示領域であり、レイアウト番号「2」、「3」及び「4」の表示領域は副表示領域である。主表示領域の画像と副表示領域の画像は、各通信端末で変更することができる。通常、各拠点では、主表示領域に、映像通話の中心人物がいる拠点の画像が表示される。
以上説明したように、本実施形態の画像通信システム10は、撮像装置5aに予め注目点座標が定義されており、撮像者がこの注目点座標で見せたい対象を指し示すことで、撮像者8は撮像装置だけでリアルタイムに他の拠点のユーザに注目点を注目点させることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
5 撮像装置
8 撮像者
10 画像通信システム
Claims (11)
- 画像を撮像する撮像装置であって、
前記画像における注目点を定義する注目点定義部と、
前記撮像装置の姿勢情報を取得する姿勢情報取得部と、
前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を変換する注目点変換部と、
前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出す切出処理部と、
を有することを特徴とする撮像装置。 - 前記姿勢情報取得部が取得した前記姿勢情報を用いて画像の天頂補正に関する処理を行う天頂補正部を有し、
前記注目点変換部は、前記天頂補正部による天頂補正の結果を用いて、前記注目点定義部が定義した注目点を変換することを特徴とする請求項1に記載の撮像装置。 - 前記天頂補正部は、撮像素子の座標値を球面座標系の座標値に変換する変換テーブルに、前記姿勢情報を用いて天頂補正を施し、
前記注目点変換部は前記注目点定義部が定義した注目点を撮像素子の座標値とし、前記姿勢情報で天頂補正が施された変換テーブルを用いて、前記注目点定義部が定義した注目点を球面座標系の座標値に変換することを特徴とする請求項2に記載の撮像装置。 - 前記天頂補正は、前記撮像装置の姿勢に関わらず、前記画像の上側に実空間の上側が写るように補正するものであり、
前記撮像装置の長手方向の上側が指し示す対象が写る撮像素子の座標値を、前記注目点定義部が前記注目点として定義することを特徴とする請求項2又は3に記載の撮像装置。 - 前記撮像装置が撮像する際、撮像者が注目点を指定しているか否かを判断する注目点指定有無判断部を有し、
前記注目点指定有無判断部は、撮像者が注目点を指定していると判断した場合、注目点が指定されている旨を前記画像に添付し、
前記注目点が指定されている旨が前記画像に添付されている場合、前記注目点変換部は前記注目点定義部が定義した注目点を変換することを特徴とする請求項1〜4のいずれか1項に記載の撮像装置。 - 撮像装置が撮像した画像を通信端末が画面に表示する画像通信システムであって、
前記画像における注目点を定義する注目点定義部と、
前記撮像装置の姿勢情報を取得する姿勢情報取得部と、
前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を変換する注目点変換部と、
前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出す切出処理部と、
前記切出処理部が切り出した注目点を含む所定領域を前記画面に表示する出力部と、
を有することを特徴とする画像通信システム。 - 前記出力部が表示する前記画像の表示領域の変更を受け付ける受付部を有し、
前記注目点変換部が変換した注目点を前記切出処理部が前記画像から切り出して前記出力部が表示している場合、
前記受付部は、前記表示領域の変更を受け付けないか、又は、
前記表示領域の変更を受け付けるが、前記表示領域の変更を受け付けなくなると、前記注目点変換部が変換した注目点を前記切出処理部が前記画像から切り出して前記出力部が表示することを特徴とする請求項6に記載の画像通信システム。 - 前記出力部は、前記注目点が指定されている旨が前記画像に添付されている場合、前記注目点が指定されている旨を表示することを特徴とする請求項6又は7に記載の画像通信システム。
- 画像を撮像する撮像装置と、前記画像を画面に表示する通信端末とを有する画像通信システムが行う画像処理方法であって、
姿勢情報取得部が、前記撮像装置の姿勢情報を取得するステップと、
前記姿勢情報取得部が取得した前記姿勢情報に応じて、注目点定義部が定義している注目点を注目点変換部が変換するステップと、
切出処理部が、前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出すステップと、
出力部が、前記切出処理部が切り出した注目点を含む所定領域を前記画面に表示するステップと、
を有することを特徴とする画像処理方法。 - 画像を撮像する撮像装置を、
前記画像における注目点を定義する注目点定義部と、
前記撮像装置の姿勢情報を取得する姿勢情報取得部と、
前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を変換する注目点変換部と、
前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出す切出処理部、
として機能させるためのプログラム。 - 画像を撮像する撮像装置から取得した前記画像を画面に表示する通信端末を、
姿勢情報取得部が取得した前記撮像装置の姿勢情報に応じて変換された、注目点定義部が定義している注目点、及び、前記画像を受信する受信部と、
前記受信部が受信した前記注目点を含む所定領域を前記画像から切り出す切出処理部と、
前記切出処理部が切り出した注目点を含む所定領域を前記画面に表示する出力部、
として機能させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019049128A JP7192592B2 (ja) | 2019-03-15 | 2019-03-15 | 撮像装置、画像通信システム、画像処理方法、プログラム |
US16/785,658 US11206351B2 (en) | 2019-03-15 | 2020-02-10 | Omnidirectional camera system with improved point of interest selection |
US17/537,483 US11956547B2 (en) | 2019-03-15 | 2021-11-30 | Omnidirectional camera system with improved point of interest selection |
JP2022196234A JP2023039975A (ja) | 2019-03-15 | 2022-12-08 | 通信端末、画像通信システム、表示方法、プログラム |
US18/606,279 US20240223904A1 (en) | 2019-03-15 | 2024-03-15 | Omnidirectional camera system with improved point of interest selection |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019049128A JP7192592B2 (ja) | 2019-03-15 | 2019-03-15 | 撮像装置、画像通信システム、画像処理方法、プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022196234A Division JP2023039975A (ja) | 2019-03-15 | 2022-12-08 | 通信端末、画像通信システム、表示方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020149635A true JP2020149635A (ja) | 2020-09-17 |
JP7192592B2 JP7192592B2 (ja) | 2022-12-20 |
Family
ID=72424225
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019049128A Active JP7192592B2 (ja) | 2019-03-15 | 2019-03-15 | 撮像装置、画像通信システム、画像処理方法、プログラム |
JP2022196234A Pending JP2023039975A (ja) | 2019-03-15 | 2022-12-08 | 通信端末、画像通信システム、表示方法、プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022196234A Pending JP2023039975A (ja) | 2019-03-15 | 2022-12-08 | 通信端末、画像通信システム、表示方法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (3) | US11206351B2 (ja) |
JP (2) | JP7192592B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020043387A (ja) | 2018-09-06 | 2020-03-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び、記憶媒体 |
JP7400195B2 (ja) * | 2019-03-11 | 2023-12-19 | 株式会社リコー | 画像通信システム、撮像装置、通信端末、モード切替方法、プログラム |
JP7533061B2 (ja) | 2020-09-18 | 2024-08-14 | 株式会社リコー | 通信端末、画像通信システム、画像表示方法およびプログラム |
JP2022057800A (ja) * | 2020-09-30 | 2022-04-11 | 株式会社リコー | 画像通信システム、通信管理装置、通信管理方法及びプログラム |
JP2022057771A (ja) | 2020-09-30 | 2022-04-11 | 株式会社リコー | 通信管理装置、画像通信システム、通信管理方法及びプログラム |
JP2022186117A (ja) * | 2021-06-04 | 2022-12-15 | 株式会社リコー | 通信端末、画像通信システム、画像表示方法およびプログラム |
JP2023048464A (ja) | 2021-09-28 | 2023-04-07 | 株式会社リコー | メディア配信システム、通信システム、配信制御装置、配信制御方法及びプログラム |
JP2023081226A (ja) | 2021-11-30 | 2023-06-09 | 株式会社リコー | 通信管理装置、通信システム、通信管理方法、及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016167739A (ja) * | 2015-03-10 | 2016-09-15 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
JP2019024206A (ja) * | 2018-09-06 | 2019-02-14 | 株式会社リコー | 画像表示システム、画像表示装置、画像表示方法、およびプログラム |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6075066B2 (ja) | 2012-12-28 | 2017-02-08 | 株式会社リコー | 画像管理システム、画像管理方法、及びプログラム |
JP6398472B2 (ja) * | 2014-08-27 | 2018-10-03 | 株式会社リコー | 画像表示システム、画像表示装置、画像表示方法、およびプログラム |
JP6617547B2 (ja) | 2015-12-11 | 2019-12-11 | 株式会社リコー | 画像管理システム、画像管理方法、プログラム |
US9602795B1 (en) * | 2016-02-22 | 2017-03-21 | Gopro, Inc. | System and method for presenting and viewing a spherical video segment |
KR20180031437A (ko) * | 2016-09-20 | 2018-03-28 | 엘지전자 주식회사 | 디스플레이 장치 |
US10721116B2 (en) | 2016-09-30 | 2020-07-21 | Ricoh Company, Ltd. | Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium |
US10264302B2 (en) | 2016-09-30 | 2019-04-16 | Ricoh Company, Ltd. | Communication management apparatus, method and computer-readable storage medium for generating image data identification information |
KR102598082B1 (ko) * | 2016-10-28 | 2023-11-03 | 삼성전자주식회사 | 영상 표시 장치, 모바일 장치 및 그 동작방법 |
JP6756269B2 (ja) | 2017-01-05 | 2020-09-16 | 株式会社リコー | 通信端末、画像通信システム、通信方法、及びプログラム |
JP6805861B2 (ja) | 2017-02-09 | 2020-12-23 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
JP6919334B2 (ja) * | 2017-05-26 | 2021-08-18 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム |
US10664947B2 (en) * | 2017-06-30 | 2020-05-26 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method to represent part of spherical image in planar image using equidistant cylindrical projection |
JP2019054322A (ja) | 2017-09-12 | 2019-04-04 | 株式会社リコー | 通信端末、画像通信システム、通信方法、及びプログラム |
JP6907861B2 (ja) | 2017-09-25 | 2021-07-21 | 株式会社リコー | 通信端末、画像通信システム、表示方法、及びプログラム |
EP3461124B1 (en) | 2017-09-25 | 2024-05-01 | Ricoh Company, Ltd. | Communication terminal, image communication system, display control method, and carrier means |
JP7031280B2 (ja) * | 2017-12-18 | 2022-03-08 | 株式会社リコー | 画像処理装置、画像処理システムおよびプログラム |
JP7095361B2 (ja) | 2018-03-29 | 2022-07-05 | 株式会社リコー | 通信端末、画像通信システム、表示方法、及びプログラム |
JP7164831B2 (ja) | 2018-03-30 | 2022-11-02 | 株式会社リコー | 通信管理システム、通信システム、通信方法、及びプログラム |
JP2019180027A (ja) | 2018-03-30 | 2019-10-17 | 株式会社リコー | 通信端末、画像通信システム、表示方法、及びプログラム |
US10554883B2 (en) | 2018-03-30 | 2020-02-04 | Ricoh Company, Ltd. | VR system, communication method, and non-transitory computer-readable medium |
JP7400195B2 (ja) * | 2019-03-11 | 2023-12-19 | 株式会社リコー | 画像通信システム、撮像装置、通信端末、モード切替方法、プログラム |
JP7527778B2 (ja) * | 2019-12-05 | 2024-08-05 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、記憶媒体 |
-
2019
- 2019-03-15 JP JP2019049128A patent/JP7192592B2/ja active Active
-
2020
- 2020-02-10 US US16/785,658 patent/US11206351B2/en active Active
-
2021
- 2021-11-30 US US17/537,483 patent/US11956547B2/en active Active
-
2022
- 2022-12-08 JP JP2022196234A patent/JP2023039975A/ja active Pending
-
2024
- 2024-03-15 US US18/606,279 patent/US20240223904A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016167739A (ja) * | 2015-03-10 | 2016-09-15 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
JP2019024206A (ja) * | 2018-09-06 | 2019-02-14 | 株式会社リコー | 画像表示システム、画像表示装置、画像表示方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20200296302A1 (en) | 2020-09-17 |
US11956547B2 (en) | 2024-04-09 |
US20240223904A1 (en) | 2024-07-04 |
JP2023039975A (ja) | 2023-03-22 |
US20220086346A1 (en) | 2022-03-17 |
US11206351B2 (en) | 2021-12-21 |
JP7192592B2 (ja) | 2022-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7400195B2 (ja) | 画像通信システム、撮像装置、通信端末、モード切替方法、プログラム | |
JP7322940B2 (ja) | 画像通信システム、画像通信端末、画像通信方法、プログラム、及び記録媒体 | |
US11558431B2 (en) | Communication terminal, communication system, communication method, and display method | |
JP7452596B2 (ja) | 通信端末、表示方法、プログラム及び画像通信システム | |
JP7192592B2 (ja) | 撮像装置、画像通信システム、画像処理方法、プログラム | |
JP6907861B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
US10721116B2 (en) | Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium | |
JP7095361B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP2019180027A (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP2019054322A (ja) | 通信端末、画像通信システム、通信方法、及びプログラム | |
JP2022050979A (ja) | 通信端末、画像通信システム、画像表示方法およびプログラム | |
JP2022057800A (ja) | 画像通信システム、通信管理装置、通信管理方法及びプログラム | |
JP2022130180A (ja) | 画像処理方法、プログラム、画像処理装置および画像処理システム | |
JP7017045B2 (ja) | 通信端末、表示方法、及びプログラム | |
JP7151316B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP2019145959A (ja) | 通信端末、通信システム、通信方法、及びプログラム | |
JP7354733B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP7326789B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP7371369B2 (ja) | 通信端末および画像通信システム | |
JP6992338B2 (ja) | 通信システム、通信管理方法、プログラム、システム及び通信方法 | |
JP7006133B2 (ja) | 通信システム及び通信方法 | |
JP2024112447A (ja) | 表示端末、通信処理システム、通信システム、表示方法、通信処理方法、通信方法、及びプログラム | |
JP2022186117A (ja) | 通信端末、画像通信システム、画像表示方法およびプログラム | |
JP2019180078A (ja) | 通信端末、画像通信システム、表示方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221121 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7192592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |