JP2020167614A - Remote communication apparatus - Google Patents

Remote communication apparatus Download PDF

Info

Publication number
JP2020167614A
JP2020167614A JP2019068769A JP2019068769A JP2020167614A JP 2020167614 A JP2020167614 A JP 2020167614A JP 2019068769 A JP2019068769 A JP 2019068769A JP 2019068769 A JP2019068769 A JP 2019068769A JP 2020167614 A JP2020167614 A JP 2020167614A
Authority
JP
Japan
Prior art keywords
remote communication
display
image
communication device
devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019068769A
Other languages
Japanese (ja)
Other versions
JP6745374B1 (en
Inventor
亮 村瀬
Akira Murase
亮 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snow Peak Business Solutions Inc
Original Assignee
Snow Peak Business Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snow Peak Business Solutions Inc filed Critical Snow Peak Business Solutions Inc
Priority to JP2019068769A priority Critical patent/JP6745374B1/en
Application granted granted Critical
Publication of JP6745374B1 publication Critical patent/JP6745374B1/en
Publication of JP2020167614A publication Critical patent/JP2020167614A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

To provide a remote communication apparatus and a method capable of enhancing a sense of unity with other points.SOLUTION: Remote communication apparatuses 100A, 100B for obtaining spatial images of distant points at each point and displaying the spatial images of other points at each point includes an imaging device 2 provided at each point to acquire a spatial image, a display device 3 for displaying a spatial image, and a control device 4 for controlling operation of the imaging device 2 and the display device 3 and transmitting and receiving spatial images. The imaging device 2, the display device 3, and the control device 4 are combined into one set. Two sets are provided so that an imaging area of the imaging device 2 is substantially continuous and a display area of the display device 3 is substantially continuous.SELECTED DRAWING: Figure 1

Description

本発明は、遠隔コミュニケーション装置及び遠隔コミュニケーション方法に関する。 The present invention relates to a remote communication device and a remote communication method.

離れた2地点に撮像機を設置し、一方の地点の空間画像を他方の地点において表示することによって、離れた地点の空間情報を相互に共有することが提案されている(例えば、特許文献1参照)。 It has been proposed to share spatial information of distant points with each other by installing an imager at two distant points and displaying a spatial image of one point at the other point (for example, Patent Document 1). reference).

特開2004−297766号公報Japanese Unexamined Patent Publication No. 2004-297766

特許文献1に開示された技術等によって、離れた地点の空間情報を共有することにより、複数地点が同一の空間に仮想的に存在する状況を創出して、離れた地点間のコミュニケーションを円滑化することが可能となる。 By sharing spatial information of distant points by the technology disclosed in Patent Document 1, a situation in which a plurality of points virtually exist in the same space is created, and communication between distant points is facilitated. It becomes possible to do.

しかし、従来の技術で得られる空間画像は平面的であり、かつ、その撮像領域が限られていることにより、他地点との一体感が十分に得られないという問題がある。 However, there is a problem that the spatial image obtained by the conventional technique is flat and the imaging area is limited, so that a sense of unity with other points cannot be sufficiently obtained.

本発明は、上記実情に鑑みて成されたものであり、他地点との一体感をより高めることのできる遠隔コミュニケーション装置と方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a remote communication device and a method capable of further enhancing a sense of unity with other points.

上記目的を達成するため、この発明の遠隔コミュニケーション装置は、
離れた地点の空間画像をそれぞれの地点で取得し、それぞれの地点において他の地点の空間画像を表示するようにした遠隔コミュニケーション用の遠隔コミュニケーション装置であって、
空間画像を取得する2つの撮像装置と空間画像を表示する2つの表示装置と、前記撮像装置と前記表示装置を制御するとともに、空間画像の送受信を行う制御装置とを備え、
前記2つの撮像装置は、撮像領域が空間上で連続するように設定され、前記2つの表示装置は表示領域が連続するように配置されており、
前記2つの表示装置の表示領域は交差して配置されている、
ことを特徴とする。
In order to achieve the above object, the remote communication device of the present invention
It is a remote communication device for remote communication that acquires a spatial image of a distant point at each point and displays a spatial image of another point at each point.
It is provided with two imaging devices for acquiring a spatial image, two display devices for displaying a spatial image, and a control device for controlling the imaging device and the display device and transmitting and receiving a spatial image.
The two image pickup devices are set so that the image pickup areas are continuous in space, and the two display devices are arranged so that the display areas are continuous.
The display areas of the two display devices are arranged so as to intersect.
It is characterized by that.

例えば、前記2つの表示装置は、表示領域が直交するように配置される。 For example, the two display devices are arranged so that the display areas are orthogonal to each other.

前記2つの撮像装置の光軸は、例えば、表示装置の表示領域に直交し且つ水平である。 The optical axes of the two image pickup devices are, for example, orthogonal to and horizontal to the display area of the display device.

前記2つの撮像装置は、例えば、一方の撮像装置の取得画像の一方の側縁が、その撮像装置が設置されている室内の角部に設定され、他方の撮像装置の取得画像の他方の側縁が、前記室内の前記角部に設定される。 In the two image pickup devices, for example, one side edge of the acquired image of one image pickup device is set at a corner of a room in which the image pickup device is installed, and the other side of the acquired image of the other image pickup device is set. An edge is set at the corner of the room.

前記2つの撮像装置は異なるエリアを撮像の対象とすることが望ましい。 It is desirable that the two imaging devices target different areas for imaging.

前記2つの表示装置の表示領域は、例えば、その表示装置が設置されている室の壁面に平行に設定されている。 The display areas of the two display devices are set, for example, parallel to the wall surface of the room in which the display devices are installed.

前記2つの表示装置の下端部を覆うテーブルを更に備え、前記テーブルは、前記2つの表示装置の表示領域が形成する扇状の領域に入り込む形状を有するようにしてもよい。 A table that covers the lower ends of the two display devices may be further provided, and the table may have a shape that fits into a fan-shaped area formed by the display areas of the two display devices.

前記各表示装置が、例えば、それぞれの筐体間に設けられた蝶番によって折りたたみ可能に連結されているように構成しても良い。 Each of the display devices may be configured to be foldably connected by, for example, a hinge provided between the respective housings.

前記各撮像装置は、例えば、表示装置に設置されている。 Each of the imaging devices is installed in, for example, a display device.

上記目的を達成するため、この発明の遠隔コミュニケーション方法は、
離れた地点の空間画像をそれぞれの地点で取得し、それぞれの地点において他の地点の空間画像を表示することを含む、遠隔コミュニケーション方法であって、
それぞれの地点で、2つの空間画像を取得し、相手側の地点に送信し、相手側の地点で2つの空間画像を表示し、
それぞれの地点で取得する2つの空間画像の撮像領域を連続させ、
2つの空間画像を表示する表示領域を連続させる、
ことを特徴とする。
In order to achieve the above object, the remote communication method of the present invention
A remote communication method that includes acquiring spatial images of distant points at each point and displaying spatial images of other points at each point.
At each point, get two spatial images, send them to the other point, display the two spatial images at the other point,
The imaging areas of the two spatial images acquired at each point are made continuous,
Consecutive display areas for displaying two spatial images,
It is characterized by that.

本発明の遠隔コミュニケーション装置によれば、2地点間で空間を共有することにより、遠隔地間の空間共有の一体感を高めることができる。 According to the remote communication device of the present invention, by sharing a space between two points, it is possible to enhance the sense of unity of space sharing between remote locations.

本発明の第1の実施形態に係る遠隔コミュニケーションシステムの全体のブロック図である。It is a block diagram of the whole remote communication system which concerns on 1st Embodiment of this invention. 第1の実施形態に係る遠隔コミュニケーション装置の斜視図である。It is a perspective view of the remote communication apparatus which concerns on 1st Embodiment. 第1の実施形態に係る遠隔コミュニケーション装置の構成と配置を示す平面図である。It is a top view which shows the structure and arrangement of the remote communication apparatus which concerns on 1st Embodiment. 第1の実施形態に係る遠隔コミュニケーション装置の一部を省略した側面図である。It is a side view which omitted a part of the remote communication apparatus which concerns on 1st Embodiment. 第1の実施形態を示すに係る遠隔コミュニケーション装置の一コミニュケーションユニットの概略正面図である。It is a schematic front view of one communication unit of the remote communication device which concerns on 1st Embodiment. 第1の実施形態に係る遠隔コミュニケーション装置の撮像装置の構成と配置を示す平面図である。It is a top view which shows the structure and arrangement of the image pickup apparatus of the remote communication apparatus which concerns on 1st Embodiment. (a)図6に示すように撮像装置が設定された場合の好適な表示例を示す図、(b)〜(d)撮像装置の設置位置と方向とがずれた場合の望ましくない表示例を示す図である。(A) A diagram showing a suitable display example when the imaging device is set as shown in FIG. 6, and (b) to (d) an undesired display example when the installation position and direction of the imaging device deviate from each other. It is a figure which shows. 第1の実施形態に係る遠隔コミュニケーション装置の表示例を説明するための概略図である。It is a schematic diagram for demonstrating the display example of the remote communication apparatus which concerns on 1st Embodiment. 第1の実施形態に係る遠隔コミュニケーション装置の作用を説明するための概略図である。It is the schematic for demonstrating the operation of the remote communication apparatus which concerns on 1st Embodiment. 第1の実施形態に係る遠隔コミュニケーション装置の使用例を説明するための概略図である。It is the schematic for demonstrating the use example of the remote communication apparatus which concerns on 1st Embodiment. 第1の実施形態に係る遠隔コミュニケーション装置の他の使用例を説明するための概略図である。It is the schematic for demonstrating another use example of the remote communication apparatus which concerns on 1st Embodiment. 第1の実施形態に係る遠隔コミュニケーション装置の撮像装置の配置の変形例を示す平面図である。It is a top view which shows the modification of the arrangement of the image pickup apparatus of the remote communication apparatus which concerns on 1st Embodiment. 第1の実施形態に係る遠隔コミュニケーション装置の撮像装置の配置の第2の変形例を示す平面図である。It is a top view which shows the 2nd modification of the arrangement of the image pickup apparatus of the remote communication apparatus which concerns on 1st Embodiment. 本発明の第2の実施形態を示す平面図である。It is a top view which shows the 2nd Embodiment of this invention. 第2の実施形態を示す正面図である。It is a front view which shows the 2nd Embodiment. 第2の実施形態を示す側面図である。It is a side view which shows the 2nd Embodiment. 第2の実施形態を示すもので、展開した状態の平面図である。The second embodiment is shown, and is a plan view of the developed state. 第2の実施形態を示すもので、展開した状態の正面図である。The second embodiment is shown, and is the front view of the developed state.

以下、本発明の第1の実施形態に係る遠隔コミュニケーション装置について、図1ないし図10を参照して説明する。 Hereinafter, the remote communication device according to the first embodiment of the present invention will be described with reference to FIGS. 1 to 10.

図1に示すように、本実施形態に係わる遠隔コミュニケーションシステム100は、ネットワークNWを介して相互に接続された遠隔コミュニケーション装置100Aと遠隔コミュニケーション装置100Bとから構成されている。 As shown in FIG. 1, the remote communication system 100 according to the present embodiment is composed of a remote communication device 100A and a remote communication device 100B that are interconnected via a network NW.

遠隔コミュニケーション装置100Aと100Bとは、それぞれ、拠点SAとSBに設置され、拠点SAとSBの空間画像と音声を取得して相手側の遠隔コミュニケーション装置100Bと100Aに送信する。また、遠隔コミュニケーション装置100Aと100Bとは、それぞれ、相手側から受信した空間画像と音声を表示及び放音する。遠隔コミュニケーションシステム100は、こうして、拠点SAとSBが同一の空間に仮想的に存在する状況を創出して、コミュニケーションを円滑化する。 The remote communication devices 100A and 100B are installed at the bases SA and SB, respectively, and acquire spatial images and sounds of the bases SA and SB and transmit them to the remote communication devices 100B and 100A on the other side. Further, the remote communication devices 100A and 100B display and emit a spatial image and sound received from the other party, respectively. In this way, the remote communication system 100 creates a situation in which the base SA and the SB virtually exist in the same space, and facilitates communication.

遠隔コミュニケーション装置100Aと100Bは、互いに実質的に同一の構成を有する。従って、ここでは、遠隔コミュニケーション装置100Aを例に構成を説明する。 The remote communication devices 100A and 100B have substantially the same configuration as each other. Therefore, here, the configuration will be described using the remote communication device 100A as an example.

遠隔コミュニケーション装置100Aは、図1及び図2に示すようにコミュニケーションユニット1aと1bとを備える。 The remote communication device 100A includes communication units 1a and 1b as shown in FIGS. 1 and 2.

コミュニケーションユニット1aと1bとは、図2に示すように、組み合わせて配置され、それぞれ、撮像装置2と表示装置3と制御装置4とを備える。 As shown in FIG. 2, the communication units 1a and 1b are arranged in combination, and include an image pickup device 2, a display device 3, and a control device 4, respectively.

撮像装置2は、遠隔コミュニケーション装置100Aの正面側の空間画像と音声を取得し、制御装置4に供給する。なお、撮像装置2の詳細は後述する。 The image pickup device 2 acquires the spatial image and sound on the front side of the remote communication device 100A and supplies them to the control device 4. The details of the imaging device 2 will be described later.

表示装置3は、制御装置4によって駆動されて画像を照射する投影機3aと、照射された画像を結像して、表示領域となるスクリーン3bとから構成されている。 The display device 3 is composed of a projector 3a driven by a control device 4 to irradiate an image, and a screen 3b that forms an image of the irradiated image and serves as a display area.

図2に示すように、各スクリーン3bは、矩形状に組み上げられた支持フレーム5によって支持されている。各スクリーン3bは対角80インチ以上のサイズを有する。対角80インチは、人物を投影した際に、この人物が等身大に見える最小限度の大きさである。また、スクリーン3bの横縦比は16:9のサイズを有する。スクリーン3bは、例えば、ほぼ白色のシート又は板状部材から構成されている。スクリーン3bは鉛直面となるように、支持フレーム5により支持されることが望ましい。 As shown in FIG. 2, each screen 3b is supported by a support frame 5 assembled in a rectangular shape. Each screen 3b has a size of 80 inches or more diagonally. The 80-inch diagonal is the minimum size that makes a person look life-sized when projected. Further, the aspect ratio of the screen 3b has a size of 16: 9. The screen 3b is composed of, for example, a substantially white sheet or plate-like member. It is desirable that the screen 3b be supported by the support frame 5 so that it faces the vertical.

2つのスクリーン3bは、図2に正面図で及び図3に平面図で示すように、それぞれの一側縁を突き合わせるようにして設置され、かつ、両スクリーン3bが交差するように、この例では、両スクリーン3bがほぼ90°で交差するように設置されている。 In this example, the two screens 3b are installed so that their side edges abut each other, as shown in the front view in FIG. 2 and the plan view in FIG. 3, and the two screens 3b intersect. Then, both screens 3b are installed so as to intersect at approximately 90 °.

スクリーン3bの外縁部は露出した支持フレーム5により矩形状に囲まれており、窓枠に囲まれた窓の印象を与える意匠が施されている。これに対し、スクリーン3bの相互に突き合わされる側縁部において、支持フレーム5はスクリーン3bによって覆われ、外部に露出しないような構成を有する。 The outer edge of the screen 3b is surrounded by an exposed support frame 5 in a rectangular shape, and is designed to give the impression of a window surrounded by the window frame. On the other hand, at the side edges of the screens 3b that are butted against each other, the support frame 5 is covered by the screens 3b and has a structure that is not exposed to the outside.

この構成をコミュニケーションユニット1bのスクリーン3bについて、図5に示す。このスクリーン3bは、その右側の側縁部において、図示せぬコミュニケーションユニット1aのスクリーン3bの左側の側縁部に突き合わせられるようになされている。また、スクリーン3bは、右側縁部において、支持フレーム5の縦支持フレーム5aを包み込むようにして装着されている。そして、コミュニケーションユニット1aのスクリーン3bにおいては、左側縁部において同様の加工がなされている。 This configuration is shown in FIG. 5 with respect to the screen 3b of the communication unit 1b. The screen 3b is adapted to be abutted against the left side edge of the screen 3b of the communication unit 1a (not shown) at the right side edge thereof. Further, the screen 3b is attached so as to wrap the vertical support frame 5a of the support frame 5 at the right edge portion. Then, in the screen 3b of the communication unit 1a, the same processing is performed on the left edge portion.

このような一対のスクリーン3bを、前述した処理がなされた側縁部において突き合わせると、図2に示すように、表示領域がつなぎ目のない連続した表示領域となされる。本実施形態においては、80インチで縦横比が9:16の表示領域が横方向に連続した大画面が形成されることとなる。 When such a pair of screens 3b are butted against each other at the side edges where the above-described processing has been performed, the display area becomes a seamless and continuous display area as shown in FIG. In the present embodiment, a large screen in which the display area of 80 inches and the aspect ratio of 9:16 is continuous in the horizontal direction is formed.

図3に示すように、コミュニケーションユニット1aと1bは、拠点SAの空間を区画する部屋の壁面(壁部)21に平行かつ等距離L1に設置されることが望ましい。距離L1は、比較的小さいこと、例えば、1m以下が望ましい。さらに、0.5m以下がより望ましい。 As shown in FIG. 3, it is desirable that the communication units 1a and 1b are installed parallel to the wall surface (wall portion) 21 of the room that divides the space of the base SA and equidistant L1. The distance L1 is preferably relatively small, for example, 1 m or less. Further, 0.5 m or less is more desirable.

なお、各スクリーン3bは、支持フレーム5の下端部まで延在している。これにより、背景を隠す機能を果たす。 Each screen 3b extends to the lower end of the support frame 5. This functions to hide the background.

また、支持フレーム5の下端には、ロック機能付きのキャスター6が取り付けられている。 Further, a caster 6 with a lock function is attached to the lower end of the support frame 5.

支持フレーム5の下部には、図2〜図5に示すように、前方へ向かって突出する支持ラック8が一体に設けられている。支持ラック8は、上下2段の載置プレート8aと8bを備える。上段の載置プレート8aには、投影機3aが設置されている。また、下段の載置プレート8bには、制御装置4が設置されている。 As shown in FIGS. 2 to 5, a support rack 8 projecting forward is integrally provided at the lower part of the support frame 5. The support rack 8 includes two upper and lower mounting plates 8a and 8b. A projector 3a is installed on the upper mounting plate 8a. Further, a control device 4 is installed on the lower mounting plate 8b.

図4に示すように、支持ラック8は下方へ向かう支持脚9を備えている。支持脚9の下端には、支持ラック8にかかる荷重を支持するキャスター10が装着されている。 As shown in FIG. 4, the support rack 8 includes downward support legs 9. A caster 10 that supports the load applied to the support rack 8 is mounted on the lower end of the support leg 9.

キャスター6と10により、遠隔コミュニケーション装置100Aは、起立して支持されると共に移動可能となっている。 The casters 6 and 10 allow the remote communication device 100A to stand up, be supported, and move.

表示装置3を構成する投影機3aは、超短焦点型のプロジェクターが用いられており、これによって、投影機3aとスクリーン3bとの距離を狭めつつ対角80インチの大きな画像をスクリーン3b上に投影することを可能にしている。また、投影機3aとスクリーン3bとの距離を狭めることによって、遠隔コミュニケーション装置100Aの前後の寸法を小さく抑えている。さらに、超短焦点型のプロジェクターを使用することにより、スクリーン3bに投影される像が明るい蛍光灯などの下でも見えやすくなっている。
投影機3aは、音声信号処理回路とスピーカを備え、オーディオ信号も出力する。
An ultra-short throw projector is used as the projector 3a constituting the display device 3, whereby a large image of 80 inches diagonal is displayed on the screen 3b while narrowing the distance between the projector 3a and the screen 3b. It makes it possible to project. Further, by narrowing the distance between the projector 3a and the screen 3b, the front and rear dimensions of the remote communication device 100A are kept small. Further, by using an ultra-short throw projector, the image projected on the screen 3b can be easily seen even under a bright fluorescent lamp or the like.
The projector 3a includes an audio signal processing circuit and a speaker, and also outputs an audio signal.

図2〜図5に示すように、直交して設置された一対のスクリーン3bの前方に、スクリーン3bの下端部、支持フレーム5の下端部、支持ラック8、及び支持ラック8に載置された投影機3aと制御装置4とを隠すようにテーブル7が設置されている。テーブル7は、図3に示すように、平面視で、V字状に形成され、その辺部は、一対のスクリーン3bが形成する扇状の領域に入り込む位置に延在している。 As shown in FIGS. 2 to 5, the lower end of the screen 3b, the lower end of the support frame 5, the support rack 8, and the support rack 8 are placed in front of the pair of screens 3b installed orthogonally. A table 7 is installed so as to hide the projector 3a and the control device 4. As shown in FIG. 3, the table 7 is formed in a V shape in a plan view, and its side portion extends to a position where it enters a fan-shaped region formed by a pair of screens 3b.

図1に示す撮像装置2は、CMOS(Complementary Metal Oxide Semiconductor)センサ、CCD(Charge Coupled Device)センサ等から構成される。コミュニケーションユニット1aと1bの撮像装置2は、図2〜図4に示すように、コミュニケーションユニット1aの支持フレーム5上に隣接して配置されている。 The imaging device 2 shown in FIG. 1 is composed of a CMOS (Complementary Metal Oxide Semiconductor) sensor, a CCD (Charge Coupled Device) sensor, and the like. As shown in FIGS. 2 to 4, the image pickup devices 2 of the communication units 1a and 1b are arranged adjacent to each other on the support frame 5 of the communication unit 1a.

図3に示すように、コミュニケーションユニット1aの撮像装置2(区別のため、撮像装置2a)は、コミュニケーションユニット1aのスクリーン3bに垂直方向に光軸を向けて設置されている。一方、コミュニケーションユニット1bの撮像装置2(区別のため、撮像装置2b)は、その光軸を、コミュニケーションユニット1bの対向方向に向けて設置されている。 As shown in FIG. 3, the image pickup device 2 (for distinction, the image pickup device 2a) of the communication unit 1a is installed with the optical axis oriented perpendicular to the screen 3b of the communication unit 1a. On the other hand, the image pickup device 2 of the communication unit 1b (for the sake of distinction, the image pickup device 2b) is installed so that its optical axis faces the opposite direction of the communication unit 1b.

撮像装置2aと2bは、それぞれ、表示装置3と同様に、縦横比9:16の画像を撮像する。 The image pickup devices 2a and 2b each capture an image having an aspect ratio of 9:16, similarly to the display device 3.

図6に平面で模式的に示すように、撮像装置2aと2bは、光軸AXを中心として、左右に角度θ1の視野を有する。θ1は、例えば、32°に設定される。
また、撮像装置2aの光軸AXaは、コミュニケーションユニット1bのスクリーン3bに垂直方向に、且つ、水平に設定される。さらに、撮像装置2aは、その視野(撮像範囲)の左側端LEが拠点SAの空間を確定している平面(壁部)22の角部23に向かう位置に設置される。
一方、撮像装置2bは、光軸AXbが水平で且つ、コミュニケーションユニット1bのスクリーン3bが向いている方向に傾いて設置されている。さらに、その視野(撮像範囲)の右側端REが角部23に向かう位置と向きに設置される。
As schematically shown in a plane in FIG. 6, the imaging devices 2a and 2b have a field of view at an angle θ1 to the left and right with the optical axis AX as the center. θ1 is set to, for example, 32 °.
Further, the optical axis AXa of the image pickup apparatus 2a is set in the direction perpendicular to the screen 3b of the communication unit 1b and horizontally. Further, the image pickup device 2a is installed at a position where the left end LE of the field of view (imaging range) faces the corner portion 23 of the plane (wall portion) 22 that determines the space of the base SA.
On the other hand, the image pickup device 2b is installed so that the optical axis AXb is horizontal and the screen 3b of the communication unit 1b is oriented. Further, the right end RE of the field of view (imaging range) is installed at a position and orientation toward the corner portion 23.

撮像装置2aと2bをこのように設置することにより、図7(a)に例示するように、直線状の角部23の画像が一対のスクリーン3bの境界に重なり、2つの空間画像が連続して2つのスクリーン3bに表示される。このため、観察者に一体感及び没入感を与えることができる。 By installing the image pickup devices 2a and 2b in this way, as illustrated in FIG. 7A, the image of the linear corner portion 23 overlaps the boundary of the pair of screens 3b, and the two spatial images are continuous. Is displayed on two screens 3b. Therefore, it is possible to give the observer a sense of unity and immersion.

これに対して、撮像装置2aと2bの光軸AXaとAXbが、例えば、下向きに傾いた場合、図7(b)に例示するように、角部23の画像が、一対のスクリーン3bの境界に重ならず、傾斜して両方のスクリーン3bに表示されてしまう。このため両画像の連続性は確保されず、臨場感及び没入感に欠ける画像となる。撮像装置2aと2bの光軸AXaとAXbが、上向きに傾いた場合も同様である。
撮像装置2aと2bの視野が、例えば、角部23を含んで重複した場合には、図7(c)に例示するように、角部23を含む同一領域の画像が、一対のスクリーン3bの境界に表示されてしまう。このため両画像の連続性は確保されず、臨場感及び没入感に欠ける画像となる。
撮像装置2aと2bの視野が接しない場合には、図7(d)に例示するように、一対のスクリーン3bの表示画像がばらばらになり、表示画像の一体性及び連続性は確保されず、臨場感及び没入感に欠ける画像となる。
On the other hand, when the optical axes AXa and AXb of the imaging devices 2a and 2b are tilted downward, for example, the image of the corner portion 23 is the boundary between the pair of screens 3b, as illustrated in FIG. 7B. It does not overlap with, and is tilted and displayed on both screens 3b. Therefore, the continuity of both images is not ensured, and the image lacks a sense of presence and immersiveness. The same applies when the optical axes AXa and AXb of the image pickup devices 2a and 2b are tilted upward.
When the fields of view of the image pickup devices 2a and 2b overlap, for example, including the corner portion 23, as illustrated in FIG. 7C, an image of the same region including the corner portion 23 is displayed on the pair of screens 3b. It will be displayed on the border. Therefore, the continuity of both images is not ensured, and the image lacks a sense of presence and immersiveness.
When the visual fields of the image pickup devices 2a and 2b do not come into contact with each other, the display images of the pair of screens 3b are separated as illustrated in FIG. 7D, and the unity and continuity of the display images are not ensured. The image lacks a sense of presence and immersiveness.

撮像装置2aと2bは、それぞれ、その光軸AXa、AXbが水平に設置される。撮像装置2aと2bの設置高さは、例えば、遠隔コミュニケーション装置100Aの利用者の平均的な目の高さ±10cm程度、例えば、169cm程度に設定されている。 The optical axes AXa and AXb of the image pickup devices 2a and 2b are installed horizontally, respectively. The installation height of the image pickup devices 2a and 2b is set to, for example, about ± 10 cm, for example, about 169 cm, which is the average eye height of the user of the remote communication device 100A.

このような配置とすることにより、撮像装置2aと2bの撮像対象エリアが違いに異なる個と隣、取得した画像は互いには重複しない。ただし、撮像装置2aと2bは、隣接して配置されているため、ほぼ欠落なく、指向方向の空間画像を取得できる。 With such an arrangement, the images to be imaged in the imaging devices 2a and 2b are adjacent to each other, and the acquired images do not overlap with each other. However, since the image pickup devices 2a and 2b are arranged adjacent to each other, a spatial image in the directivity direction can be acquired with almost no omission.

図1に示す制御装置4は、それぞれ、コンピュータから構成され、支持ラック8の載置プレート8b上に設置されている。 Each of the control devices 4 shown in FIG. 1 is composed of a computer and is installed on a mounting plate 8b of a support rack 8.

制御装置4は、画像データと音声データを送受信する機能と、画像処理機能、および、通信機能を備えている。例えば、遠隔コミュニケーション装置100Aのコミュニケーションユニット1aの制御装置4は、図1に示すように、同一のコミュニケーションユニット1a内の撮像装置2と表示装置3に接続されている。制御装置4は、撮像装置2が取得した画像データ(動画データ)と音声データとを、スイッチングハブ7Aを介して、拠点SBに設置されている遠隔コミュニケーション装置100Bのコミュニケーションユニット1aの制御装置4に送信する。また、遠隔コミュニケーション装置100Aのコミュニケーションユニット1aの制御装置4は、拠点SBに設定されている遠隔コミュニケーション装置100Bのコミュニケーションユニット1aの制御装置4から送信されてくる、画像データと音声データとを表示装置3を構成する投影機3aに供給し、スクリーン3bに投影させ、または、音声を放音させる。 The control device 4 has a function of transmitting and receiving image data and audio data, an image processing function, and a communication function. For example, as shown in FIG. 1, the control device 4 of the communication unit 1a of the remote communication device 100A is connected to the image pickup device 2 and the display device 3 in the same communication unit 1a. The control device 4 transfers the image data (moving image data) and the voice data acquired by the image pickup device 2 to the control device 4 of the communication unit 1a of the remote communication device 100B installed at the base SB via the switching hub 7A. Send. Further, the control device 4 of the communication unit 1a of the remote communication device 100A displays image data and audio data transmitted from the control device 4 of the communication unit 1a of the remote communication device 100B set in the base SB. It is supplied to the projector 3a constituting the 3 and projected on the screen 3b or the sound is emitted.

ついで、このように構成された本実施形態に係わる遠隔コミュニケーションシステム100の作用とともに、拠点SAとSBの間で空間共有を行なう方法について説明する。 Next, a method of sharing the space between the base SA and the SB will be described together with the operation of the remote communication system 100 according to the present embodiment configured in this way.

図1に示す拠点SBに設置された遠隔コミュニケーション装置100Bの撮像装置2aと2bにより取得された画像データと音声データは、対応する制御装置4にリアルタイムで供給される。各制御装置4は、スイッチングハブ7Bとインターネット、イントラネット等のネットワーク、スイッチングハブ7Aを介して、対応するコミュニケーションユニット1a、1bの制御装置4に送信する。 The image data and voice data acquired by the image pickup devices 2a and 2b of the remote communication device 100B installed at the base SB shown in FIG. 1 are supplied to the corresponding control device 4 in real time. Each control device 4 transmits to the control device 4 of the corresponding communication units 1a and 1b via the switching hub 7B, a network such as the Internet or an intranet, and the switching hub 7A.

各制御装置4は、送信された画像データと音声データとを受信し、これを対応する表示装置3に提供して、表示及び放音させる。これにより、図8に例示するように、拠点SBでの執務の様子等を示す空間画像を表示される。この表示状態が、遠隔コミュニケーション装置100Aと100Bがオンの間、継続する。 Each control device 4 receives the transmitted image data and audio data, and provides the transmitted image data and audio data to the corresponding display device 3 for display and sound emission. As a result, as illustrated in FIG. 8, a spatial image showing the state of work at the base SB is displayed. This display state continues while the remote communication devices 100A and 100B are on.

ここで、スクリーン3bが図3に例示したように、壁面21に平行に設置され、また、撮像装置2a、2bの画角が図6に示すように設定されていると、図9に例示するように、拠点SAの部屋の角部26が一対のスクリーン3bの境界線3cと繋がり、拠点SAの部屋の天井の角部24Aと、拠点SAの部屋の床の角部25Aと、スクリーン3bの上縁を確定する支持フレーム5と、一対のスクリーン3bに表示された拠点SBの天井の縁24Bと床の縁25B、テーブル7の縁とが、全て、一対のスクリーン3bの境界線3c上に位置する消失点に向かって延在している印象を観察者に与える。換言すると、リアルの直線群と表示されたイメージの直線群とが全て、遠近法上の消失点に向かって延在している印象を観察者に与える。また、支持フレーム5には、窓枠をイメージさせる意匠が施されている。このため、観察者は、遠隔コミュニケーション装置100Aの連続する2つのスクリーン3bに表示された画像を、あたかも、拠点SAの別の部屋を窓を介して観察しているような印象を受ける。 Here, it is illustrated in FIG. 9 that the screen 3b is installed parallel to the wall surface 21 and the angle of view of the imaging devices 2a and 2b is set as shown in FIG. 6 as illustrated in FIG. As described above, the corner 26 of the room of the base SA is connected to the boundary line 3c of the pair of screens 3b, and the corner 24A of the ceiling of the room of the base SA, the corner 25A of the floor of the room of the base SA, and the screen 3b. The support frame 5 for determining the upper edge, the ceiling edge 24B of the base SB and the floor edge 25B, and the edge of the table 7 displayed on the pair of screens 3b are all on the boundary line 3c of the pair of screens 3b. Gives the observer the impression that it extends towards the location of the vanishing point. In other words, the real straight line group and the straight line group of the displayed image all give the observer the impression that they extend toward the vanishing point in perspective. Further, the support frame 5 is provided with a design reminiscent of a window frame. Therefore, the observer has the impression that the image displayed on the two consecutive screens 3b of the remote communication device 100A is being observed through a window in another room of the base SA.

これにより、他拠点とのより強い一体感が得られる。 As a result, a stronger sense of unity with other bases can be obtained.

また、遠隔コミュニケーションシステム100を用いて拠点SAとSBとで対話、会議などを実施することも可能である。 It is also possible to hold dialogues, meetings, etc. between the base SA and the SB using the remote communication system 100.

この例を図10と図11を参照して説明する。
まず、対面で会話する場合、図10に例示するように、拠点SAにおいて、撮像装置2aに向かって人物M1が立ち、一方、拠点SBにおいて、撮像装置2aに向かって人物M2が立つ。この場合、人物M1の画像は拠点SBのコミュニケーションユニット1aのスクリーン3bに表示され、人物M2の画像は拠点SAのコミュニケーションユニット1aのスクリーン3bに表示される。両者は、正面で向き合う感覚で会話することができる。なお、図10では、大きなスクリーン3b全体に人物の像が表示されるように図示しているが、実際のスクリーン3bは、対角80インチ程度である。しかし、この例の場合、観察者がスクリーン3bに近く、目線が高く、足下への注意度が低いので、図10に示すように、大きなスクリーン全体にM2が等身大で表示されている印象を観察者に与えることができる。
This example will be described with reference to FIGS. 10 and 11.
First, in the case of face-to-face conversation, as illustrated in FIG. 10, a person M1 stands toward the image pickup device 2a at the base SA, while a person M2 stands toward the image pickup device 2a at the base SB. In this case, the image of the person M1 is displayed on the screen 3b of the communication unit 1a of the base SB, and the image of the person M2 is displayed on the screen 3b of the communication unit 1a of the base SA. Both can talk as if they were facing each other in front of them. In FIG. 10, the image of a person is displayed on the entire large screen 3b, but the actual screen 3b is about 80 inches diagonally. However, in the case of this example, the observer is close to the screen 3b, the line of sight is high, and the attention to the feet is low. Therefore, as shown in FIG. Can be given to the observer.

一方、拠点SAとSB間で複数人で会話する場合には、例えば、図11に例示するように、各拠点SA,SBにおいて、撮像装置2aと2bの視野内に立てば良い。これにより、撮像装置2aと2bが参加者を撮影し、その立位置に応じて相手側の遠隔コミュニケーション装置100A,100Bの一対のスクリーン3bに表示される。従って、各拠点の参加者は、相手拠点の参加者の立ち位置も知ることができる。なお、図11では、大きなスクリーン3b全体に人物の像が表示されるように図示しているが、実際のスクリーン3bは、対角80インチ程度である。しかし、この例の場合、観察者がスクリーン3bから比較的遠くなるため、スクリーン3bに全身が表示される。このため、全身が等身大で表示されている印象を観察者に与えることができる。 On the other hand, when a plurality of people talk between the base SA and the SB, for example, as illustrated in FIG. 11, the bases SA and SB may stand within the field of view of the image pickup devices 2a and 2b. As a result, the image pickup devices 2a and 2b photograph the participants and display them on the pair of screens 3b of the remote communication devices 100A and 100B on the other side according to their standing positions. Therefore, the participants of each base can also know the standing position of the participants of the partner base. In FIG. 11, the image of a person is displayed on the entire large screen 3b, but the actual screen 3b is about 80 inches diagonally. However, in the case of this example, since the observer is relatively far from the screen 3b, the whole body is displayed on the screen 3b. Therefore, it is possible to give the observer the impression that the whole body is displayed in life size.

このように、本実施の形態によれば、2台の撮像装置2a、2bによって異なる角度で2次元的な撮像が行なわれ、90°一対のスクリーン3bにおいて角度を持って2次元的に表示される。かつ、これらの表示画像が、異なる2つの連続したスクリーン3b上に表示される。従って、他の地点にいる人物の立ち位置を含めて立体感をもって認識される。この結果、より広い空間情報を、立体感を持って認識することができ、遠隔位置の空間を違和感なく共有することができる。 As described above, according to the present embodiment, the two imaging devices 2a and 2b perform two-dimensional imaging at different angles, and the two 90 ° screens 3b display the images two-dimensionally at different angles. To. Moreover, these display images are displayed on two different continuous screens 3b. Therefore, it is recognized with a three-dimensional effect including the standing position of a person at another point. As a result, wider spatial information can be recognized with a three-dimensional effect, and a remote space can be shared without discomfort.

また、スクリーン3bの下端部を覆うテーブル7を配置し、その裏側に、投影機3aや制御装置4を設置したことにより、スクリーン3b以外の構成物が隠され、テーブル7の形状も工夫した結果、空間を共有する印象を強くすることができる。 Further, by arranging the table 7 covering the lower end of the screen 3b and installing the projector 3a and the control device 4 on the back side thereof, the components other than the screen 3b are hidden, and the shape of the table 7 is also devised. , You can strengthen the impression of sharing the space.

なお、本願発明は上記実施の形態に限定されるものではない。
例えば、図12に示すように、撮像装置2の設置位置は、コミュニケーションユニット1bのスクリーン3bの上でもよい。この場合、2つの撮像装置2aと2bの設置位置と方向は図示するようになる。撮像装置2の設置位置は任意である。例えば、図13に例示するように、テーブル7の上に配置してもよい。その他、撮像装置2の配置位置は任意である。
The invention of the present application is not limited to the above embodiment.
For example, as shown in FIG. 12, the installation position of the image pickup apparatus 2 may be on the screen 3b of the communication unit 1b. In this case, the installation positions and directions of the two imaging devices 2a and 2b are shown in the figure. The installation position of the image pickup device 2 is arbitrary. For example, it may be arranged on the table 7 as illustrated in FIG. In addition, the arrangement position of the image pickup apparatus 2 is arbitrary.

また、スクリーン3bと室内の壁面21との距離を等しくL1とする例を示したが、これらは異なっていてもよい。また、スクリーン3bと室内の壁面(壁部)21とは平行でなくてもよい。
撮像装置2の画角を図6に示すように設定する例を示したが、他の設定を選択してもよい。ただし、2つの撮像装置2の取得画像が大きく重複せず、取得する画像の境界部分が、人間が認識できる程度には、連続していることが望ましい。
撮像装置2の光軸は水平であることが望ましい。光軸が上を向くあるいは下を向くと2つの画像の境界部分が連続しなくなり、また、画像を上目線或いは下目線となり、望ましくない。
Further, although the example in which the distance between the screen 3b and the wall surface 21 in the room is equal to L1 is shown, these may be different. Further, the screen 3b and the wall surface (wall portion) 21 in the room do not have to be parallel to each other.
Although an example of setting the angle of view of the image pickup apparatus 2 as shown in FIG. 6 is shown, other settings may be selected. However, it is desirable that the acquired images of the two imaging devices 2 do not overlap significantly, and that the boundary portions of the acquired images are continuous to the extent that humans can recognize them.
It is desirable that the optical axis of the image pickup apparatus 2 is horizontal. When the optical axis points upward or downward, the boundary between the two images becomes discontinuous, and the image becomes an upper line or a lower line, which is not desirable.

撮像装置2が音声データも取得し、投影機3aが音声再生する例を説明したが、専用のマイクロフォンとスピーカを配置してもよい。例えば、図12に例示するように、マイクロフォンMI1とMI2と、スピーカSP1とSP2とを遠隔コミュニケーション装置100A、100Bを挟む位置に配置し、マイクロフォンMI1とMI2で取得したステレオ音声を相手側のスピーカSP1とSP2にそれぞれ送信し、相手側のマイクロフォンMI1とMI2で取得したステレオ音声を受信して、スピーカSP1,SP2から放音するようにしてもよい。 Although the example in which the image pickup device 2 also acquires the voice data and the projector 3a reproduces the voice has been described, a dedicated microphone and a speaker may be arranged. For example, as illustrated in FIG. 12, the microphones MI1 and MI2 and the speakers SP1 and SP2 are arranged at positions sandwiching the remote communication devices 100A and 100B, and the stereo sound acquired by the microphones MI1 and MI2 is used as the speaker SP1 on the other side. And SP2, respectively, and the stereo sound acquired by the microphones MI1 and MI2 on the other side may be received and emitted from the speakers SP1 and SP2.

次に、携帯可能とした、遠隔コミュニケーション装置の実施の形態について図14〜図18を参照して説明する。
本実施形態における遠隔コミュニケーション装置30は、表示装置31に液晶ディスプレイ等のディスプレイを用いて投影機3aを省略し、かつ、この表示装置31の筐体31aに、撮像装置32および制御装置33を一体に組み込んだ構成を有する。
Next, an embodiment of a portable remote communication device will be described with reference to FIGS. 14 to 18.
In the remote communication device 30 of the present embodiment, the projector 3a is omitted by using a display such as a liquid crystal display on the display device 31, and the image pickup device 32 and the control device 33 are integrated in the housing 31a of the display device 31. It has a configuration incorporated in.

そして、表示装置31、撮像装置32、および、制御装置33をユニットとして、2組のユニットを、それぞれの筐体31aの一側縁部に設けた蝶番34によって折り畳み可能に連結して、遠隔コミュニケーション装置30としている。 Then, with the display device 31, the image pickup device 32, and the control device 33 as units, the two sets of units are foldably connected by a hinge 34 provided on one side edge of each housing 31a for remote communication. It is set as the device 30.

さらに詳述すれば、蝶番34は、図14に示すように、各ユニットの筐体31aの一側縁部の上下端のそれぞれに設けられている。 More specifically, as shown in FIG. 14, hinges 34 are provided at the upper and lower ends of one side edge of the housing 31a of each unit.

これらの蝶番34は、筐体31aを、蝶番34を中心として開いた場合、その開き角を約90度に保持する係止機能を設けることが好ましい。 It is preferable that these hinges 34 are provided with a locking function for holding the opening angle at about 90 degrees when the housing 31a is opened around the hinge 34.

撮像装置32は、表示装置31の表示面Dと同じ面から撮像を行なえるように装着されている。 The image pickup device 32 is mounted so that the image pickup can be performed from the same surface as the display surface D of the display device 31.

各筐体31aの上部には、取手35が設けられ、また、下部には、複数の脚36が一体に設けられ、蝶番34が設けられた側と反対側の側縁には、両筐体31aを折りたたんだ状態に保持する連結機構37が設けられている。 A handle 35 is provided on the upper portion of each housing 31a, and a plurality of legs 36 are integrally provided on the lower portion, and both housings are provided on the side edges opposite to the side on which the hinge 34 is provided. A connecting mechanism 37 that holds the 31a in a folded state is provided.

さらに、各筐体31aの、表示面Dと反対側の面には、制御装置33に設けられている冷却ファンからの排気を外部へ放出する排気孔40が設けられている。また、各筐体31aの側面には、その内部に組み込まれた制御装置33のインターフェース38用のスリット39が形成されている。 Further, an exhaust hole 40 for discharging the exhaust gas from the cooling fan provided in the control device 33 to the outside is provided on the surface of each housing 31a opposite to the display surface D. Further, on the side surface of each housing 31a, a slit 39 for the interface 38 of the control device 33 incorporated therein is formed.

各脚36は、好ましくは弾性材料によって形成され、また、筐体31aからの突出高さを調整して、筐体31aの設置具合を調整するアジャスタ機能を付加することが好ましい。 Each leg 36 is preferably formed of an elastic material, and it is preferable to add an adjuster function for adjusting the height of protrusion from the housing 31a to adjust the installation condition of the housing 31a.

このように構成された遠隔コミュニケーション装置30は、折り畳んだ状態で持ち運んで設置することができる。したがって、使用場所の制限を緩和して、その汎用性を高めることができる。たとえば、屋外に設置することにより、屋外とオフィスとの間、屋外と屋外との間といった多様な使用形態を実現することができる。 The remote communication device 30 configured in this way can be carried and installed in a folded state. Therefore, it is possible to relax the restrictions on the place of use and increase its versatility. For example, by installing it outdoors, it is possible to realize various usage patterns such as between the outdoors and the office and between the outdoors and the outdoors.

また、使用時には、両筐体31aを所定角度に開くことにより、第1の実施形態と同様の作用効果を得ることができる。 Further, at the time of use, by opening both housings 31a at a predetermined angle, the same effect as that of the first embodiment can be obtained.

なお、上述した各構成部材の諸形状や寸法、あるいは、設置位置等は一例であって、設計要求等に基づき種々変更可能である。 The various shapes and dimensions of each of the above-mentioned constituent members, the installation position, and the like are examples, and can be variously changed based on design requirements and the like.

例えば、一対のスクリーンの成す角度90°は、人間の視覚的に90°であればよく、幾何学的に厳格な90°である必要はない。望ましくは、少なくとも表示領域が交差し、さらに望ましくは、75°程度から110°程度で交差することが望ましい。本願発明者の調査によれば、一対のスクリーンの成す角度が60°、120°、180°の場合は、没入感、臨場感、全体把握のいずれの観点でも、90°の場合よりも評価が低い。従って、90°で交差することが望ましい。 For example, the angle 90 ° formed by a pair of screens may be 90 ° visually to humans, and does not have to be a geometrically strict 90 °. Desirably, at least the display areas intersect, and more preferably, they intersect at about 75 ° to about 110 °. According to the investigation by the inventor of the present application, when the angles formed by the pair of screens are 60 °, 120 °, and 180 °, the evaluation is higher than that of 90 ° in terms of immersiveness, presence, and overall grasp. Low. Therefore, it is desirable to intersect at 90 °.

また、一対のスクリーンは、物理的には、一体のものであってもよい。例えば、1枚のシート又は板状体を折り曲げて、交差する一対のスクリーン3bとすることも可能である。 Further, the pair of screens may be physically integrated. For example, one sheet or plate can be bent into a pair of intersecting screens 3b.

2台の撮像装置2が撮影する撮像領域及び撮像画像の連続性も視覚的に連続性を感じるレベルで十分であり、垂直走査線数本分程度の重複或いは離間は問題とならない。 The continuity of the imaging region and the captured image captured by the two imaging devices 2 is also sufficient at a level at which the visual continuity is felt, and overlapping or separation of about several vertical scanning lines does not matter.

表示装置3の表示領域の連続性も同様であり、数センチ程度、両スクリーン3bが離間して配置されてもよい。 The continuity of the display area of the display device 3 is also the same, and both screens 3b may be arranged apart from each other by about several centimeters.

表示装置3の表示領域のサイズとして、対角80インチ以上としたが、より大きい或いはより小さい他のサイズでもよい。また、画面の縦横サイズ比を9:16としたが、他のサイズ比、例えば、3:4でもよい。また、撮像装置2が撮像する画像の縦横比と表示装置3が表示する画像の縦横比がことなってもよい。 The size of the display area of the display device 3 is 80 inches or more diagonally, but other sizes larger or smaller may be used. Further, although the aspect ratio of the screen is set to 9:16, another size ratio such as 3: 4 may be used. Further, the aspect ratio of the image captured by the image pickup device 2 and the aspect ratio of the image displayed by the display device 3 may be different.

たとえば、第1の実施形態において独立して設けられる投影機3aの設置位置は任意であり、たとえば、支持フレーム5の上端に設置することも可能である。また、投影機以外の表示装置を使用してもよい。 For example, the installation position of the projector 3a independently provided in the first embodiment is arbitrary, and for example, it can be installed at the upper end of the support frame 5. Further, a display device other than the projector may be used.

1つの撮像装置と表示装置に1台の制御装置を配置する例を示したが、2台の撮像装置2と表示装置3を1台の制御装置4で並行して制御してもよい。 Although an example in which one control device is arranged in one image pickup device and a display device is shown, the two image pickup devices 2 and the display device 3 may be controlled in parallel by one control device 4.

上記の実施の形態においては、2台の撮像装置2aと2bの位置を向きを適切な位置と方向に設定する例を示した。この発明はこれに限定されない。例えば、コンピュータから構成された制御装置4が、図9に例示するような適切な画像が表示されるように、1又は複数台の撮像装置2からの画像を加工して、表示装置3に提供するようにしてもよい。例えば、図7(c)に示す画像が取得されている状態で、コンピュータから構成された制御装置4は、撮像装置2aと2bからの画像を受信し、受信した画像をパターンマッチングすることにより重複部分を検出して(ステップS1)、両画像中の直線の連続性の変化等から部屋の角部23を特定し(ステップS2)、特定した角部23とマッチング結果とに基づいて、特定した角部が一対のスクリーン3bの境界線に表示されるように重複部分を特定し、画像中の削除対象領域を設定する(ステップS3)。以後は、設定に従って、撮像装置2a、2bから供給された画像の重複部分を削除して、図7(a)に例示するような画像を表示するための表示画像を一対の表示装置3に提供するようにしてもよい。重複部分及び削除対象部分を特定する処理は、例えば、遠隔コミュニケーションシステム100の起動時などに実行するようにすればよい。 In the above embodiment, an example is shown in which the positions of the two image pickup devices 2a and 2b are set to appropriate positions and directions. The present invention is not limited to this. For example, the control device 4 composed of a computer processes the images from one or a plurality of image pickup devices 2 so that an appropriate image as illustrated in FIG. 9 is displayed, and provides the image to the display device 3. You may try to do it. For example, in the state where the image shown in FIG. 7C is acquired, the control device 4 configured by the computer receives the images from the image pickup devices 2a and 2b, and the received images are duplicated by pattern matching. The portion was detected (step S1), the corner 23 of the room was identified from the change in the continuity of the straight lines in both images (step S2), and the corner 23 was identified based on the identified corner 23 and the matching result. The overlapping portion is specified so that the corner portion is displayed on the boundary line of the pair of screens 3b, and the deletion target area in the image is set (step S3). After that, according to the setting, the overlapping portion of the image supplied from the image pickup devices 2a and 2b is deleted, and the display image for displaying the image as illustrated in FIG. 7A is provided to the pair of display devices 3. You may try to do it. The process of specifying the duplicated portion and the deleted portion may be executed, for example, when the remote communication system 100 is started.

また、表示装置3の形態も任意である。スクリーン3bの前方にスタンドを設けて、このスタンドに投影機3aを取り付けて設置することも可能である。
さらに、投影機3aの高さを撮像される人物の目の高さに一致させることにより、共有画面を見る他地点の人物とのアイコンタクトをより自然なものとすることができる。
Further, the form of the display device 3 is also arbitrary. It is also possible to provide a stand in front of the screen 3b and attach the projector 3a to this stand for installation.
Further, by matching the height of the projector 3a with the height of the eyes of the person to be imaged, it is possible to make eye contact with a person at another point looking at the shared screen more natural.

1a、1b コミュニケーションユニット
2(2a、2b) 撮像装置
3 表示装置
3a 投影機
3b スクリーン
4 制御装置
5 支持フレーム
5a 縦支持フレーム
6 キャスター
7 テーブル
8 支持ラック
8a 載置プレート
8b 載置プレート
9 支持脚
10 キャスター
21、22 壁面(壁)
30 遠隔コミュニケーション装置
31 表示装置
31a 筐体
32 撮像装置
33 制御装置
34 蝶番
35 取手
36 脚
37 連結機構
38 インターフェース
39 スリット
40 排気孔
100 遠隔コミュニケーションシステム
100A、100B 遠隔コミュニケーション装置
1a, 1b Communication unit 2 (2a, 2b) Imaging device 3 Display device 3a Projector 3b Screen 4 Control device 5 Support frame 5a Vertical support frame 6 Caster 7 Table 8 Support rack 8a Mounting plate 8b Mounting plate 9 Support legs 10 Caster 21, 22 Wall surface (wall)
30 Remote communication device 31 Display device 31a Housing 32 Imaging device 33 Control device 34 Hinge 35 Handle 36 Leg 37 Connection mechanism 38 Interface 39 Slit 40 Exhaust hole 100 Remote communication system 100A, 100B Remote communication device

本発明は、遠隔コミュニケーション装置に関する。 The present invention also relates to a remote communication equipment.

本発明は、上記実情に鑑みて成されたものであり、他地点との一体感をより高めることのできる遠隔コミュニケーション装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a remote communication equipment that can increase the sense of unity with the other sites.

上記目的を達成するため、この発明の遠隔コミュニケーション装置は、
離れた地点の空間画像をそれぞれの地点で取得し、それぞれの地点において他の地点の空間画像を表示するようにした遠隔コミュニケーション用の遠隔コミュニケーション装置であって、
空間画像を取得する2つの撮像装置と空間画像を表示する2つの表示装置と、前記撮像装置と前記表示装置を制御するとともに、空間画像の送受信を行う制御装置とを備え、
各前記表示装置はスクリーンを備え、前記2つの表示装置は、それぞれのスクリーンの一側縁を突き合わせるようにして設置され、かつ、前記スクリーンが交差して設置され、
前記スクリーンの外縁部は支持フレームにより矩形状に囲まれており、前記支持フレームは、相互に突き合わされる側縁部において、前記スクリーンによって覆われ、外部に露出しない構成を有する、
ことを特徴とする。
In order to achieve the above object, the remote communication device of the present invention
It is a remote communication device for remote communication that acquires a spatial image of a distant point at each point and displays a spatial image of another point at each point.
It is provided with two imaging devices for acquiring a spatial image, two display devices for displaying a spatial image, and a control device for controlling the imaging device and the display device and transmitting and receiving a spatial image.
Each of the display devices includes a screen, and the two display devices are installed so that one side edge of each screen is abutted against each other, and the screens are installed so as to intersect each other.
The outer edge portion of the screen is surrounded by a support frame in a rectangular shape, and the support frame has a configuration in which side edges abutting each other are covered by the screen and are not exposed to the outside.
It is characterized by that.

例えば、前記2つの撮像装置は、1つの前記表示装置の上縁に配置されていて、それぞれの光軸が水平に設置され、 For example, the two imaging devices are arranged on the upper edge of one of the display devices, and their respective optical axes are horizontally installed.
一方の撮像装置の取得画像の一方の側縁が、その撮像装置が設置されている室内の角部に設定され、 One side edge of the acquired image of one imaging device is set at a corner of the room where the imaging device is installed.
他方の撮像装置の取得画像の他方の側縁が、前記室内の前記角部に設定されている。 The other side edge of the acquired image of the other imaging device is set at the corner of the room.

例えば、前記2つの表示装置のスクリーンは、その表示装置が設置されている室の壁面に平行に設定されており、2つの表示装置のスクリーン相互に突き合わされている境界線が、その表示装置が設置されている室の角部の線と繋がって見える位置に設定されている。 For example, the screens of the two display devices are set parallel to the wall surface of the room in which the display devices are installed, and the boundary line where the screens of the two display devices are butted against each other is the display device. It is set in a position where it can be seen connected to the line at the corner of the room where it is installed.

上述の遠隔コミュニケーション装置が、複数台、ネットワークを介して接続されて構成され、各遠隔コミュニケーション装置の前記表示装置は、他の遠隔コミュニケーション装置から受信した2つの撮像装置からの空間画像に含まれる直線状の角部の画像を一対のスクリーンの境界に重ねることで、2つの空間画像を連続して2つの前記スクリーンに表示するように構成してもよい。 A plurality of the above-mentioned remote communication devices are connected to each other via a network, and the display device of each remote communication device is a straight line included in a spatial image from two imaging devices received from another remote communication device. By superimposing the image of the corner portion on the boundary of the pair of screens, the two spatial images may be continuously displayed on the two screens.

また、この発明の遠隔コミュニケーション装置は、Further, the remote communication device of the present invention is
離れた地点の空間画像をそれぞれの地点で取得し、それぞれの地点において他の地点の空間画像を表示するようにした遠隔コミュニケーション用の遠隔コミュニケーション装置であって、 It is a remote communication device for remote communication that acquires a spatial image of a distant point at each point and displays a spatial image of another point at each point.
空間画像を取得する2つの撮像装置と空間画像を表示する2つの表示装置と、前記撮像装置と前記表示装置を制御するとともに、空間画像の送受信を行う制御装置とを備え、 It is provided with two imaging devices for acquiring a spatial image, two display devices for displaying a spatial image, and a control device for controlling the imaging device and the display device and transmitting and receiving a spatial image.
前記2つの表示装置は表示領域が連続するように配置されており、前記2つの表示装置の表示領域は交差して配置されており、 The two display devices are arranged so that the display areas are continuous, and the display areas of the two display devices are arranged so as to intersect each other.
前記表示装置は、支持フレームを備え、前記支持フレームの下部には、前方へ向かって突出する支持ラックが一体に設けられており、前記支持ラックには投影機が設置されている。The display device includes a support frame, and a support rack projecting forward is integrally provided in the lower part of the support frame, and a projector is installed in the support rack.

例えば、前記支持フレームと前記支持ラックには、遠隔コミュニケーション装置を起立して支持すると共に移動可能とするキャスターが配置されている。 For example, the support frame and the support rack are provided with casters that allow the remote communication device to stand up and support and move.

例えば、前記支持ラックと投影機および2つの表示装置の下端部を覆うテーブルを更に備え、前記テーブルは、前記2つの表示装置の表示領域が形成する扇状の領域に入り込む平面視V字状の形状を有し、前記投影機は、前記2つの表示装置と前記テーブルとが形成する平面視三角形状の空間を介して、空間画像を前記表示領域に投影する。For example, the support rack, a projector, and a table covering the lower ends of the two display devices are further provided, and the table has a V-shaped plan view that fits into a fan-shaped area formed by the display areas of the two display devices. The projector projects a spatial image onto the display area through a planar triangular space formed by the two display devices and the table.

例えば、前記各表示装置が、それぞれの筐体間に設けられた蝶番によって折りたたみ可能に連結されており、前記2つの表示装置を90°で開いた状態に保持し、或いは、閉じた状態に保持する係止機能を備える。For example, each of the display devices is foldably connected by a hinge provided between the respective housings, and the two display devices are held in an open state at 90 ° or in a closed state. It has a locking function.

例えば、携帯型として、各筐体が表示画面とカメラを備え、表示面の反対側に制御部が配置され、排気孔が配置され、側面にインタフェース用のスリットが形成されている。For example, as a portable type, each housing is provided with a display screen and a camera, a control unit is arranged on the opposite side of the display surface, an exhaust hole is arranged, and a slit for an interface is formed on the side surface.

また、この発明の遠隔コミュニケーション装置は、Further, the remote communication device of the present invention is
離れた地点の空間画像をそれぞれの地点で取得し、それぞれの地点において他の地点の空間画像を表示するようにした遠隔コミュニケーション用の遠隔コミュニケーション装置であって、 It is a remote communication device for remote communication that acquires a spatial image of a distant point at each point and displays a spatial image of another point at each point.
空間画像を取得する2つの撮像装置と空間画像を表示する2つの表示装置と、前記撮像装置と前記表示装置を制御するとともに、空間画像の送受信を行う制御装置と、 Two image pickup devices for acquiring a spatial image, two display devices for displaying a spatial image, a control device for controlling the image pickup device and the display device, and a control device for transmitting and receiving a spatial image.
を備え、 With
前記制御装置は、コンピュータから構成され、 The control device is composed of a computer.
他の遠隔コミュニケーション装置から送信されてきた2つの撮像装置からの空間画像を受信し、 Receives spatial images from two imaging devices transmitted from other remote communication devices,
受信した2つの空間画像をパターンマッチングし、 Pattern matching the two received spatial images
両画像中の直線の連続性の変化から部屋の角部を特定し、 Identify the corners of the room from the change in the continuity of the straight lines in both images,
特定した角部とマッチング結果とに基づいて、特定した角部が一対のスクリーンの境界線に表示されるように重複部分を特定し、画像中の削除対象領域を設定し、 Based on the identified corners and the matching result, the overlapping part is specified so that the identified corners are displayed on the boundary line of the pair of screens, and the area to be deleted in the image is set.
画像の重複部分を削除して表示画像を一対の表示装置に提供する。 The overlapping portion of the image is deleted to provide the display image to a pair of display devices.

Claims (10)

離れた地点の空間画像をそれぞれの地点で取得し、それぞれの地点において他の地点の空間画像を表示するようにした遠隔コミュニケーション用の遠隔コミュニケーション装置であって、
空間画像を取得する2つの撮像装置と空間画像を表示する2つの表示装置と、前記撮像装置と前記表示装置を制御するとともに、空間画像の送受信を行う制御装置とを備え、
前記2つの撮像装置は、撮像領域が空間上で連続するように設定され、前記2つの表示装置は表示領域が連続するように配置されており、
前記2つの表示装置の表示領域は交差して配置されている、
ことを特徴とする遠隔コミュニケーション装置。
It is a remote communication device for remote communication that acquires a spatial image of a distant point at each point and displays a spatial image of another point at each point.
It is provided with two imaging devices for acquiring a spatial image, two display devices for displaying a spatial image, and a control device for controlling the imaging device and the display device and transmitting and receiving a spatial image.
The two image pickup devices are set so that the image pickup areas are continuous in space, and the two display devices are arranged so that the display areas are continuous.
The display areas of the two display devices are arranged so as to intersect.
A remote communication device characterized by this.
前記2つの表示装置は、表示領域が直交するように配置されている、
ことを特徴とする請求項1に記載の遠隔コミュニケーション装置。
The two display devices are arranged so that the display areas are orthogonal to each other.
The remote communication device according to claim 1.
前記2つの撮像装置の光軸は、表示装置の表示領域に直交し且つ水平である、
ことを特徴とする請求項1又は2に記載の遠隔コミュニケーション装置。
The optical axes of the two imaging devices are orthogonal and horizontal to the display area of the display device.
The remote communication device according to claim 1 or 2.
前記2つの撮像装置は、
一方の撮像装置の取得画像の一方の側縁が、その撮像装置が設置されている室内の角部に設定され、
他方の撮像装置の取得画像の他方の側縁が、前記室内の前記角部に設定されている、
ことを特徴とする請求項1から3の何れか1項に記載の遠隔コミュニケーション装置。
The two image pickup devices
One side edge of the acquired image of one imaging device is set at a corner of the room where the imaging device is installed.
The other side edge of the acquired image of the other imaging device is set at the corner of the room.
The remote communication device according to any one of claims 1 to 3, wherein the remote communication device is characterized by the above.
前記2つの撮像装置は異なるエリアを撮像の対象とする、
ことを特徴とする請求項1から4の何れか1項に記載の遠隔コミュニケーション装置。
The two imaging devices target different areas for imaging.
The remote communication device according to any one of claims 1 to 4, wherein the remote communication device is characterized.
前記2つの表示装置の表示領域は、その表示装置が設置されている室の壁面に平行に設定されている、
ことを特徴とする請求項1から5の何れか1項に記載の遠隔コミュニケーション装置。
The display areas of the two display devices are set parallel to the wall surface of the room in which the display devices are installed.
The remote communication device according to any one of claims 1 to 5, wherein the remote communication device is characterized.
前記2つの表示装置の下端部を覆うテーブルを更に備え、
前記テーブルは、前記2つの表示装置の表示領域が形成する扇状の領域に入り込む形状を有する、
ことを特徴とする請求項1から6の何れか1項に記載の遠隔コミュニケーション装置。
A table covering the lower ends of the two display devices is further provided.
The table has a shape that fits into a fan-shaped area formed by the display areas of the two display devices.
The remote communication device according to any one of claims 1 to 6, wherein the remote communication device is characterized.
前記各表示装置が、それぞれの筐体間に設けられた蝶番によって折りたたみ可能に連結されている、
ことを特徴とする請求項1から7の何れか1項に記載の遠隔コミュニケーション装置。
Each of the display devices is foldably connected by a hinge provided between the respective housings.
The remote communication device according to any one of claims 1 to 7, wherein the remote communication device is characterized.
前記各撮像装置が、表示装置に設置されている、
ことを特徴とする請求項8に記載の遠隔コミュニケーション装置。
Each of the imaging devices is installed in the display device.
8. The remote communication device according to claim 8.
離れた地点の空間画像をそれぞれの地点で取得し、それぞれの地点において他の地点の空間画像を表示することを含む、遠隔コミュニケーション方法であって、
それぞれの地点で、2つの空間画像を取得し、相手側の地点に送信し、相手側の地点で2つの空間画像を表示し、
それぞれの地点で取得する2つの空間画像の撮像領域を連続させ、
2つの空間画像を表示する表示領域を連続させる、
ことを特徴とする、遠隔コミュニケーション方法。
A remote communication method that includes acquiring spatial images of distant points at each point and displaying spatial images of other points at each point.
At each point, get two spatial images, send them to the other point, display the two spatial images at the other point,
The imaging areas of the two spatial images acquired at each point are made continuous,
Consecutive display areas for displaying two spatial images,
A remote communication method characterized by this.
JP2019068769A 2019-03-29 2019-03-29 Remote communication device Active JP6745374B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019068769A JP6745374B1 (en) 2019-03-29 2019-03-29 Remote communication device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019068769A JP6745374B1 (en) 2019-03-29 2019-03-29 Remote communication device

Publications (2)

Publication Number Publication Date
JP6745374B1 JP6745374B1 (en) 2020-08-26
JP2020167614A true JP2020167614A (en) 2020-10-08

Family

ID=72146286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019068769A Active JP6745374B1 (en) 2019-03-29 2019-03-29 Remote communication device

Country Status (1)

Country Link
JP (1) JP6745374B1 (en)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0572629A (en) * 1991-09-12 1993-03-26 Sony Corp Multi-screen display
JPH06303603A (en) * 1993-04-19 1994-10-28 Hitachi Ltd Video telephone set
JPH10123976A (en) * 1996-10-22 1998-05-15 Nippon Steel Corp Large sized screen projection type display device
JP2001136466A (en) * 1999-11-08 2001-05-18 Hitachi Ltd Image display device
JP2001333399A (en) * 2000-05-24 2001-11-30 Canon Inc Video conference system
JP2001346178A (en) * 2000-06-06 2001-12-14 Canon Inc Video conference use image pickup/display device, video conference use image pickup/display system, image processing method and storage medium
JP2001356410A (en) * 2000-06-14 2001-12-26 Nippon Telegr & Teleph Corp <Ntt> Projection type display device
JP2005293197A (en) * 2004-03-31 2005-10-20 Sony Corp Image processing device and method, and image display system
JP2007147786A (en) * 2005-11-24 2007-06-14 Matsushita Electric Works Ltd Virtual reality generation system
JP2009069728A (en) * 2007-09-18 2009-04-02 Seiko Epson Corp Image display device, image display system and image display method
JP2009240426A (en) * 2008-03-28 2009-10-22 Sammy Corp Pinball game machine
JP2013247601A (en) * 2012-05-29 2013-12-09 Toyohashi Univ Of Technology Image projection device and image processing method
JP2014006279A (en) * 2012-06-21 2014-01-16 Mitsubishi Electric Corp Projection unit
JP2014206666A (en) * 2013-04-15 2014-10-30 セフテック株式会社 Support device for information display apparatus
CN104317144A (en) * 2014-08-26 2015-01-28 长春理工大学 Optical-radiation quick compensation method for large-scale orthogonal multi-screen projection system
US20150156452A1 (en) * 2006-03-18 2015-06-04 Videotronic Systems Telepresence system
JP2016072844A (en) * 2014-09-30 2016-05-09 Necネッツエスアイ株式会社 Video system
JP2016531312A (en) * 2013-06-28 2016-10-06 シゼイ シジブイ カンパニー リミテッド Screening hall structure and multi-screen screening system using the same
JP2017017521A (en) * 2015-06-30 2017-01-19 Necネッツエスアイ株式会社 Communication system and communication method
JP2017126932A (en) * 2016-01-15 2017-07-20 Necネッツエスアイ株式会社 Video projection system, video projection method, and video projection program

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0572629A (en) * 1991-09-12 1993-03-26 Sony Corp Multi-screen display
JPH06303603A (en) * 1993-04-19 1994-10-28 Hitachi Ltd Video telephone set
JPH10123976A (en) * 1996-10-22 1998-05-15 Nippon Steel Corp Large sized screen projection type display device
JP2001136466A (en) * 1999-11-08 2001-05-18 Hitachi Ltd Image display device
JP2001333399A (en) * 2000-05-24 2001-11-30 Canon Inc Video conference system
JP2001346178A (en) * 2000-06-06 2001-12-14 Canon Inc Video conference use image pickup/display device, video conference use image pickup/display system, image processing method and storage medium
JP2001356410A (en) * 2000-06-14 2001-12-26 Nippon Telegr & Teleph Corp <Ntt> Projection type display device
JP2005293197A (en) * 2004-03-31 2005-10-20 Sony Corp Image processing device and method, and image display system
JP2007147786A (en) * 2005-11-24 2007-06-14 Matsushita Electric Works Ltd Virtual reality generation system
US20150156452A1 (en) * 2006-03-18 2015-06-04 Videotronic Systems Telepresence system
JP2009069728A (en) * 2007-09-18 2009-04-02 Seiko Epson Corp Image display device, image display system and image display method
JP2009240426A (en) * 2008-03-28 2009-10-22 Sammy Corp Pinball game machine
JP2013247601A (en) * 2012-05-29 2013-12-09 Toyohashi Univ Of Technology Image projection device and image processing method
JP2014006279A (en) * 2012-06-21 2014-01-16 Mitsubishi Electric Corp Projection unit
JP2014206666A (en) * 2013-04-15 2014-10-30 セフテック株式会社 Support device for information display apparatus
JP2016531312A (en) * 2013-06-28 2016-10-06 シゼイ シジブイ カンパニー リミテッド Screening hall structure and multi-screen screening system using the same
CN104317144A (en) * 2014-08-26 2015-01-28 长春理工大学 Optical-radiation quick compensation method for large-scale orthogonal multi-screen projection system
JP2016072844A (en) * 2014-09-30 2016-05-09 Necネッツエスアイ株式会社 Video system
JP2017017521A (en) * 2015-06-30 2017-01-19 Necネッツエスアイ株式会社 Communication system and communication method
JP2017126932A (en) * 2016-01-15 2017-07-20 Necネッツエスアイ株式会社 Video projection system, video projection method, and video projection program

Also Published As

Publication number Publication date
JP6745374B1 (en) 2020-08-26

Similar Documents

Publication Publication Date Title
US9743039B2 (en) Immersive telepresence anywhere
JP4228010B2 (en) Video conferencing equipment
JP6547496B2 (en) Communication apparatus, communication method, program and communication system
US7119829B2 (en) Virtual conference room
US8681204B2 (en) System and method for providing a perception of a continuous surface in a telepresence system
US7154526B2 (en) Telepresence system and method for video teleconferencing
US8581956B2 (en) Methods and systems for communicating focus of attention in a video conference
US6290359B1 (en) Image forming apparatus and method for live performance
JPS62167506A (en) Table for meeting
US20090102919A1 (en) Audio-video system and method for telecommunications
US9465484B1 (en) Forward and backward looking vision system
US20230231970A1 (en) Device for displaying images, and use of a device of this type
JP6745374B1 (en) Remote communication device
US10341608B2 (en) Communication system and communication method
JP6534204B2 (en) Communication system and communication method
JP6714453B2 (en) Communication system
JPH06141318A (en) System apparatus for video conference
JP6507049B2 (en) Video system
JP3199836U (en) Communication system
JP2012039195A (en) Table system for television conference
JP2023073216A (en) Furniture system and work booth
WO2022154128A1 (en) Communication device, communication program, and storage medium
US7889225B2 (en) Videoconferencing environment
JP2023073189A (en) Furniture system
JP2023030600A (en) camera device

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20190426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190827

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190827

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200803

R150 Certificate of patent or registration of utility model

Ref document number: 6745374

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250