JP2019152815A - Projection system and control method therefor, and program - Google Patents

Projection system and control method therefor, and program Download PDF

Info

Publication number
JP2019152815A
JP2019152815A JP2018039432A JP2018039432A JP2019152815A JP 2019152815 A JP2019152815 A JP 2019152815A JP 2018039432 A JP2018039432 A JP 2018039432A JP 2018039432 A JP2018039432 A JP 2018039432A JP 2019152815 A JP2019152815 A JP 2019152815A
Authority
JP
Japan
Prior art keywords
image quality
screen
projection
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018039432A
Other languages
Japanese (ja)
Inventor
祐夫 野村
Sachio Nomura
祐夫 野村
潤一 梅原
Junichi Umehara
潤一 梅原
若林 伸次
Shinji Wakabayashi
伸次 若林
斉藤 喜晴
Yoshiharu Saito
喜晴 斉藤
敏 仲里
Satoshi Nakazato
敏 仲里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alps Alpine Co Ltd
Original Assignee
Alps Alpine Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alps Alpine Co Ltd filed Critical Alps Alpine Co Ltd
Priority to JP2018039432A priority Critical patent/JP2019152815A/en
Publication of JP2019152815A publication Critical patent/JP2019152815A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

To provide a projection system that can maintain the image quality of a video projected on each of a plurality of screens to an image quality set for every screen.SOLUTION: A projection system comprises: a projection unit 21 that projects a video on each of a plurality of portable screens 4; an object detection unit 22 that detects the arrangement state of the portable screens 4 with respect to the projection unit 21; and a control unit 5 that controls the projection unit 21 according to a result of detection performed by the object detection unit 22 so that the image quality of the video projected on each of the portable screens 4 becomes close to an image quality set for every portable screen 4.SELECTED DRAWING: Figure 2

Description

本開示は、スクリーンに映像を投影する投影システムとその制御方法及びプログラムに関する。   The present disclosure relates to a projection system that projects an image on a screen, a control method thereof, and a program.

プロジェクタは、スクリーンを用いた簡易な設備で比較的大きな映像を表示できることから、プレゼンテーションや映画鑑賞などの様々な用途で広く活用されている。   Projectors can be used for various purposes such as presentations and movie viewing because they can display relatively large images with simple equipment using a screen.

またプロジェクタは、壁などに固定されたスクリーンに限らず、様々な対象物の上に映像を投影可能である。例えば、下記の特許文献には、カメラで撮像した画像に基づいて表示対象物とその位置を特定する機能、及び、投影可能エリア内における投影方向を任意に調整する機能を備えたプロジェクタ装置が記載されている。このプロジェクタ装置は、投影可能エリア内に電子ペーパーが置かれると、この電子ペーパーを表示対象物として特定するとともに、投影可能エリア内での電子ペーパーの位置を特定する。プロジェクタ装置は、表示可能エリアに置かれた電子ペーパーを特定すると、この電子ペーパーに対応付けられている所定の映像を、電子ペーパーの表面やその近傍に向けて投影する。   The projector is not limited to a screen fixed to a wall or the like, and can project an image on various objects. For example, the following patent document describes a projector device having a function of specifying a display object and its position based on an image captured by a camera, and a function of arbitrarily adjusting a projection direction in a projectable area. Has been. When the electronic paper is placed in the projectable area, the projector device specifies the electronic paper as a display object and specifies the position of the electronic paper in the projectable area. When the projector device specifies the electronic paper placed in the displayable area, the projector device projects a predetermined image associated with the electronic paper toward the surface of the electronic paper or the vicinity thereof.

特開2016−110545号公報Japanese Patent Laid-Open No. 2016-110545

ところで、プロジェクタからスクリーンに投影する映像の画質(明るさ等)は、プロジェクタからスクリーンまでの距離や、プロジェクタの投射光がスクリーンに入射する角度などに応じて変化する。すなわち、プロジェクタに対するスクリーンの位置や姿勢に応じて、スクリーン上の映像の画質が変化する。従って、スクリーンの位置や姿勢に合わせてスクリーン上の適正な範囲に映像を投影するような制御を行う場合、画質についての配慮がなされていないと、スクリーンの位置や姿勢の変化に伴って画質が変化してしまい、ユーザに違和感を与える。映像の画質の評価はユーザの好みに依存することから、このような映像の投影制御を複数のスクリーンについて行う場合、スクリーン毎にユーザの好みに合わせた画質を設定できることが望ましい。   By the way, the image quality (brightness, etc.) of the image projected from the projector to the screen varies depending on the distance from the projector to the screen, the angle at which the projection light of the projector enters the screen, and the like. That is, the image quality of the image on the screen changes according to the position and orientation of the screen with respect to the projector. Therefore, when control is performed to project an image in an appropriate range on the screen according to the position and orientation of the screen, if the image quality is not taken into consideration, the image quality will change as the position and orientation of the screen change. It will change and give the user a sense of incongruity. Since the evaluation of the image quality of the video depends on the user's preference, when such image projection control is performed on a plurality of screens, it is desirable to be able to set the image quality according to the user's preference for each screen.

そこで、本開示は、複数のスクリーンの各々に投影する映像の画質をスクリーン毎に設定された画質に保つことができる投影システムとその制御方法及びプログラムを提供することを目的とする。   Therefore, an object of the present disclosure is to provide a projection system capable of maintaining the image quality of an image projected on each of a plurality of screens at an image quality set for each screen, a control method thereof, and a program.

本開示の第1の側面に係る投影システムは、複数のスクリーンの各々に映像を投影する投影部と、投影部に対する各スクリーンの配置状態を検知する検知部と、各スクリーンに投影する映像の画質がスクリーン毎に設定された画質へ近づくように、検知部の検知結果に応じて投影部を制御する制御部とを有する。   A projection system according to a first aspect of the present disclosure includes a projection unit that projects an image on each of a plurality of screens, a detection unit that detects an arrangement state of each screen with respect to the projection unit, and an image quality of the image projected on each screen Has a control unit that controls the projection unit according to the detection result of the detection unit so that the image quality approaches the image quality set for each screen.

第1の側面に係る投影システムによれば、投影部に対する各スクリーンの配置状態が検知され、その検知結果に応じて、各スクリーンに投影する映像の画質がスクリーン毎に設定された画質へ近づくように投影部が制御される。従って、各スクリーンに投影する映像の画質が、スクリーン毎に設定された画質に保たれ易くなる。   According to the projection system according to the first aspect, the arrangement state of each screen with respect to the projection unit is detected, and the image quality of the image projected on each screen approaches the image quality set for each screen according to the detection result. The projection unit is controlled. Therefore, the image quality of the image projected on each screen is easily maintained at the image quality set for each screen.

好適に、検知部は、複数のスクリーンが配置された検知対象領域における物体の各部分の位置を検知してよい。制御部は、検知部の検知結果に基づいて、検知対象領域におけるスクリーンの位置及び姿勢の少なくとも一方に関する配置状態情報を、複数のスクリーンの各々について取得してよい。また、制御部は、一のスクリーンについて取得した配置状態情報に応じて、当該一のスクリーンに投影する映像の画質が当該一のスクリーンについて設定された画質に近づくように投影部を制御する投影制御を、複数のスクリーンの各々について行ってよい。   Suitably, a detection part may detect the position of each part of the object in the detection object area | region where the some screen is arrange | positioned. The control unit may acquire, for each of the plurality of screens, arrangement state information related to at least one of the position and orientation of the screen in the detection target region based on the detection result of the detection unit. Further, the control unit controls the projection unit according to the arrangement state information acquired for the one screen so that the image quality of the image projected on the one screen approaches the image quality set for the one screen. May be performed for each of the plurality of screens.

この構成によれば、複数のスクリーンの各々について、配置状態情報の取得と投影制御とが行われる。配置状態情報は、複数のスクリーンが配置された検知対象領域におけるスクリーンの位置及び姿勢の少なくとも一方に関する情報であり、検知対象領域における物体の各部分の位置を検知した結果に基づいて取得される。一のスクリーンについて行われる投影制御では、当該一のスクリーンについて取得された配置状態情報に応じて、当該一のスクリーンに投影する映像の画質が当該一のスクリーンについて設定された画質に近づくように投影部が制御される。これにより、当該一のスクリーンに投影する映像の画質が、当該一のスクリーンについて設定された画質に保たれ易くなる。   According to this configuration, arrangement state information acquisition and projection control are performed for each of the plurality of screens. The arrangement state information is information regarding at least one of the position and orientation of the screen in the detection target area where a plurality of screens are arranged, and is acquired based on the result of detecting the position of each part of the object in the detection target area. In the projection control performed for one screen, projection is performed so that the image quality of the image projected on the one screen approaches the image quality set for the one screen according to the arrangement state information acquired for the one screen. Part is controlled. As a result, the image quality of the image projected on the one screen is easily maintained at the image quality set for the one screen.

好適に、制御部は、検知部の検知結果に基づく各スクリーンの配置状態情報の取得を反復するとともに、配置状態情報に応じた各スクリーンの投影制御を反復してよい。   Preferably, the control unit may repeat the acquisition of the arrangement state information of each screen based on the detection result of the detection unit, and may repeat the projection control of each screen according to the arrangement state information.

この構成によれば、各スクリーンの位置や姿勢が変化した場合、その変化の後で各スクリーンの配置状態情報が取得され、取得された配置状態情報に応じて各スクリーンの投影制御が行われる。従って、各スクリーンの位置や姿勢が変化しても、各スクリーンに投影する映像の画質が、スクリーン毎に設定された画質に保たれ易くなる。   According to this configuration, when the position or orientation of each screen changes, the arrangement state information of each screen is acquired after the change, and projection control of each screen is performed according to the acquired arrangement state information. Therefore, even if the position or orientation of each screen changes, the image quality of the image projected on each screen is easily maintained at the image quality set for each screen.

好適に、スクリーン毎に設定された画質は、明るさ、コントラスト、色の濃さ、色合い、シャープネス、幾何歪み、シェーディング及び色むらの少なくとも1つを含んでよい。   Preferably, the image quality set for each screen may include at least one of brightness, contrast, color strength, hue, sharpness, geometric distortion, shading, and color unevenness.

好適に、制御部は、複数のスクリーンの少なくとも一部について、明るさ、コントラスト、色の濃さ、色合い及びシャープネスの少なくとも1つを設定する画質設定指示を入力可能であってよい。また、制御部は、一のスクリーンについて画質設定指示を入力した場合、当該一のスクリーンの投影制御において、当該一のスクリーンに投影する映像の画質における明るさ、コントラスト、色の濃さ、色合い及びシャープネスの少なくとも1つが画質設定指示により設定された画質へ近づくように、配置状態情報に応じて投影部を制御してよい。   Preferably, the control unit may be capable of inputting an image quality setting instruction for setting at least one of brightness, contrast, color density, hue, and sharpness for at least some of the plurality of screens. In addition, when an image quality setting instruction is input for one screen, the control unit, in the projection control of the one screen, brightness, contrast, color density, color tone, and color tone in the image quality projected on the one screen. The projection unit may be controlled according to the arrangement state information so that at least one of the sharpness approaches the image quality set by the image quality setting instruction.

この構成によれば、複数のスクリーンの少なくとも一部について、画質設定指示により、明るさ、コントラスト、色の濃さ、色合い及びシャープネスの少なくとも1つを設定することが可能となる。一のスクリーンについて画質設定指示により画質が設定された場合、当該一のスクリーンに投影する映像の画質における明るさ、コントラスト、色の濃さ、色合い及びシャープネスの少なくとも1つが、画質設定指示により設定された画質へ近づくように、配置状態情報に応じて投影部が制御される。これにより、当該一のスクリーンに投影する映像において、明るさ、コントラスト、色の濃さ、色合い及びシャープネスの少なくとも1つが画質設定指示により設定された画質に保たれ易くなる。   According to this configuration, it is possible to set at least one of brightness, contrast, color density, hue, and sharpness for at least some of the plurality of screens by an image quality setting instruction. When the image quality is set by the image quality setting instruction for one screen, at least one of brightness, contrast, color density, hue, and sharpness in the image quality of the image projected on the one screen is set by the image quality setting instruction. The projection unit is controlled according to the arrangement state information so that the image quality approaches. As a result, in the image projected on the one screen, at least one of brightness, contrast, color density, hue, and sharpness can be easily maintained at the image quality set by the image quality setting instruction.

好適に、制御部は、検知部の検知結果に基づく各スクリーンの配置状態情報の取得を反復するとともに、配置状態情報に応じた各スクリーンの投影制御を反復してよい。また、制御部は、一のスクリーンに投影する映像の画質を設定する画質設定指示を入力した場合、当該画質設定指示に応じて当該一のスクリーンに投影する映像の画質が変化するように投影部における画質の設定を変更するとともに、変更後の画質の設定に関する第1設定情報と、当該一のスクリーンについて取得した最新の配置状態情報である第2設定情報とを記憶してよい。そして、制御部は、当該一のスクリーンの投影制御において、当該一のスクリーンについて取得した最新の配置状態情報と、画質設定指示の入力時に記憶した第1設定情報及び第2設定情報とに応じて、当該一のスクリーンに投影する映像の画質が画質設定指示の入力時における画質へ近づくように投影部を制御してよい。   Preferably, the control unit may repeat the acquisition of the arrangement state information of each screen based on the detection result of the detection unit, and may repeat the projection control of each screen according to the arrangement state information. In addition, when the control unit inputs an image quality setting instruction for setting the image quality of the image projected on one screen, the projection unit changes the image quality of the image projected on the one screen according to the image quality setting instruction. In addition to changing the image quality setting, the first setting information related to the changed image quality setting and the second setting information that is the latest arrangement state information acquired for the one screen may be stored. Then, in the projection control of the one screen, the control unit responds to the latest arrangement state information acquired for the one screen and the first setting information and the second setting information stored when the image quality setting instruction is input. The projection unit may be controlled so that the image quality of the image projected on the one screen approaches the image quality when the image quality setting instruction is input.

この構成によれば、一のスクリーンに投影する映像の画質を設定する画質設定指示が入力された場合、入力された画質設定指示に応じて当該一のスクリーンに投影する映像の画質が変化するように、投影部における画質の設定が変更される。また、この場合、変更後の画質の設定に関する第1設定情報が記憶されるとともに、当該一のスクリーンについて反復的に取得される配置状態情報のうち、最新の配置状態情報が第2設定情報として記憶される。そして、反復的に実行される当該一のスクリーンの投影制御では、当該一のスクリーンについて取得された最新の配置状態情報と、画質設定指示の入力時に記憶された第1設定情報及び第2設定情報とに応じて、当該一のスクリーンに投影する映像の画質が画質設定指示の入力時における画質へ近づくように投影部が制御される。従って、画質設定指示の入力時に、この画質設定指示によって設定した画質の映像がスクリーンに投影されるため、画質設定指示によって設定した画質を確認することが可能になる。また、投影制御では、画質設定指示の入力時の配置状態情報である第2設定情報と最新の配置状態情報とに基づいて、画質設定指示の入力時と比べた配置状態の違いが分かるため、この配置状態の違いから、画質設定指示の入力時の画質に近似した画質を得るために必要な画質の設定の補正が推定される。   According to this configuration, when an image quality setting instruction for setting the image quality of an image projected on one screen is input, the image quality of the image projected on the one screen changes according to the input image quality setting instruction. In addition, the image quality setting in the projection unit is changed. In this case, the first setting information related to the changed image quality setting is stored, and the latest arrangement state information among the arrangement state information repeatedly obtained for the one screen is the second setting information. Remembered. In the projection control of the one screen that is repeatedly executed, the latest arrangement state information acquired for the one screen, and the first setting information and the second setting information stored when the image quality setting instruction is input. Accordingly, the projection unit is controlled so that the image quality of the image projected on the one screen approaches the image quality when the image quality setting instruction is input. Therefore, when the image quality setting instruction is input, an image having the image quality set by the image quality setting instruction is projected on the screen, so that the image quality set by the image quality setting instruction can be confirmed. Further, in the projection control, since the difference in the arrangement state compared with the time of inputting the image quality setting instruction can be understood based on the second setting information that is the arrangement state information at the time of inputting the image quality setting instruction and the latest arrangement state information. From this difference in the arrangement state, the correction of the image quality setting necessary to obtain the image quality approximate to the image quality at the time of inputting the image quality setting instruction is estimated.

好適に、制御部は、検知部の検知結果に基づいて、ユーザのジェスチャーによる画質設定指示を入力してよい。   Suitably, a control part may input the image quality setting instruction | indication by a user's gesture based on the detection result of a detection part.

この構成によれば、検知部の検知結果が画質設定指示の入力に使用されるため、ジェスチャー入力専用のセンサ等を用いる場合に比べて構成が簡易になる。   According to this configuration, since the detection result of the detection unit is used for inputting an image quality setting instruction, the configuration is simplified as compared with the case where a sensor dedicated to gesture input or the like is used.

好適に、制御部は、複数のスクリーンの各々について、スクリーン毎に設定された画質に関する情報とスクリーン毎に割り当てられた識別情報とを関連付けて記憶してよい。   Preferably, for each of the plurality of screens, the control unit may store information relating to image quality set for each screen and identification information assigned for each screen in association with each other.

この構成によれば、スクリーン毎に設定された画質に関する情報を識別情報に基づいて管理することが可能になる。   According to this configuration, it is possible to manage information regarding the image quality set for each screen based on the identification information.

好適に、制御部は、検知部の検知結果に基づいて、各スクリーンの識別情報を取得してよい。   Suitably, a control part may acquire the identification information of each screen based on the detection result of a detection part.

この構成によれば、検知部の検知結果が各スクリーンの識別情報の取得に使用されるため、識別情報を取得するための専用のセンサ等を用いる場合に比べて構成が簡易になる。   According to this configuration, since the detection result of the detection unit is used for acquiring the identification information of each screen, the configuration is simplified compared to the case where a dedicated sensor or the like for acquiring the identification information is used.

好適に、第1の側面に係る投影システムは、複数のスクリーンが配置される領域における環境光の強度を検出する環境光検出部を有してよい。制御部は、一のスクリーンの投影制御において、当該一のスクリーンについて取得した配置状態情報と環境光検出部の検出結果とに応じて、当該一のスクリーンに投影する映像の画質が当該一のスクリーンについて設定された画質に近づくように投影部を制御してよい。   Preferably, the projection system according to the first aspect may include an ambient light detection unit that detects ambient light intensity in an area where a plurality of screens are arranged. In the projection control of one screen, the control unit determines the image quality of the image projected on the one screen according to the arrangement state information acquired for the one screen and the detection result of the ambient light detection unit. The projection unit may be controlled so as to approach the image quality set for.

この構成によれば、複数のスクリーンが配置される領域における環境光の強度の検出結果に応じて、各スクリーンについての投影制御が行われる。そのため、環境光の強度が変化する場合でも、各スクリーンに投影する映像の画質がスクリーン毎に設定された画質に保たれ易くなる。   According to this configuration, projection control for each screen is performed according to the detection result of the intensity of the ambient light in the area where the plurality of screens are arranged. Therefore, even when the intensity of ambient light changes, the image quality of the image projected on each screen is easily maintained at the image quality set for each screen.

好適に、制御部は、環境光検出部が検出した環境光の強度の時間的な変化を平滑化するフィルタ処理を行ってよく、投影制御においては、フィルタ処理が施された環境光検出部の検出結果に応じて投影部を制御してよい。   Preferably, the control unit may perform a filter process for smoothing a temporal change in the intensity of the ambient light detected by the ambient light detection unit. In the projection control, the control unit of the ambient light detection unit subjected to the filter process may perform The projection unit may be controlled according to the detection result.

この構成によれば、環境光の強度の急激な変化に応じて投影制御が行われることによる映像の画質の急激な変化が抑制され易くなる。   According to this configuration, it is easy to suppress a sudden change in the image quality of the video due to the projection control being performed according to the sudden change in the intensity of the ambient light.

好適に、第1の側面に係る投影システムは、複数のスクリーンが配置される領域を照らす環境照明部を有してよい。制御部は、複数のスクリーンの少なくとも一部について画質として設定された映像の明るさに応じて、環境照明部の照度を制御してよい。   Suitably, the projection system concerning the 1st side may have an environment lighting part which illuminates the field where a plurality of screens are arranged. The control unit may control the illuminance of the environmental illumination unit according to the brightness of the video set as the image quality for at least some of the plurality of screens.

この構成によれば、複数のスクリーンの少なくとも一部について画質として設定された映像の明るさに応じて、環境照明部の照度が制御されるため、映像の明るさに応じた適切な環境光の強度が得られ易くなる。   According to this configuration, since the illuminance of the environment illumination unit is controlled according to the brightness of the video set as the image quality for at least some of the plurality of screens, the appropriate ambient light according to the brightness of the video is controlled. Strength is easily obtained.

本開示の第2の側面は、複数のスクリーンの各々に映像を投影する投影部と、投影部に対する各スクリーンの配置状態を検知する検知部とを有する投影システムの制御方法に関する。この投影システムの制御方法は、各スクリーンに投影する映像の画質がスクリーン毎に設定された画質へ近づくように、検知部の検知結果に応じて投影部を制御することを有する。   A second aspect of the present disclosure relates to a control method for a projection system including a projection unit that projects an image on each of a plurality of screens, and a detection unit that detects an arrangement state of each screen with respect to the projection unit. The control method of the projection system includes controlling the projection unit according to the detection result of the detection unit so that the image quality of the image projected on each screen approaches the image quality set for each screen.

好適に、第2の側面に係る投影システムの制御方法は、複数のスクリーンが配置された検知対象領域における物体の各部分の位置を検知する検知部の検知結果に基づいて、検知対象領域におけるスクリーンの位置及び姿勢の少なくとも一方に関する配置状態情報を、複数のスクリーンの各々について取得することと、一のスクリーンについて取得した配置状態情報に応じて、当該一のスクリーンに投影する映像の画質が当該一のスクリーンについて設定された画質に近づくように投影部を制御する投影制御を、複数のスクリーンの各々について行うこととを有する。   Preferably, the control method of the projection system according to the second aspect includes a screen in the detection target area based on a detection result of a detection unit that detects the position of each part of the object in the detection target area in which the plurality of screens are arranged. Acquisition of arrangement state information regarding at least one of the position and orientation of each of the plurality of screens, and the image quality of an image projected on the one screen in accordance with the arrangement state information acquired for the one screen. Performing projection control for controlling the projection unit so as to approach the image quality set for the screens for each of the plurality of screens.

好適に、第2の側面に係る投影システムの制御方法は、検知部の検知結果に基づく各スクリーンの配置状態情報の取得を反復することと、配置状態情報に応じた各スクリーンの投影制御を反復することと、一のスクリーンに投影する映像の画質を設定する画質設定指示を入力した場合、当該画質設定指示に応じて当該一のスクリーンに投影する映像の画質が変化するように投影部における画質の設定を変更するとともに、変更後の画質の設定に関する第1設定情報と、当該一のスクリーンについて取得した最新の配置状態情報である第2設定情報とを記憶することと、当該一のスクリーンの投影制御において、当該一のスクリーンについて取得した最新の配置状態情報と、画質設定指示の入力時に記憶した第1設定情報及び第2設定情報とに応じて、当該一のスクリーンに投影する映像の画質が画質設定指示の入力時における画質へ近づくように投影部を制御することとを有する。   Preferably, in the projection system control method according to the second aspect, the acquisition of the arrangement state information of each screen based on the detection result of the detection unit and the projection control of each screen according to the arrangement state information are repeated. When the image quality setting instruction for setting the image quality of the image projected on one screen is input, the image quality in the projection unit is changed so that the image quality of the image projected on the one screen changes according to the image quality setting instruction. The first setting information related to the image quality setting after the change, and the second setting information which is the latest arrangement state information acquired for the one screen, and In the projection control, the latest arrangement state information acquired for the one screen and the first setting information and the second setting information stored when the image quality setting instruction is input. Flip and has a the quality of the projected image on the one screen to control the projection unit so as to approach the image quality at the time of input of the image quality setting instruction.

本開示の第3の側面は、第2の側面に係る投影システムの制御方法をコンピュータに実行させるためのプログラムに関する。   The third aspect of the present disclosure relates to a program for causing a computer to execute the control method of the projection system according to the second aspect.

本開示によれば、複数のスクリーンの各々に投影する映像の画質をスクリーン毎に設定された画質に保つことができる投影システムとその制御方法及びプログラムを提供できる。   According to the present disclosure, it is possible to provide a projection system that can maintain the image quality of an image projected on each of a plurality of screens at an image quality set for each screen, and a control method and program thereof.

図1Aは、本実施形態に係る投影システムの一例を示す図であり、卓上型スクリーンを用いた投影システムを示す。図1Bは、卓上型スクリーンの一例を示す図である。FIG. 1A is a diagram showing an example of a projection system according to the present embodiment, and shows a projection system using a desktop screen. FIG. 1B is a diagram illustrating an example of a desktop screen. 図2Aは、本実施形態に係る投影システムの一例を示す図であり、携帯型スクリーンを用いた投影システムを示す。図2B〜図2Cは、携帯型スクリーンの一例を示す図である。FIG. 2A is a diagram showing an example of a projection system according to the present embodiment, and shows a projection system using a portable screen. 2B to 2C are diagrams illustrating an example of a portable screen. 図3は、本実施形態に係る投影システムの構成の一例を示す図である。FIG. 3 is a diagram showing an example of the configuration of the projection system according to the present embodiment. 図4は、多機能プロジェクタの構成の一例を示す図である。FIG. 4 is a diagram illustrating an example of the configuration of the multifunction projector. 図5は、卓上型スクリーンの構成の一例を示す図である。FIG. 5 is a diagram illustrating an example of the configuration of a desktop screen. 図6は、携帯型スクリーンの構成の一例を示す図である。FIG. 6 is a diagram illustrating an example of the configuration of a portable screen. 図7は、制御装置の構成の一例を示す図である。FIG. 7 is a diagram illustrating an example of the configuration of the control device. 図8は、スクリーンにおける映像の投影状態が一定に保たれることを説明するための図である。FIG. 8 is a diagram for explaining that the projection state of the image on the screen is kept constant. 図9A〜図9Dは、複数のスクリーンに映像を投影する方法を説明するための図である。9A to 9D are diagrams for explaining a method of projecting an image on a plurality of screens. 図10A〜図10Bは、スクリーンに表示される映像の例を示す図であり、ページの切り替えに用いられる仮想的なタブの例を示す。10A to 10B are diagrams illustrating examples of images displayed on the screen, and illustrate examples of virtual tabs used for switching pages. 図11Aは、手書き操作に応じて映像を更新する例を示す図である。図11Bは、手書き操作の有無の判定に接触センサの検出結果を利用する例を示す図である。FIG. 11A is a diagram illustrating an example in which a video is updated according to a handwriting operation. FIG. 11B is a diagram illustrating an example in which the detection result of the contact sensor is used to determine whether or not there is a handwriting operation. 図12A〜図12Cは、携帯型スクリーンの一例を示す図である。12A to 12C are diagrams illustrating an example of a portable screen. 図13A〜図13Dは、携帯型スクリーンの他の例を示す図である。13A to 13D are diagrams illustrating another example of the portable screen. 図14は、基準の配置状態の一例を示す図である。FIG. 14 is a diagram illustrating an example of a reference arrangement state. 図15は、画質設定指示を入力する動作の一例を説明するためのフローチャートである。FIG. 15 is a flowchart for explaining an example of an operation for inputting an image quality setting instruction. 図16は、スクリーン毎に画質を調整する動作の一例を説明するためのフローチャートである。FIG. 16 is a flowchart for explaining an example of the operation for adjusting the image quality for each screen. 図17は、投影制御の一例を説明するためのフローチャートである。FIG. 17 is a flowchart for explaining an example of projection control. 図18は、画質設定指示の入力時における配置状態の一例を示す図である。FIG. 18 is a diagram illustrating an example of an arrangement state when an image quality setting instruction is input. 図19は、画質設定指示を入力する動作の他の例を説明するためのフローチャートである。FIG. 19 is a flowchart for explaining another example of the operation of inputting the image quality setting instruction. 図20は、投影制御の他の例を説明するためのフローチャートである。FIG. 20 is a flowchart for explaining another example of the projection control. 図21は、環境光を測定する動作の一例を説明するためのフローチャートである。FIG. 21 is a flowchart for explaining an example of an operation for measuring ambient light. 図22は、投影制御の他の例を説明するためのフローチャートであり、環境光の強度に応じて画質を調整する例を示す。FIG. 22 is a flowchart for explaining another example of the projection control, and shows an example in which the image quality is adjusted according to the intensity of the ambient light. 図23は、投影制御の他の例を説明するためのフローチャートであり、環境光の強度に応じて画質を調整する例を示す。FIG. 23 is a flowchart for explaining another example of the projection control, and shows an example in which the image quality is adjusted according to the intensity of the ambient light. 図24は、環境照明部を備えた投影システムの構成の一例を示す図である。FIG. 24 is a diagram illustrating an example of a configuration of a projection system including an environment illumination unit. 図25は、環境照明を調整する動作の一例を説明するためのフローチャートである。FIG. 25 is a flowchart for explaining an example of the operation for adjusting the environmental illumination.

以下、本実施形態に係る投影システムについて図面を参照して説明する。本実施形態に係る投影システムは、単に映像を投影するだけでなく、使用者のジェスチャーやスクリーンの移動などをセンサにより検知して、映像の投影を双方向的に制御する機能を持つ。この投影システムは、例えば会議や研修、授業などにおいて資料等の映像をスクリーンに投影する機能のほか、使用者ごとに閲覧可能な資料等を制限する機能、議事録を自動的に生成する機能などを備える。   Hereinafter, the projection system according to the present embodiment will be described with reference to the drawings. The projection system according to the present embodiment has a function of not only projecting an image but also bidirectionally controlling the projection of the image by detecting a user's gesture or screen movement with a sensor. This projection system, for example, functions such as projecting images such as documents on the screen in meetings, training, classes, etc., functions that limit the documents that can be viewed by each user, functions that automatically generate minutes, etc. Is provided.

図1Aは、本実施形態に係る投影システムの一例を示す図であり、卓上型スクリーン3を用いた投影システムを示す。また図2Aは、本実施形態に係る投影システムの他の一例を示す図であり、携帯型スクリーン4を用いた投影システムを示す。これらの例に示す投影システムは、会議室の天井などに設置された多機能プロジェクタ2と、映像が投影される卓上型スクリーン3若しくは携帯型スクリーン4とを有する。図の例では、多機能プロジェクタ2の下方に机12が配置され、机12の上に置かれた卓上型スクリーン3や携帯型スクリーン4に向けて多機能プロジェクタ2から映像が投影される。使用者は、机12の周囲に配置された座席11に着座して、これらのスクリーン(3,4)に投影される映像を見ながら会議等を行う。   FIG. 1A is a diagram showing an example of a projection system according to the present embodiment, and shows a projection system using a desktop screen 3. FIG. 2A is a diagram showing another example of the projection system according to this embodiment, and shows a projection system using a portable screen 4. The projection system shown in these examples includes a multi-function projector 2 installed on the ceiling of a conference room and the like, and a desktop screen 3 or a portable screen 4 on which an image is projected. In the example of the figure, a desk 12 is arranged below the multi-function projector 2, and an image is projected from the multi-function projector 2 toward a desktop screen 3 or a portable screen 4 placed on the desk 12. The user sits on the seat 11 arranged around the desk 12 and holds a meeting or the like while watching the images projected on these screens (3, 4).

なお、図1A及び図2Aの例では、卓上型スクリーン3のみ又は携帯型スクリーン4のみが使用されているが、これらのスクリーン(3,4)は机12の上で両方同時に使用されてもよい。この場合、多機能プロジェクタ2は、各スクリーン(3,4)への映像の投影を並行して行う。   In the example of FIGS. 1A and 2A, only the desktop screen 3 or the portable screen 4 is used, but these screens (3, 4) may be used on the desk 12 at the same time. . In this case, the multi-function projector 2 projects images on the screens (3, 4) in parallel.

図1Bは、卓上型スクリーン3の一例を示す図である。図1Bに示す卓上型スクリーン3は、ほぼ矩形の平らな投影面311を持った平板状の部材である。投影面311には、例えば汎用のプロジェクタ用スクリーンや、反射効率が高いディンプル反射板による高効率スクリーンなどが用いられる。   FIG. 1B is a diagram illustrating an example of the desktop screen 3. The desktop screen 3 shown in FIG. 1B is a flat plate-like member having a substantially rectangular flat projection surface 311. For the projection surface 311, for example, a general-purpose projector screen or a high-efficiency screen using a dimple reflector having high reflection efficiency is used.

卓上型スクリーン3の投影面311の対角の隅には、星形のマーク301及び302が設けられている。マーク301及び302は、後述する物体検知部22によって検知され、卓上型スクリーン3の位置及び姿勢の判定に使用される。マーク301及び302は、例えば、特定の波長の光(不可視の赤外線や紫外線など)を受けて蛍光を発生する不可視インクで印刷されたマークでもよいし、一般的な可視のインクで印刷されたマークでもよい。また、マーク301及び302は、投影光を反射する反射板や、発光素子(発光ダイオード等)でもよい。なお、マーク301および302は、感熱性インクや電子ペーパー等を用いて書き換え可能に構成されても良い。   Star-shaped marks 301 and 302 are provided at diagonal corners of the projection surface 311 of the desktop screen 3. The marks 301 and 302 are detected by an object detection unit 22 described later, and are used for determining the position and orientation of the desktop screen 3. The marks 301 and 302 may be, for example, marks printed with invisible ink that emits fluorescence upon receiving light of a specific wavelength (such as invisible infrared rays or ultraviolet rays), or marks printed with general visible ink But you can. The marks 301 and 302 may be a reflecting plate that reflects projection light or a light emitting element (such as a light emitting diode). Note that the marks 301 and 302 may be configured to be rewritable using heat-sensitive ink, electronic paper, or the like.

卓上型スクリーン3は、四辺の縁の近くに複数のマイク31とスピーカ32を備える。複数のマイク31は、発話者の位置を特定する処理のために異なる場所で発話者の音声を集音する。また、一部のマイク31は、ノイズ除去処理のために音声以外の環境音を集音する。スピーカ32は、投影面311における使用者の所定のジェスチャーに対応した操作音(クリック音など)や、任意のオーディオデータによる音を発生する。なお、マイク31やスピーカ32は、卓上スクリーン3の外縁の端面(卓上スクリーン3の厚みの範囲内)に収容されていても良い。これにより、投影面311に対して多機能プロジェクタ2から映像が投影された際に、マイク31やスピーカ32に映像が重なることを防止できる。   The desktop screen 3 includes a plurality of microphones 31 and speakers 32 near the edges of the four sides. The plurality of microphones 31 collect the voice of the speaker at different locations for the process of specifying the position of the speaker. Some microphones 31 collect environmental sounds other than sound for noise removal processing. The speaker 32 generates an operation sound (such as a click sound) corresponding to a predetermined gesture of the user on the projection surface 311 or a sound based on arbitrary audio data. Note that the microphone 31 and the speaker 32 may be housed on the outer edge of the desktop screen 3 (within the thickness range of the desktop screen 3). Thereby, when an image is projected from the multifunction projector 2 onto the projection surface 311, it is possible to prevent the image from overlapping the microphone 31 and the speaker 32.

図2B〜図2Cは、携帯型スクリーン4の一例を示す図である。この図の例において、携帯型スクリーン4はノートのように開閉(変形)可能である。図2Bは、閉じた状態における携帯型スクリーン4の表紙450を示す。図2Bの例において、携帯型スクリーン4の表紙450には、使用者の識別情報を含んだ2次元コード451と、使用者の顔の写真452とが印刷若しくは貼り付けられている。なお、使用者の識別情報を含んだ2次元コード451や、使用者の顔の写真452は、感熱性インクや電子ペーパー等を用いて書き換え可能に構成されても良い。   2B to 2C are diagrams illustrating an example of the portable screen 4. In the example of this figure, the portable screen 4 can be opened and closed (deformed) like a notebook. FIG. 2B shows the cover 450 of the portable screen 4 in the closed state. In the example of FIG. 2B, a two-dimensional code 451 including user identification information and a photograph 452 of the user's face are printed or pasted on the cover 450 of the portable screen 4. Note that the two-dimensional code 451 including the identification information of the user and the photograph 452 of the user's face may be configured to be rewritable using thermal ink or electronic paper.

図2Cは、開いた状態における携帯型スクリーン4の投影面411−1,411−2を示す。図2Cの例において、携帯型スクリーン4は、折り畳み可能な2つの投影面411−1及び411−2を含む。投影面411−1及び411−2(以下、区別せずに「投影面411」と記す場合がある。)には、例えば汎用のプロジェクタ用スクリーンやディンプル反射板による高効率スクリーンなどが用いられる。   FIG. 2C shows the projection surfaces 411-1 and 411-2 of the portable screen 4 in the opened state. In the example of FIG. 2C, the portable screen 4 includes two foldable projection surfaces 411-1 and 411-2. As the projection surfaces 411-1 and 411-2 (hereinafter sometimes referred to as “projection surface 411” without distinction), for example, a general-purpose projector screen or a high-efficiency screen using a dimple reflector is used.

携帯型スクリーン4の2つの投影面411には、それぞれ3つのマーク401〜403が設けられている。マーク401〜403は、後述する物体検知部22によって検知され、各投影面411の位置及び姿勢の判定や、携帯型スクリーン4の変形状態(開閉状態)の判定に使用される。マーク401〜403は、インク(不可視インクなど)で印刷されたマークでもよいし、反射板や発光素子でもよい。なお、マーク401〜403は、感熱性インクや電子ペーパー等を用いて書き換え可能に構成されても良い。   Three marks 401 to 403 are provided on the two projection surfaces 411 of the portable screen 4, respectively. The marks 401 to 403 are detected by an object detection unit 22 described later, and are used to determine the position and orientation of each projection plane 411 and to determine the deformation state (open / close state) of the portable screen 4. The marks 401 to 403 may be marks printed with ink (such as invisible ink), or may be reflectors or light emitting elements. The marks 401 to 403 may be configured to be rewritable using heat-sensitive ink, electronic paper, or the like.

また2つの投影面411の端部には、複数のマイク43とスピーカ44が設けられている。複数のマイク43は、発話者の音声やノイズ除去用の環境音を集音する。スピーカ44は、2つの投影面411における使用者の所定のジェスチャーに対応した操作音や、任意のオーディオデータによる音を発生する。マイク43やスピーカ44は、投影面411−1,411−2の外縁の端面における厚みの範囲内に収容されていても良い。これにより、投影面411−1,411−2に対して多機能プロジェクタ2から映像が投影された際に、マイク43やスピーカ44に映像が重なることを防止できる。   A plurality of microphones 43 and speakers 44 are provided at the ends of the two projection surfaces 411. The plurality of microphones 43 collects the voice of the speaker and the environmental sound for noise removal. The speaker 44 generates an operation sound corresponding to a predetermined gesture of the user on the two projection surfaces 411 and a sound based on arbitrary audio data. The microphone 43 and the speaker 44 may be accommodated within a thickness range on the end surfaces of the outer edges of the projection surfaces 411-1 and 411-2. Accordingly, it is possible to prevent the images from overlapping the microphone 43 and the speaker 44 when the images are projected from the multifunction projector 2 onto the projection surfaces 411-1 and 411-2.

図3は、本実施形態に係る投影システムの構成の一例を示す図である。本実施形態に係る投影システムは、全体的な動作を統括的に制御する制御装置5を有する。多機能プロジェクタ2、卓上型スクリーン3及び携帯型スクリーン4は、例えば図3に示すように、Bluetooth(登録商標)や無線LANなどの無線通信方式によって制御装置5とそれぞれ通信する。なお、制御装置5との通信は無線通信に限らず、有線の通信でもよい。また、制御装置5を構成する1以上のブロックの少なくとも一部が、他の1以上の装置(例えば多機能プロジェクタ2)に組み込まれていてもよい。   FIG. 3 is a diagram showing an example of the configuration of the projection system according to the present embodiment. The projection system according to the present embodiment includes a control device 5 that comprehensively controls the overall operation. As shown in FIG. 3, for example, the multi-function projector 2, the desktop screen 3, and the portable screen 4 communicate with the control device 5 by a wireless communication method such as Bluetooth (registered trademark) or wireless LAN. Note that communication with the control device 5 is not limited to wireless communication, but may be wired communication. Further, at least a part of one or more blocks constituting the control device 5 may be incorporated in one or more other devices (for example, the multifunction projector 2).

更に制御装置5は、LANやその他のネットワークに接続されたサーバ6と通信を行う。制御装置5は、多機能プロジェクタ2が投影する映像のデータや、スクリーン(3,4)のスピーカ(32,44)が出力する音のデータ、使用者の識別情報を認証するための情報などをサーバ6から取得する。   Furthermore, the control device 5 communicates with a server 6 connected to a LAN or other network. The control device 5 stores video data projected by the multifunction projector 2, sound data output from the speakers (32, 44) of the screen (3, 4), information for authenticating the user identification information, and the like. Obtain from the server 6.

図4は、多機能プロジェクタ2の構成の一例を示す図である。図4に示す多機能プロジェクタ2は、投影部21と、物体検知部22と、撮像部23と、通信部24と、制御部25とを有する。   FIG. 4 is a diagram illustrating an example of the configuration of the multifunction projector 2. The multi-function projector 2 illustrated in FIG. 4 includes a projection unit 21, an object detection unit 22, an imaging unit 23, a communication unit 24, and a control unit 25.

投影部21は、映像を投影する装置である。例えば、投影部21は、LCDパネルに光源からの光を通して、ピクセルごとに光を透過させるか遮断するかの制御を行ない、映像を表示させる液晶プロジェクタや、レーザー光源からのレーザー光をMEMSミラーで反射させ所定領域で走査させることで映像を表示させるレーザープロジェクタ等を含む。   The projection unit 21 is a device that projects an image. For example, the projection unit 21 controls whether to transmit or block the light for each pixel through the light from the light source to the LCD panel, and displays the image with a liquid crystal projector or laser light from the laser light source with a MEMS mirror. It includes a laser projector that displays an image by reflecting and scanning in a predetermined area.

本実施形態において、投影部21は、制御部25の制御に応じて投影方向を可変する機能や、投影先における光学像の歪みを補正する機能を備える。例えば投影部21は、光学系をアクチュエータなどで駆動し、光軸の方向や光学像の形状を調節する。   In the present embodiment, the projection unit 21 has a function of changing the projection direction according to the control of the control unit 25 and a function of correcting distortion of the optical image at the projection destination. For example, the projection unit 21 drives the optical system with an actuator or the like to adjust the direction of the optical axis and the shape of the optical image.

物体検知部22は、検知対象領域における物体の各部分の位置を検知する。検知対象領域は、例えば投影部21の投影範囲を含む3次元の空間であり、物体検知部22はこの3次元の空間に存在する物体の各部分の位置、すなわち、奥行きを持った3次元の形状を検知する。例えば物体検知部22は、所定の位置から所定のパターンを持つ赤外光線を検知対象の空間に照射し、空間に存在する物体(携帯型スクリーン4や他の検知対象物14)で反射された赤外光線の画像を別の位置のカメラで撮像する。物体検知部22は、撮像した画像における赤外光線のパターンの歪みに基づいて、物体の3次元の形状に関する情報を取得する。あるいは、物体検知部22は、レーザーから照射した赤外光線が物体で反射されて光学センサで受光されるまでの時間を検知する方式や、異なる位置で撮像された画像のずれを検知する方式など、既に知られている種々の方式によって物体の3次元の情報を取得してもよい。   The object detection unit 22 detects the position of each part of the object in the detection target region. The detection target area is, for example, a three-dimensional space including the projection range of the projection unit 21, and the object detection unit 22 is a position of each part of the object existing in the three-dimensional space, that is, a three-dimensional space having a depth. Detect shape. For example, the object detection unit 22 irradiates the detection target space with infrared rays having a predetermined pattern from a predetermined position, and is reflected by an object (portable screen 4 or other detection target 14) existing in the space. An infrared ray image is taken with a camera at another position. The object detection unit 22 acquires information on the three-dimensional shape of the object based on the distortion of the infrared ray pattern in the captured image. Alternatively, the object detection unit 22 detects a time until the infrared ray irradiated from the laser is reflected by the object and received by the optical sensor, a method of detecting a shift of images captured at different positions, and the like. The three-dimensional information of the object may be acquired by various known methods.

なお、検知対象領域が2次元の平面(例えば机12の上の平面)であり、物体(例えば携帯型スクリーン4)の奥行の情報を無視しても物体の位置と姿勢(平面上での回転方向)を検知できる場合、物体検知部22は2次元画像を撮像するカメラなどでもよい。   Note that the detection target region is a two-dimensional plane (for example, a plane on the desk 12), and the position and orientation of the object (rotation on the plane) even if information on the depth of the object (for example, the portable screen 4) is ignored. (Direction) can be detected, the object detection unit 22 may be a camera that captures a two-dimensional image.

撮像部23は、投影部21が映像を投影可能な投影範囲と、その周囲を撮像する。撮像部23が撮像した画像は、投影部21の投影範囲に接近する使用者13の検知や、投影範囲の周囲における使用者13の位置の判定、使用者13の顔の表情やしぐさなどに関する情報の取得などに用いられる。   The imaging unit 23 images a projection range in which the projection unit 21 can project an image and its surroundings. The image captured by the imaging unit 23 is information relating to detection of the user 13 approaching the projection range of the projection unit 21, determination of the position of the user 13 around the projection range, facial expressions and gestures of the user 13, and the like. Used for acquisition of

通信部24は、Bluetooth(登録商標)や無線LANなどの無線通信方式によって制御装置5と通信を行う装置であり、所定のベースバンド処理を行う回路や送受信回路を含む。   The communication unit 24 is a device that communicates with the control device 5 by a wireless communication method such as Bluetooth (registered trademark) or wireless LAN, and includes a circuit that performs predetermined baseband processing and a transmission / reception circuit.

制御部25は、多機能プロジェクタ2の各構成要素を制御する装置であり、例えばメモリに記憶されるプログラムの命令コードに従って処理を実行するコンピュータを含む。制御部25は、制御装置5から送られてくるコマンドに応じて、投影部21における投影方向の制御や光学像の形状の補正を行うとともに、制御装置5から受信した映像データを投影部21に入力して、映像データに応じた映像を投影する処理を行う。また制御部25は、物体検知部22における物体の検知結果や撮像部23における撮像画像を取得し、制御装置5へ送信する処理を行う。   The control unit 25 is a device that controls each component of the multi-function projector 2 and includes, for example, a computer that executes processing according to an instruction code of a program stored in a memory. The control unit 25 controls the projection direction in the projection unit 21 and corrects the shape of the optical image in accordance with a command sent from the control device 5, and receives the video data received from the control device 5 to the projection unit 21. Input and project the video according to the video data. In addition, the control unit 25 performs processing of acquiring the detection result of the object in the object detection unit 22 and the captured image in the imaging unit 23 and transmitting the acquired image to the control device 5.

なお、図4の例では多機能プロジェクタ2の中に物体検知部22と撮像部23が含まれているが、これらの装置はそれぞれ独立に設けられていてもよい。   In the example of FIG. 4, the multi-function projector 2 includes the object detection unit 22 and the imaging unit 23, but these devices may be provided independently.

図5は、卓上型スクリーン3の構成の一例を示す図である。図5に示す卓上型スクリーン3は、複数のマイク31と、複数のスピーカ32と、入力部33と、通信部34と、制御部35とを有する。また卓上型スクリーン3は、内部の電子回路に電源を供給するためのバッテリ(不図示)を搭載する。   FIG. 5 is a diagram illustrating an example of the configuration of the desktop screen 3. The desktop screen 3 illustrated in FIG. 5 includes a plurality of microphones 31, a plurality of speakers 32, an input unit 33, a communication unit 34, and a control unit 35. The desktop screen 3 is equipped with a battery (not shown) for supplying power to the internal electronic circuit.

複数のマイク31(図1Bの例では6個)は、発話者の音声やノイズ除去用の環境音をそれぞれ集音する。   The plurality of microphones 31 (six in the example of FIG. 1B) collect the voice of the speaker and the environmental sound for noise removal.

複数のスピーカ32(図1Bの例では2個)は、使用者の所定のジェスチャーに応じた操作音や、任意のオーディオデータによる音をそれぞれ発生する。   The plurality of speakers 32 (two in the example of FIG. 1B) respectively generate operation sounds according to a predetermined gesture of the user and sounds based on arbitrary audio data.

入力部33は、使用者の指示を入力するための装置であり、図1Bの例では、投影面311の側縁部に設けられた回転式のダイヤルを含む。入力部33は、このダイヤルの回転に応じた信号を制御部35に入力する。入力部33から入力された信号は、使用者の指示を表す情報として通信部34から制御装置5に送信され、映像中の文書のページを送る処理などに使用される。   The input unit 33 is a device for inputting a user instruction, and includes a rotary dial provided at a side edge of the projection surface 311 in the example of FIG. 1B. The input unit 33 inputs a signal corresponding to the rotation of the dial to the control unit 35. The signal input from the input unit 33 is transmitted from the communication unit 34 to the control device 5 as information indicating the user's instruction, and is used for processing of sending a document page in the video.

通信部34は、Bluetooth(登録商標)や無線LANなどの無線通信方式によって制御装置5と通信を行う装置であり、所定のベースバンド処理を行う回路や送受信回路を含む。   The communication unit 34 is a device that communicates with the control device 5 by a wireless communication method such as Bluetooth (registered trademark) or wireless LAN, and includes a circuit that performs predetermined baseband processing and a transmission / reception circuit.

制御部35は、卓上型スクリーン3の各構成要素を制御する装置であり、例えばメモリに記憶されるプログラムの命令コードに従って処理を実行するコンピュータを含む。制御部35は、複数のマイク31で集音された音のデータを制御装置5へ送信する処理や、制御装置5から受信したオーディオデータに基づいてスピーカ32から音を出力する処理、入力部33で得られた使用者の指示に関する情報を制御装置5へ送信する処理などを行う。   The control unit 35 is a device that controls each component of the desktop screen 3 and includes, for example, a computer that executes processing in accordance with an instruction code of a program stored in a memory. The control unit 35 performs processing for transmitting sound data collected by the plurality of microphones 31 to the control device 5, processing for outputting sound from the speaker 32 based on audio data received from the control device 5, and input unit 33. A process of transmitting information on the user's instruction obtained in step S5 to the control device 5 is performed.

図6は、携帯型スクリーン4の構成の一例を示す図である。図6に示す携帯型スクリーン4は、接触センサ41と、振動発生器42と、複数のマイク43と、スピーカ44と、入力部45及び46と、通信部47と、制御部48とを有する。また携帯型スクリーン4は、内部の電子回路に電源を供給するためのバッテリ(不図示)を搭載する。   FIG. 6 is a diagram illustrating an example of the configuration of the portable screen 4. The portable screen 4 shown in FIG. 6 includes a contact sensor 41, a vibration generator 42, a plurality of microphones 43, speakers 44, input units 45 and 46, a communication unit 47, and a control unit 48. The portable screen 4 is equipped with a battery (not shown) for supplying power to the internal electronic circuit.

接触センサ41は、投影面411における指などの物体の接触を検知するセンサであり、例えば物体の接触に伴う圧力の変化を検知する圧電素子を含む。あるいは接触センサ41は、物体の接触に伴う種々の物理量(静電容量、抵抗、温度など)の変化を検知するセンサを含んでもよい。   The contact sensor 41 is a sensor that detects the contact of an object such as a finger on the projection surface 411, and includes, for example, a piezoelectric element that detects a change in pressure accompanying the contact of the object. Alternatively, the contact sensor 41 may include a sensor that detects changes in various physical quantities (capacitance, resistance, temperature, etc.) accompanying the contact of the object.

振動発生器42は、投影面411に接触する指などへ振動を伝える装置であり、例えば圧電振動子やモーターなど、振動を発生可能な種々のアクチュエータを含む。   The vibration generator 42 is a device that transmits vibration to a finger or the like that contacts the projection surface 411, and includes various actuators that can generate vibration, such as a piezoelectric vibrator and a motor.

なお、接触センサ41や振動発生器42と同様なセンサやアクチュエータは、上述した卓上型スクリーン3にも搭載可能である。   Sensors and actuators similar to the contact sensor 41 and the vibration generator 42 can be mounted on the desktop screen 3 described above.

複数のマイク43(図2Bの例では2個)は、それぞれ発話者の音声やノイズ除去用の環境音を集音する。   The plurality of microphones 43 (two in the example of FIG. 2B) collect the voice of the speaker and the environmental sound for noise removal.

スピーカ44は、使用者の所定のジェスチャーに応じた操作音や、任意のオーディオデータによる音を発生する。   The speaker 44 generates an operation sound corresponding to a predetermined gesture of the user or a sound based on arbitrary audio data.

入力部45及び46は、使用者の指示を入力するための装置である。図2Bの例において、入力部45及び46はそれぞれ回転式のダイヤルを含む。入力部45のダイヤルは2つの投影面411の折り畳み位置に近い側縁部に設けられており、入力部46のダイヤルは折り畳み位置から離れた投影面411の側縁部の中央付近に設けられている。入力部45及び46は、ダイヤルの回転に応じた信号をそれぞれ制御部48に入力する。入力部45及び46から入力された信号は、使用者の指示を表す情報として通信部47から制御装置5に送信され、映像中の文書のページを送る処理などに使用される。   The input units 45 and 46 are devices for inputting user instructions. In the example of FIG. 2B, the input units 45 and 46 each include a rotary dial. The dial of the input unit 45 is provided on the side edge near the folding position of the two projection surfaces 411, and the dial of the input unit 46 is provided near the center of the side edge of the projection surface 411 away from the folding position. Yes. The input units 45 and 46 input signals corresponding to the rotation of the dial to the control unit 48, respectively. Signals input from the input units 45 and 46 are transmitted from the communication unit 47 to the control device 5 as information indicating the user's instruction, and are used for processing of sending a document page in the video.

通信部47は、Bluetooth(登録商標)や無線LANなどの無線通信方式によって制御装置5と通信を行う装置であり、所定のベースバンド処理を行う回路や送受信回路を含む。   The communication unit 47 is a device that communicates with the control device 5 by a wireless communication method such as Bluetooth (registered trademark) or wireless LAN, and includes a circuit that performs predetermined baseband processing and a transmission / reception circuit.

制御部48は、携帯型スクリーン4の各構成要素を制御する装置であり、例えばメモリに記憶されるプログラムの命令コードに従って処理を実行するコンピュータを含む。制御部48は、投影面411への接触を検知する接触センサ41の検知結果を制御装置5へ送信する処理や、制御装置5から送られてきたコマンドに応じて振動発生器42を振動させ、投影面411に触れた指等に振動を触知させる処理を行う。また、制御部48は、複数のマイク43で集音された音のデータを制御装置5へ送信する処理や、制御装置5から受信したオーディオデータに基づいてスピーカ44から音を出力する処理、入力部45及び46で得られた使用者の指示に関する情報を制御装置5へ送信する処理なども行う。   The control unit 48 is a device that controls each component of the portable screen 4 and includes, for example, a computer that executes processing in accordance with an instruction code of a program stored in a memory. The control unit 48 vibrates the vibration generator 42 in accordance with a process of transmitting the detection result of the contact sensor 41 that detects contact with the projection surface 411 to the control device 5 or a command sent from the control device 5. A process of making the finger touching the projection surface 411 feel the vibration is performed. Further, the control unit 48 transmits the sound data collected by the plurality of microphones 43 to the control device 5, outputs the sound from the speaker 44 based on the audio data received from the control device 5, and inputs A process of transmitting information related to the user's instruction obtained by the units 45 and 46 to the control device 5 is also performed.

図7は、制御装置5の構成の一例を示す図である。図7に示す制御装置5は、表示部51と、入力部52と、通信部53及び54と、制御部55とを有する。   FIG. 7 is a diagram illustrating an example of the configuration of the control device 5. The control device 5 illustrated in FIG. 7 includes a display unit 51, an input unit 52, communication units 53 and 54, and a control unit 55.

表示部51は、画像を表示する装置であり、例えば液晶ディスプレイや有機ELディスプレイなどを含む。   The display unit 51 is a device that displays an image, and includes, for example, a liquid crystal display or an organic EL display.

入力部52は、投影システムの管理者が指示を入力するための装置であり、例えばキーボードやマウス、タッチパッドなどを含む。   The input unit 52 is a device for an administrator of the projection system to input an instruction, and includes, for example, a keyboard, a mouse, a touch pad, and the like.

通信部53は、投影システムにおける各構成要素(多機能プロジェクタ2、卓上型スクリーン3、携帯型スクリーン4)と無線通信を行う装置であり、例えばBluetooth(登録商標)や無線LANなどの所定の無線通信方式により通信を行う。通信部53は、所定の無線通信方式に適合したベースバンド処理回路や送受信回路を含む。   The communication unit 53 is a device that performs wireless communication with each component (multifunctional projector 2, desktop screen 3, and portable screen 4) in the projection system. For example, the wireless communication unit 53 is a predetermined wireless device such as Bluetooth (registered trademark) or wireless LAN. Communicate using the communication method. The communication unit 53 includes a baseband processing circuit and a transmission / reception circuit adapted to a predetermined wireless communication method.

通信部54は、LANやその他のネットワークに接続されたサーバ6と通信を行う装置であり、例えばイーサネット(登録商標)などの所定の通信方式に適合したベースバンド処理回路や送受信回路を含む。   The communication unit 54 is a device that communicates with the server 6 connected to a LAN or other network, and includes a baseband processing circuit and a transmission / reception circuit adapted to a predetermined communication method such as Ethernet (registered trademark).

制御部55は、制御装置5による投影システムの全体的な制御を司る装置であり、図7の例では、処理部56と記憶部57を含む。処理部56は、記憶部57に格納されたプログラムの命令コードに従って処理を実行するコンピュータを含む。記憶部57は、例えばRAMやフラッシュROM、ハードディスク、光ディスクなどの記憶装置を含む。処理部56における全ての処理は、コンピュータにおいてプログラムに従って実行させてもよいし、少なくとも一部を専用のハードウェア(ロジック回路)で実行させてもよい。処理部56のコンピュータが実行するプログラムは、記憶部57に全て記憶されていてもよいし、少なくとも一部をサーバ6や他の外部の装置から適宜ダウンロードしてもよい。   The control unit 55 is a device that governs overall control of the projection system by the control device 5, and includes a processing unit 56 and a storage unit 57 in the example of FIG. 7. The processing unit 56 includes a computer that executes processing according to the instruction code of the program stored in the storage unit 57. The storage unit 57 includes a storage device such as a RAM, a flash ROM, a hard disk, and an optical disk. All processes in the processing unit 56 may be executed in accordance with a program in a computer, or at least a part thereof may be executed by dedicated hardware (logic circuit). All of the programs executed by the computer of the processing unit 56 may be stored in the storage unit 57, or at least a part thereof may be appropriately downloaded from the server 6 or another external device.

次に、上述した構成を有する投影システムの動作を説明する。   Next, the operation of the projection system having the above-described configuration will be described.

<開始時の動作>
制御装置5は、投影部21の投影範囲の周囲を撮像した撮像部23の画像に基づいて、投影範囲への使用者の接近を監視する。例えば制御装置5は、サーバ6に予め登録されたミーティングに関する情報(ミーティング情報)を参照し、ミーティング情報に含まれるミーティングの開始時刻の情報に基づいて、開始時刻の所定時間前から使用者の接近を監視する。制御装置5は、投影範囲へ使用者が接近したことを判定すると(例えば会議室の入り口付近の画像で人物の動きを捉えると)、投影部21を起動させる。
<Operation at the start>
The control device 5 monitors the approach of the user to the projection range based on the image of the imaging unit 23 that images the periphery of the projection range of the projection unit 21. For example, the control device 5 refers to the information (meeting information) related to the meeting registered in advance in the server 6 and, based on the information on the meeting start time included in the meeting information, approaches the user from a predetermined time before the start time. To monitor. When the control device 5 determines that the user has approached the projection range (for example, when a person's movement is captured by an image near the entrance of the conference room), the control device 5 activates the projection unit 21.

制御装置5は、投影部21の投影範囲へ使用者が接近したことを判定した場合、使用者が投影範囲を容易に認識できるようにするため、投影範囲を光学像や照明光で指示するように投影部21を制御する。この場合、制御装置5は、上述したミーティング情報に登録されている席次の情報を参照して、各使用者を決められた座席11に誘導してもよい。例えば、制御装置5は、各座席11に着席する使用者の情報をミーティング情報から取得し、この取得した情報に基づいて、着席する使用者の氏名等を各座席11の近くに表示させてもよい。   When it is determined that the user has approached the projection range of the projection unit 21, the control device 5 indicates the projection range with an optical image or illumination light so that the user can easily recognize the projection range. The projection unit 21 is controlled. In this case, the control device 5 may guide each user to the determined seat 11 with reference to the seat order information registered in the meeting information described above. For example, the control device 5 may acquire information on the user who is seated in each seat 11 from the meeting information, and display the name of the user who is seated near each seat 11 based on the acquired information. Good.

<携帯型スクリーン4を所有する使用者の認証>
制御装置5は、物体検知部22の検知結果に基づいて、投影部21の投影範囲に位置する物体から携帯型スクリーン4を特定する。投影部21の投影範囲内で新たな携帯型スクリーン4が特定され、その表紙450が物体検知部22の検知可能な方向(図2Aの例では上側)に向けられている場合、制御装置5は、物体検知部22により得られた表紙450の画像から2次元コード451を特定し、2次元コード451に含まれる使用者の識別情報を抽出する。制御装置5は、2次元コード451から抽出した識別情報とサーバ6に予め登録された情報とを照合することにより、この携帯型スクリーン4が正規の使用者のものであることを認証する。
<Authentication of the user who owns the portable screen 4>
The control device 5 identifies the portable screen 4 from the object located in the projection range of the projection unit 21 based on the detection result of the object detection unit 22. When a new portable screen 4 is specified within the projection range of the projection unit 21 and its cover 450 is directed in a direction that the object detection unit 22 can detect (upward in the example of FIG. 2A), the control device 5 The two-dimensional code 451 is specified from the image of the cover 450 obtained by the object detection unit 22, and the user identification information included in the two-dimensional code 451 is extracted. The control device 5 authenticates that the portable screen 4 belongs to a legitimate user by comparing the identification information extracted from the two-dimensional code 451 with information registered in advance in the server 6.

なお、携帯型スクリーン4の使用者を認証する場合、制御装置5は、2次元コード451などから得られる識別情報に加えて、この識別情報に関連付けられたパスワードや署名などの認証情報の入力を使用者に要求してもよい。例えば制御装置5は、パスワードや署名などの認証情報の入力を促す映像を投影部21から携帯型スクリーン4に投影し、所定のジェスチャー(数字キーによるパスワードの入力操作、署名の記入操作など)を使用者に実施させる。制御装置5は、物体検知部22により所定のジェスチャーを検知し、所定のジェスチャーが表す認証情報を取得する。制御装置5は、使用者の所定のジェスチャーにより入力された認証情報と、予め識別情報に関連付けてサーバ6等に記憶された認証情報とを照合することにより、使用者が入力した認証情報が正規のものであるか否かを判定する。認証情報が正規のものであると判定した場合、制御装置5は、投影部21の投影範囲に置かれた携帯型スクリーン4が正規の使用者のものであることを認証する。   When the user of the portable screen 4 is authenticated, the control device 5 inputs authentication information such as a password and a signature associated with the identification information in addition to the identification information obtained from the two-dimensional code 451 or the like. You may ask the user. For example, the control device 5 projects an image for prompting input of authentication information such as a password and signature from the projection unit 21 onto the portable screen 4 and performs a predetermined gesture (such as a password input operation using a numeric key or a signature input operation). Let the user do it. The control device 5 detects a predetermined gesture by the object detection unit 22 and acquires authentication information represented by the predetermined gesture. The control device 5 compares the authentication information input by the user's predetermined gesture with the authentication information previously stored in the server 6 or the like in association with the identification information, so that the authentication information input by the user is It is determined whether it is a thing. When it is determined that the authentication information is legitimate, the control device 5 authenticates that the portable screen 4 placed in the projection range of the projection unit 21 belongs to a legitimate user.

携帯型スクリーン4が正規の使用者のものであることを認証すると、制御装置5は、この携帯型スクリーン4との間で無線通信を確立する。制御装置5は、マイク43で集音された音のデータを携帯型スクリーン4から受信する処理や、スピーカ44で音を出力させるためのオーディオデータを携帯型スクリーン4へ送信する処理を開始する。   When authenticating that the portable screen 4 belongs to an authorized user, the control device 5 establishes wireless communication with the portable screen 4. The control device 5 starts processing for receiving sound data collected by the microphone 43 from the portable screen 4 and processing for transmitting audio data for outputting sound by the speaker 44 to the portable screen 4.

また制御装置5は、携帯型スクリーン4へ投影する映像の内容を、その携帯型スクリーン4の所有者として認証した使用者の識別情報に応じて制限する。例えば、制御装置5は、閲覧権限が設定された機密文書等を携帯型スクリーン4へ投影するように使用者がジェスチャー等で指示した場合、携帯型スクリーン4の所有者として認証した使用者の識別情報に基づいて、閲覧の可否を判定する。制御装置5は、例えば使用者の識別情報に基づいて、その使用者の閲覧権限に関する情報をサーバ6から取得し、使用者が機密文書等の閲覧権限を持つか否か判定する。使用者が閲覧権限を持たないと判定した場合、制御装置5は、その使用者が所有する携帯型スクリーン4への機密文書等の投影を制限する。   Further, the control device 5 restricts the content of the image projected on the portable screen 4 according to the identification information of the user who has been authenticated as the owner of the portable screen 4. For example, the control device 5 identifies the user who has been authenticated as the owner of the portable screen 4 when the user instructs with a gesture or the like to project a confidential document or the like for which browsing authority is set onto the portable screen 4. Whether or not browsing is possible is determined based on the information. For example, based on the identification information of the user, the control device 5 acquires information related to the viewing authority of the user from the server 6 and determines whether the user has the viewing authority for a confidential document or the like. When it is determined that the user does not have browsing authority, the control device 5 restricts projection of confidential documents and the like onto the portable screen 4 owned by the user.

<スクリーンに映像を投影する動作>
認証された携帯型スクリーン4が投影範囲に置かれると、制御装置5は、物体検知部22で検知される物体の中から、携帯型スクリーン4の各投影面411に設けられたマーク401〜403を特定する。制御装置5は、携帯型スクリーン4のマーク401〜403を特定すると、特定したマーク401〜403が存在する3次元の空間での位置に基づいて、携帯型スクリーン4の投影面411の位置及び姿勢を判定する。
<Operation to project the image on the screen>
When the authenticated portable screen 4 is placed in the projection range, the control device 5 selects the marks 401 to 403 provided on the projection surfaces 411 of the portable screen 4 from the objects detected by the object detection unit 22. Is identified. When the control device 5 identifies the marks 401 to 403 on the portable screen 4, the position and orientation of the projection surface 411 of the portable screen 4 are determined based on the positions in the three-dimensional space where the identified marks 401 to 403 exist. Determine.

仮に、検知対象物が存在する空間の基準となる3次元の直交座標系を「基準座標系」とし、検知対象物(投影面411など)に対して固定される3次元の直交座標系を「対象物座標系」とする。この場合、制御装置5は、基準座標系からみた対象物座標系の原点の位置を、検知対象物の位置として判定してもよい。また、制御装置5は、基準座標系の各座標軸を基準とした対象物座標系の各座標軸の回転角を、検知対象物の姿勢として判定してもよい。   Assuming that a three-dimensional orthogonal coordinate system serving as a reference of a space in which the detection target exists is a “reference coordinate system”, a three-dimensional orthogonal coordinate system fixed to the detection target (projection plane 411 or the like) is “ "Object coordinate system". In this case, the control device 5 may determine the position of the origin of the object coordinate system as viewed from the reference coordinate system as the position of the detection object. Further, the control device 5 may determine the rotation angle of each coordinate axis of the object coordinate system with reference to each coordinate axis of the reference coordinate system as the attitude of the detection target object.

制御装置5は、物体検知部22の検知結果に基づいて投影面411の位置及び姿勢を判定すると、この判定結果に応じて、投影面411における映像の投影状態が一定に保たれるように投影部21を制御する。例えば制御装置5は、映像の投影状態として、投影面411において映像が投影される範囲や、投影面411に対する映像の向きを一定に保つ。   When the control device 5 determines the position and orientation of the projection surface 411 based on the detection result of the object detection unit 22, the control device 5 performs projection so that the projection state of the image on the projection surface 411 is kept constant according to the determination result. The unit 21 is controlled. For example, the control device 5 keeps the range in which the image is projected on the projection surface 411 and the orientation of the image with respect to the projection surface 411 as the image projection state.

図8は、携帯型スクリーン4における映像の投影状態が一定に保たれることを説明するための図である。図8では、携帯型スクリーン4が1つの投影面411に簡略化されている。投影面411の形状は、平面視において矩形であり、矩形の3つの角にマーク401,402,403がこの順番で左回りに配置されている。投影面411において映像が投影される範囲は、投影面411の形状と概ね相似な矩形の範囲である。投影面411に対する映像の向きは、マーク401及び402が設けられた側縁部を下側、マーク402及び403が設けられた側縁部を右側とする向きである。図8では、投影面411(携帯型スクリーン4)の3つの状態が示されており、それぞれの状態で投影面411の位置や姿勢は異なっている。しかしながら、投影面411において映像が投影される矩形の範囲と、投影面411に対する映像の向きは、3つの状態において全て同じである。この図8に示すように、制御装置5は、携帯型スクリーン4の位置や姿勢が様々に変化する場合でも、映像の投影状態(映像の範囲、映像の向き等)が一定に保たれるように投影部21を制御する。   FIG. 8 is a diagram for explaining that the image projection state on the portable screen 4 is kept constant. In FIG. 8, the portable screen 4 is simplified to one projection plane 411. The shape of the projection plane 411 is rectangular in plan view, and marks 401, 402, and 403 are arranged counterclockwise in this order at the three corners of the rectangle. The range in which the image is projected on the projection plane 411 is a rectangular range that is substantially similar to the shape of the projection plane 411. The orientation of the image with respect to the projection plane 411 is such that the side edge provided with the marks 401 and 402 is on the lower side and the side edge provided with the marks 402 and 403 is on the right. FIG. 8 shows three states of the projection plane 411 (portable screen 4), and the position and orientation of the projection plane 411 are different in each state. However, the rectangular range in which the image is projected on the projection surface 411 and the orientation of the image with respect to the projection surface 411 are all the same in the three states. As shown in FIG. 8, the control device 5 keeps the image projection state (image range, image orientation, etc.) constant even when the position and orientation of the portable screen 4 change variously. The projection unit 21 is controlled.

なお制御装置5は、卓上型スクリーン3についても、上述した携帯型スクリーン4の場合と同様の制御を行う。すなわち、制御装置5は、物体検知部22が検知したマーク301及び302の位置に基づいて投影面311の位置及び姿勢を判定し、その判定結果に基づいて、投影面311における映像の投影状態が所定の状態となるように投影部21を制御する。   Note that the control device 5 performs the same control for the desktop screen 3 as that for the portable screen 4 described above. That is, the control device 5 determines the position and orientation of the projection surface 311 based on the positions of the marks 301 and 302 detected by the object detection unit 22, and the projection state of the video on the projection surface 311 is based on the determination result. The projection unit 21 is controlled so as to be in a predetermined state.

また制御装置5は、変形可能な携帯型スクリーン4については、物体検知部22の検知結果に基づいて、変形の状態を判定する。例えば制御装置5は、携帯型スクリーン4において各投影面411のマーク401〜403が特定された場合、携帯型スクリーン4が図2Cに示す開いた状態になっていることを判定する。   The control device 5 determines the state of deformation of the deformable portable screen 4 based on the detection result of the object detection unit 22. For example, when the marks 401 to 403 on the projection surfaces 411 are specified on the portable screen 4, the control device 5 determines that the portable screen 4 is in the open state illustrated in FIG. 2C.

<複数のスクリーンが存在する場合の動作>
制御装置5は、投影部21の投影範囲に複数のスクリーン(卓上型スクリーン3、携帯型スクリーン4)が存在する場合、各々のスクリーンに対する映像の投影を並行に行う。
<Operation when there are multiple screens>
When there are a plurality of screens (desktop screen 3 and portable screen 4) in the projection range of the projection unit 21, the control device 5 projects an image on each screen in parallel.

図9A〜図9Dは、複数のスクリーンに映像を投影する方法を説明するための図であり、ここでは例として、4つの携帯型スクリーン4−1〜4−4に並行して映像を投影する場合を説明する。
図9Aの例では、4つの携帯型スクリーン4−1〜4−4を含む1つの範囲が、1つの映像を投影する範囲となっている。この1つの映像には、4つのスクリーン(4−1〜4−4)に対応した4つの描画部分が含まれている。4つの描画部分は、それぞれ対応するスクリーン(4−1〜4−4)が置かれた場所と重なるように、1つの映像の中に配置されている。4つの描画部分以外の部分(目の細かい斜線の部分)は、例えば輝度の低い影の部分であり、4つの描画部分はこの影の部分によって互いに分離されている。このように、制御部5は、投影部21の投影範囲内に複数のスクリーンが存在する場合、複数のスクリーンと重なる場所にそれぞれ描画部分が配置された映像を生成し、複数のスクリーンが存在する範囲に向けてこの映像を投影する。
9A to 9D are diagrams for explaining a method of projecting images on a plurality of screens. Here, as an example, images are projected onto four portable screens 4-1 to 4-4 in parallel. Explain the case.
In the example of FIG. 9A, one range including the four portable screens 4-1 to 4-4 is a range in which one video is projected. This one image includes four drawing portions corresponding to four screens (4-1 to 4-4). The four drawing portions are arranged in one video so as to overlap the place where the corresponding screen (4-1 to 4-4) is placed. The parts other than the four drawing parts (parts with fine oblique lines) are, for example, shadow parts with low luminance, and the four drawing parts are separated from each other by the shadow parts. In this way, when there are a plurality of screens within the projection range of the projection unit 21, the control unit 5 generates an image in which the drawing portions are arranged at positions where the plurality of screens overlap, and the plurality of screens exist. Project this image towards the range.

図9Bの例では、4つの携帯型スクリーン4−1〜4−4の各々へ順次に映像が投影される。図9Bにおいて目の粗い斜線が施された部分は、映像が投影されていない状態のスクリーン表面を示す。4つの携帯型スクリーン4−1〜4−4の各々は、一時的に映像が投影されない状態となるが、順次の映像の投影が短い周期で繰り返されることにより、使用者には連続的に映像が表示されているように見える。このように、制御部5は、投影部21の投影範囲内に存在する複数のスクリーンの各々へ順次に映像を投影する処理を反復してもよい。   In the example of FIG. 9B, images are sequentially projected onto each of the four portable screens 4-1 to 4-4. In FIG. 9B, the hatched portion having a rough eye indicates the screen surface in a state where an image is not projected. Each of the four portable screens 4-1 to 4-4 is in a state in which no video is temporarily projected, but by sequentially projecting the video in a short cycle, the video is continuously displayed to the user. Appears to be displayed. As described above, the control unit 5 may repeat the process of sequentially projecting the video onto each of the plurality of screens existing within the projection range of the projection unit 21.

図9Cの例では、多機能プロジェクタ2に4つの投影部21−1〜21−4が搭載されており、4つの携帯型スクリーン4−1〜4−4に向けて4つの投影部21−1〜21−4から個別に映像が投影される。このように、制御装置5は、複数の投影部21の各々に映像の投影先として1つのスクリーンを割り当ててもよい。これにより、複数のスクリーンが存在する場合には、その各々に向けて個別に映像が投影される。   In the example of FIG. 9C, the four projectors 21-1 to 21-4 are mounted on the multi-function projector 2, and the four projectors 21-1 are directed toward the four portable screens 4-1 to 4-4. Images are individually projected from ˜21-4. As described above, the control device 5 may assign one screen to each of the plurality of projection units 21 as a video projection destination. Thereby, when there are a plurality of screens, an image is individually projected toward each of the screens.

図9Dの例では、多機能プロジェクタ2に2つの投影部21−1及び21−2が搭載されており、投影部21−1から2つの携帯型スクリーン4−1及び4−2に向けて1つの映像が投影され、投影部21−2から2つの携帯型スクリーン4−3及び4−4に向けて別の1つの映像が投影される。このように、制御部5は、複数の投影部21の各々に映像の投影先として1つ又は複数のスクリーンを割り当ててもよい。そして、制御装置5は、1つの投影部21に複数のスクリーンを割り当てた場合には、当該複数のスクリーンと重なる場所にそれぞれ描画部分が配置された映像を生成し、当該複数のスクリーンが存在する範囲に向けて当該1つの投影部21から当該生成した映像を投影してもよい。   In the example of FIG. 9D, two projectors 21-1 and 21-2 are mounted on the multifunction projector 2, and 1 is directed from the projector 21-1 toward the two portable screens 4-1 and 4-2. One image is projected, and another image is projected from the projection unit 21-2 toward the two portable screens 4-3 and 4-4. As described above, the control unit 5 may assign one or more screens to each of the plurality of projection units 21 as a video projection destination. Then, when a plurality of screens are assigned to one projection unit 21, the control device 5 generates a video in which drawing portions are arranged at positions where they overlap with the plurality of screens, and the plurality of screens exist. The generated image may be projected from the one projection unit 21 toward the range.

なお、制御装置5は、複数の投影部21における1つの投影部21に複数のスクリーンを割り当てた場合、図9Bに示す例のように、当該1つの投影部21から当該複数のスクリーンの各々に向けて順次に映像を投影する処理を反復してもよい。   When a plurality of screens are assigned to one projection unit 21 in the plurality of projection units 21, the control device 5 assigns each of the plurality of screens from the one projection unit 21 as illustrated in FIG. 9B. You may repeat the process which projects an image | video sequentially toward.

<スクリーン以外への映像の投影>
制御装置5は、ジェスチャーなどによって使用者から与えられる指示に応じて、投影範囲内のスクリーン(卓上型スクリーン3、携帯型スクリーン4)以外の場所にも映像を投影するように投影部21を制御する。これにより、例えばスクリーン以外の場所に置かれた物品に関する詳細情報を、その物品の近くに投影することが可能である。
<Projection of images on other screens>
The control device 5 controls the projection unit 21 so as to project an image on a place other than the screen (desktop screen 3, portable screen 4) within the projection range in accordance with an instruction given by the user through a gesture or the like. To do. Thereby, for example, detailed information regarding an article placed in a place other than the screen can be projected near the article.

なお、制御装置5は、スクリーン以外の場所に映像を投影する場合、障害物によって遮られない場所を映像の投影先として自動的に選択してもよい。例えば、制御装置5は、物体検知部22の検知結果に基づいて、障害物により映像の投影を遮られる範囲を特定し、映像の投影先の候補として選択した場所が当該特定した範囲と重なる場合は、当該特定した範囲の外側へ映像の投影先を移動させる。   In addition, when projecting an image on a location other than the screen, the control device 5 may automatically select a location that is not obstructed by an obstacle as a projection destination of the image. For example, the control device 5 specifies a range in which the projection of the image is blocked by an obstacle based on the detection result of the object detection unit 22, and the location selected as a candidate for the projection destination of the image overlaps the specified range. Moves the image projection destination to the outside of the specified range.

また、投影部21は、映像の投影だけでなく、照明光の照射にも使用可能である。制御装置5は、ジェスチャーなどによって使用者から与えられる指示に応じて、投影範囲内の特定の場所(若しくは投影範囲の全体)に照明光を照射してもよい。   Further, the projection unit 21 can be used not only for image projection but also for illumination light irradiation. The control device 5 may irradiate illumination light to a specific location within the projection range (or the entire projection range) in accordance with an instruction given from the user by a gesture or the like.

<使用者の操作の認識>
制御装置5は、物体検知部22において検知される物体の中から、使用者の手や指、使用者が持つペンなどの物体(以下、「操作体」と記す場合がある。)を特定し、特定した操作体の運動が所定のジェスチャーであるか否かを判定する。制御装置5は、操作体(指など)の運動が所定のジェスチャーであると判定した場合、そのジェスチャーに対応した処理を行う。例えば、制御装置5は、使用者の指やペンなどによるジェスチャーに応じて、映像の拡大や縮小、回転、移動を行ったり、映像の色合いの変更、映像に含まれる線の太さの変更などを行う。
<Recognition of user operations>
The control device 5 identifies an object such as a user's hand or finger or a pen held by the user (hereinafter, may be referred to as an “operation body”) from the objects detected by the object detection unit 22. Then, it is determined whether or not the movement of the specified operating body is a predetermined gesture. When the control device 5 determines that the motion of the operating body (such as a finger) is a predetermined gesture, the control device 5 performs processing corresponding to the gesture. For example, the control device 5 performs enlargement, reduction, rotation, movement of the image, change of the color of the image, change of the thickness of the line included in the image, etc. according to the gesture of the user's finger or pen. I do.

また制御装置5は、上述したジェスチャーによる操作を案内して、使用者が目的の操作を容易に行えるようにするためのユーザインターフェース映像を生成する。図10A〜図10Bは、そのようなユーザインターフェース映像の例を示す図であり、ページの切り替えに用いられる仮想的なタブの例を示す。この図の例において、制御装置5は、文書の端部に複数の仮想タブ110−1〜110−7(以下、区別せずに「仮想タブ110」と記す場合がある。)が配置された映像を生成する。使用者がこれらの仮想タブ110の1つを指示するジェスチャー(例えば指で仮想タブ110に触れるジェスチャー)を行うと、制御装置5は、映像に含まれる文書のページを、ジェスチャーにより指示された仮想タブ110に対応するページへ切り替える(図10B)。仮想タブ110に対応しないページへ移動する操作には、例えば卓上型スクリーン3の入力部33のダイヤル(図1B)や、携帯型スクリーン4の入力部45,46のダイヤル(図2C)が用いられる。制御装置5は、これらの入力部の操作に応じて、映像に含まれる文書のページを前後へ順番に切り替える。   Further, the control device 5 guides the operation by the gesture described above, and generates a user interface image for allowing the user to easily perform the target operation. FIG. 10A to FIG. 10B are diagrams showing examples of such user interface images, and show examples of virtual tabs used for switching pages. In the example of this figure, the control device 5 has a plurality of virtual tabs 110-1 to 110-7 (hereinafter, sometimes referred to as “virtual tabs 110” without distinction) arranged at the end of the document. Generate video. When the user performs a gesture indicating one of these virtual tabs 110 (for example, a gesture of touching the virtual tab 110 with a finger), the control device 5 displays the page of the document included in the video by the virtual indicated by the gesture. Switch to the page corresponding to the tab 110 (FIG. 10B). For the operation of moving to a page that does not correspond to the virtual tab 110, for example, the dial of the input unit 33 of the desktop screen 3 (FIG. 1B) or the dials of the input units 45 and 46 of the portable screen 4 (FIG. 2C) is used. . The control device 5 sequentially switches the pages of the document included in the video forward and backward according to the operation of these input units.

更に制御装置5は、物体検知部22において検知される操作体の運動に基づいて、手書き操作により筆記された線の軌跡を特定する。制御装置5は、手書き操作による線の軌跡を特定した場合、例えば図11Aに示すように、特定した線の軌跡が現在の映像と重なって表示されるように、投影する映像を更新する。また制御装置5は、手書き操作の有無を判定するにあたり、例えば図11Bに示すように、接触センサ41の検出結果を利用してもよい。これにより、投影面411へ操作体(指、ペンなど)が接触した状態での操作体の動きを正確に捕捉できるため、手書き操作による線の軌跡の特定を正確に行うことができる。   Furthermore, the control device 5 specifies the locus of the line written by the handwriting operation based on the motion of the operation body detected by the object detection unit 22. When specifying the line trajectory by the handwriting operation, the control device 5 updates the projected video so that the specified line trajectory is displayed so as to overlap the current video, for example, as shown in FIG. 11A. The control device 5 may use the detection result of the contact sensor 41, for example, as shown in FIG. Thereby, since the movement of the operating body in a state where the operating body (finger, pen, etc.) is in contact with the projection surface 411 can be accurately captured, the line trajectory can be accurately identified by handwriting operation.

制御装置5は、手書き操作による線の軌跡を特定した場合、特定した線の軌跡から文字や図形を認識してもよい。例えば、制御装置5は、線の軌跡から認識した文字や図形を現在の映像に重ねて表示してもよいし、この認識した文字や図形を現在の映像に対応する文書等のデータファイルに追加してもよい。   When specifying the locus of the line by the handwriting operation, the control device 5 may recognize a character or a figure from the identified locus of the line. For example, the control device 5 may display the character or figure recognized from the locus of the line superimposed on the current video, or add the recognized character or graphic to a data file such as a document corresponding to the current video. May be.

<3次元イメージの取得>
制御装置5は、ジェスチャーなどによって使用者から与えられる指示に応じて、物体検知部22の検知対象領域に位置する物体の3次元イメージを取得する。例えば、制御装置5は、スクリーン(卓上型スクリーン3、携帯型スクリーン4)の上に物体が置かれたことを物体検知部22の検知結果に基づいて判定した場合、その物体の3次元イメージを取得する。この場合、制御装置5は、物体が置かれたスクリーンにおいて投影中の映像に関わるデータファイルに、この3次元イメージのデータを追加してもよい。また、制御装置5は、物体の3次元イメージを取得した場合、取得した3次元イメージを新たな映像としてスクリーンや別の場所に投影してもよい。
<Acquisition of 3D image>
The control device 5 acquires a three-dimensional image of an object located in the detection target area of the object detection unit 22 in accordance with an instruction given from the user by a gesture or the like. For example, when the control device 5 determines that an object is placed on the screen (desktop screen 3 or portable screen 4) based on the detection result of the object detection unit 22, a three-dimensional image of the object is displayed. get. In this case, the control device 5 may add the data of the three-dimensional image to the data file related to the image being projected on the screen on which the object is placed. In addition, when the control device 5 acquires a three-dimensional image of an object, the control device 5 may project the acquired three-dimensional image on a screen or another place as a new video.

<議事録データの作成>
制御装置5は、卓上型スクリーン3のマイク31や携帯型スクリーン4のマイク43で集音された音のデータを記録(録音)する。卓上型スクリーン3の複数のマイク31で音を集音する場合、例えば制御装置5は、複数のマイク31で集音された音にそれぞれ遅延を与えて合成した合成音を生成し、合成音に含まれる発話の音声の感度が最も高くなるように(発話者の方向へ指向性を持つように)、複数のマイク31で集音された音にそれぞれ与える遅延の設定を調節する。これにより、発話者の音声が明瞭化される。
<Creation of minutes data>
The control device 5 records (records) sound data collected by the microphone 31 of the desktop screen 3 or the microphone 43 of the portable screen 4. When sound is collected by a plurality of microphones 31 of the desktop screen 3, for example, the control device 5 generates a synthesized sound that is synthesized by delaying the sounds collected by the plurality of microphones 31, and generates the synthesized sound. The delay setting for each of the sounds collected by the plurality of microphones 31 is adjusted so that the sensitivity of the included speech becomes the highest (so that it has directivity in the direction of the speaker). Thereby, the voice of the speaker is clarified.

また、制御装置5は、合成音に含まれる発話の音声の感度が最も高くなるように調節した遅延の設定から、発話者の方向を推定する。制御装置5は、発話者の方向を推定すると、この推定した方向と異なる方向から到来する音(環境音)をノイズとして除去する。例えば制御装置5は、複数のマイク31の一部で集音された音の成分を用いて、上述した合成音に含まれたノイズを除去する処理を行う。これにより、発話者の音声がより明瞭化される。   Further, the control device 5 estimates the direction of the speaker from the delay setting adjusted so that the sensitivity of the voice of the speech included in the synthesized sound is the highest. When the direction of the speaker is estimated, the control device 5 removes sound (environmental sound) coming from a direction different from the estimated direction as noise. For example, the control device 5 performs a process of removing noise included in the above-described synthesized sound by using sound components collected by some of the plurality of microphones 31. Thereby, the voice of the speaker is further clarified.

更に、制御装置5は、発話者の方向を推定する場合、撮像部23において撮像された画像を用いてもよい。例えば、制御装置5は、撮像部23において撮像された画像に基づいて、投影部21の投影範囲の周囲における人物の位置を特定する。制御装置5は、画像から特定した人物の位置に基づいて、発話者が存在し得る方向の範囲を特定し、この特定した範囲の中で、合成音に含まれる音声の感度が最も高くなる遅延の設定を探索する。これにより、発話者の方向が正確に推定され易くなる。   Further, when estimating the direction of the speaker, the control device 5 may use an image captured by the imaging unit 23. For example, the control device 5 specifies the position of the person around the projection range of the projection unit 21 based on the image captured by the imaging unit 23. The control device 5 identifies the range of the direction in which the speaker can exist based on the position of the person identified from the image, and the delay in which the sensitivity of the voice included in the synthesized sound becomes the highest in the identified range. Search for settings. This makes it easy to accurately estimate the direction of the speaker.

制御装置5は、音のデータから発話者の方向を推定した場合、その推定した方向に基づいて、発話者を特定する。例えば、制御装置5は、ミーティング情報に含まれる各使用者の席次の情報と、音のデータから推定した発話者の方向とに基づいて、発話者がどの使用者であるかを特定する。   When the direction of the speaker is estimated from the sound data, the control device 5 identifies the speaker based on the estimated direction. For example, the control device 5 specifies which user the speaker is based on the information on the seat order of each user included in the meeting information and the direction of the speaker estimated from the sound data.

なお、複数の携帯型スクリーン4の各々に搭載されたマイク43から音声を集音する場合、例えば制御装置5は、同一の発話について複数の携帯型スクリーン4で集音された音声を比較する。制御装置5は、この比較の結果に基づいて、同一の発話について最も大きな音声が集音された携帯型スクリーン4の使用者を、その発話の発話者として特定する。   Note that, when collecting sounds from the microphones 43 mounted on each of the plurality of portable screens 4, for example, the control device 5 compares the sounds collected on the plurality of portable screens 4 for the same utterance. Based on the result of this comparison, the control device 5 identifies the user of the portable screen 4 that has collected the loudest voice for the same utterance as the utterer of the utterance.

制御装置5は、録音された音声のデータにおいて発話が記録された時間と、その発話の発話者として特定された使用者の情報(例えば使用者の識別情報)とを関連付けて記録する。また制御装置5は、上述した処理によって明瞭化された音声のデータに基づいて音声認識処理を行い、発話の内容をテキストに変換する。制御装置5は、音声認識処理による音声からテキストへの変換を、例えばリアルタイムで実行する。   The control device 5 records the time when the utterance was recorded in the recorded voice data and the information of the user specified as the utterer of the utterance (for example, the identification information of the user) in association with each other. The control device 5 performs voice recognition processing based on the voice data clarified by the above-described processing, and converts the content of the utterance into text. The control device 5 performs conversion from voice to text by voice recognition processing, for example, in real time.

制御装置5は、音声認識処理によってテキストに変換された発話内容のデータと、その発話者として特定された使用者の情報とが、発話の時間に従って時系列化された議事録データを生成する。なお、制御装置5は、発話内容だけでなく、スクリーンに投影された映像の内容に関する情報を時系列化して議事録データに含めてもよい。また、制御装置5は、撮像部23において撮像された各参加者の表情の画像に基づいて、会話の状況に関する指標(盛り上がりの度合い、和みの度合い、反発の度合い、活発性の度合いなど)を算出し、算出した指標を時系列化して議事録データに含めてもよい。   The control device 5 generates minutes data in which the utterance content data converted into text by the speech recognition process and the information of the user specified as the utterer are time-series according to the utterance time. Note that the control device 5 may include not only the utterance content but also information related to the content of the video projected on the screen in time series and included in the minutes data. In addition, the control device 5 displays indices (degree of excitement, degree of softening, degree of repulsion, degree of activity, etc.) related to the state of conversation based on the facial expression image of each participant imaged by the imaging unit 23. The calculated index may be time-series and included in the minutes data.

<終了時の動作>
制御装置5は、ジェスチャーなどによって使用者から与えられる指示に応じて、使用者のミーティングへの参加を終了させる。
<Operation at the end>
The control device 5 ends the user's participation in the meeting in response to an instruction given from the user by a gesture or the like.

図12A〜図12Cは、携帯型スクリーン4の一例を示す図であり、図12Aは表紙側、図12Bは内側、図12Cは裏表紙側を示す。図12Cに示すように、携帯型スクリーン4の裏表紙460には、ミーティングからの離脱の意図を表す2次元コード461が印刷若しくは貼り付けられている。2次元コード461には、例えば、特定の識別情報の使用者がミーティングから離脱することを示す情報が含まれる。制御装置5は、物体検知部22において携帯型スクリーン4の裏表紙側の2次元コード461が検知されると、この2次元コード461に含まれる識別情報に対応した携帯型スクリーン4を、映像の投影対象から除外する。また、制御装置5は、2次元コード461に含まれる識別情報と、この2次元コード461が検知された時刻とを関連づけて、上述した議事録データに記録してもよい。これにより、特定の使用者がミーティングから離脱した時刻が議事録に記録される。   12A to 12C are diagrams illustrating an example of the portable screen 4. FIG. 12A illustrates a front cover side, FIG. 12B illustrates an inner side, and FIG. 12C illustrates a back cover side. As shown in FIG. 12C, a two-dimensional code 461 representing the intention of leaving the meeting is printed or pasted on the back cover 460 of the portable screen 4. The two-dimensional code 461 includes, for example, information indicating that the user of specific identification information leaves the meeting. When the object detection unit 22 detects the two-dimensional code 461 on the back cover side of the portable screen 4, the control device 5 displays the portable screen 4 corresponding to the identification information included in the two-dimensional code 461. Exclude from projection. Further, the control device 5 may associate the identification information included in the two-dimensional code 461 with the time when the two-dimensional code 461 is detected, and record it in the minutes data described above. Thereby, the time when a specific user leaves the meeting is recorded in the minutes.

<携帯型スクリーン4の他の例>
図13A〜図13Dは、携帯型スクリーン4の他の例を示す図であり、図12A〜図12Cに示す開閉可能な携帯型スクリーン4に板状の中間部材410を追加したものである。ただし、2つのマイク43とスピーカ44は、裏表紙460の側縁部にそれぞれ配置されている。
<Other examples of portable screen 4>
13A to 13D are diagrams showing another example of the portable screen 4, in which a plate-shaped intermediate member 410 is added to the portable screen 4 that can be opened and closed shown in FIGS. 12A to 12C. However, the two microphones 43 and the speaker 44 are respectively arranged on the side edges of the back cover 460.

中間部材410は、一方の面に投影面411−3を持ち、他方の面に投影面411−4を持つ。図13B及び図13Cの例において、投影面411−1,411−2,411−3及び411−4はそれぞれ矩形の形状を持ち、互いに略合同である。中間部材410の1つの側縁部が、投影面411−1及び411−2の境界部分に接続されている。携帯型スクリーン4を閉じた場合、中間部材410は、投影面411−1及び411−2の間に挟まれた状態となる。携帯型スクリーン4を開いた場合、中間部材410は、ノートのページのようにめくることができる。図13Bは投影面411−3を表側に向けて開いた状態を示し、図13Bは投影面411−4を表側に向けて開いた状態を示す。   The intermediate member 410 has a projection surface 411-3 on one surface and a projection surface 411-4 on the other surface. In the example of FIGS. 13B and 13C, the projection planes 411-1, 411-2, 411-3, and 411-4 have rectangular shapes, respectively, and are substantially congruent with each other. One side edge portion of the intermediate member 410 is connected to a boundary portion between the projection surfaces 411-1 and 411-2. When the portable screen 4 is closed, the intermediate member 410 is sandwiched between the projection surfaces 411-1 and 411-2. When the portable screen 4 is opened, the intermediate member 410 can be turned like a notebook page. 13B shows a state in which the projection surface 411-3 is opened toward the front side, and FIG. 13B shows a state in which the projection surface 411-4 is opened toward the front side.

図13A〜図13Dに示す携帯型スクリーン4では、図13Bの展開状態と図13Cの展開状態とで投影面全体のサイズと形状がほぼ同じとなる。そのため、投影面411−1及び411−2と同一のマーク(401〜403)が投影面411−3及び411−4の両方に設けられていると、図13Bの展開状態と図13Cの展開状態との区別がつかなくなる。そこで、複数の投影面を持つ携帯型スクリーン4の場合、各展開状態において投影面全体に設けられた1以上のマークの外見が、他の展開状態と異なるように、個々の投影面におけるマークの数や配置、形状、サイズなどが設定される。図13B及び図13Cの例では、図13Bの展開状態と図13Cの展開状態との区別がつくように、投影面411−3と投影面411−4とでマークの一部が異なっている。すなわち、投影面411−3は、投影面411−1及び411−2と同じ3つのマーク(401,402,403)を持つ一方、投影面411−4は、投影面411−1及び411−2と同じ2つのマーク(402,403)に十字型のマーク401Aを加えた3つのマーク(401A、402,403)を持つ。制御装置5は、物体検知部22において検知されるマーク401とマーク401Aとの形状の違いから、図13Bの展開状態と図13Cの展開状態とを判別する。   In the portable screen 4 shown in FIGS. 13A to 13D, the size and shape of the entire projection surface are substantially the same in the developed state of FIG. 13B and the developed state of FIG. 13C. Therefore, when the same marks (401 to 403) as the projection surfaces 411-1 and 411-2 are provided on both the projection surfaces 411-3 and 411-4, the unfolded state in FIG. 13B and the unfolded state in FIG. 13C. Can no longer be distinguished. Therefore, in the case of the portable screen 4 having a plurality of projection planes, the marks of the individual projection planes are different so that the appearance of one or more marks provided on the entire projection plane in each deployment state is different from the other deployment states. Number, arrangement, shape, size, etc. are set. In the example of FIGS. 13B and 13C, a part of the mark is different between the projection surface 411-3 and the projection surface 411-4 so that the development state of FIG. 13B and the development state of FIG. 13C can be distinguished. That is, the projection plane 411-3 has the same three marks (401, 402, 403) as the projection planes 411-1 and 411-2, while the projection plane 411-4 is the projection planes 411-1 and 411-2. And three marks (401A, 402, 403) obtained by adding a cross-shaped mark 401A to the same two marks (402, 403). The control device 5 determines the developed state of FIG. 13B and the developed state of FIG. 13C from the difference in shape between the mark 401 and the mark 401A detected by the object detection unit 22.

<複数のスクリーンに投影する映像の画質を調整する動作>
次に、上述した投影システムにおいて複数のスクリーンに投影する映像の画質を調整する動作について説明する。ここでは、一例として、複数の携帯型スクリーン4が画質の調整対象となる場合を説明する。なお、画質の調整対象は携帯型スクリーン4に限定される訳ではなく、例えば卓上型スクリーン3が画質の調整対象となってもよい。
<Operation to adjust image quality of images projected on multiple screens>
Next, an operation for adjusting the image quality of the image projected on the plurality of screens in the above-described projection system will be described. Here, as an example, a case where a plurality of portable screens 4 are subject to image quality adjustment will be described. Note that the image quality adjustment target is not limited to the portable screen 4. For example, the desktop screen 3 may be the image quality adjustment target.

制御装置5は、各携帯型スクリーン4に投影する映像の画質が携帯型スクリーン4毎に設定された画質へ近づくように、物体検知部22が検知した各携帯型スクリーン4の配置状態(例えば、携帯型スクリーン4の位置や姿勢など)に応じて投影部21を制御する。これにより、各携帯型スクリーン4に投影する映像の画質が、携帯型スクリーン4毎に設定された画質に保たれ易くなる。   The control device 5 detects the arrangement state (for example, for example) of each portable screen 4 detected by the object detection unit 22 so that the image quality of the image projected on each portable screen 4 approaches the image quality set for each portable screen 4. The projection unit 21 is controlled in accordance with the position and posture of the portable screen 4. Thereby, the image quality of the image projected on each portable screen 4 is easily maintained at the image quality set for each portable screen 4.

具体的には、制御装置5は、物体検知部22の検知結果に基づいて、検知対象領域における携帯型スクリーン4の位置及び姿勢の少なくとも一方に関する情報(以下、「配置状態情報」と呼ぶ場合がある。)を、複数の携帯型スクリーン4の各々について取得する。制御装置5は、この配置状態情報に応じた投影制御を、複数の携帯型スクリーン4の各々について行う。制御装置5は、一の携帯型スクリーン4の投影制御において、当該一の携帯型スクリーン4について取得した配置状態情報に応じて、当該一の携帯型スクリーン4に投影する映像の画質が当該一の携帯型スクリーン4について設定された画質に近づくように投影部21を制御する。これにより、当該一の携帯型スクリーン4に投影する映像の画質が、当該一の携帯型スクリーン4について設定された画質に保たれ易くなる。   Specifically, based on the detection result of the object detection unit 22, the control device 5 may be referred to as information related to at least one of the position and orientation of the portable screen 4 in the detection target region (hereinafter referred to as “arrangement state information”). Is obtained for each of the plurality of portable screens 4. The control device 5 performs projection control according to the arrangement state information for each of the plurality of portable screens 4. In the projection control of one portable screen 4, the control device 5 determines the image quality of the image projected on the one portable screen 4 according to the arrangement state information acquired for the one portable screen 4. The projection unit 21 is controlled so as to approach the image quality set for the portable screen 4. Thereby, the image quality of the image projected on the one portable screen 4 is easily maintained at the image quality set for the one portable screen 4.

なお、携帯型スクリーン4の姿勢(例えば、机12の上の平面における携帯型スクリーン4の回転状態など)が一定である場合や、携帯型スクリーン4の姿勢の変化が画質に影響を与えない場合には、物体検知部22の検知結果に基づいて判定される携帯型スクリーン4の姿勢に関する情報を配置状態情報に含めなくてもよい。また、携帯型スクリーン4の位置が一定である場合や、携帯型スクリーン4の位置の変化が画質に影響を与えない場合には、物体検知部22の検知結果に基づいて判定される携帯型スクリーン4の位置に関する情報を配置状態情報に含めなくてもよい。   When the posture of the portable screen 4 (for example, the rotation state of the portable screen 4 on the plane on the desk 12) is constant, or when the change in the posture of the portable screen 4 does not affect the image quality. In the arrangement state information, information regarding the posture of the portable screen 4 determined based on the detection result of the object detection unit 22 may not be included. Further, when the position of the portable screen 4 is constant, or when the change in the position of the portable screen 4 does not affect the image quality, the portable screen determined based on the detection result of the object detection unit 22. Information regarding the position of 4 may not be included in the arrangement state information.

制御装置5は、物体検知部22の検知結果に基づく各携帯型スクリーン4の配置状態情報の取得を反復するとともに、配置状態情報に応じた各携帯型スクリーン4の投影制御を反復する。例えば、制御装置5は、配置状態情報の取得と投影制御とをそれぞれ一定の周期で反復する。これにより、各携帯型スクリーン4の位置や姿勢が変化した場合、その変化の後で各携帯型スクリーン4の配置状態情報が取得され、取得された配置状態情報に応じて各携帯型スクリーン4の投影制御が行われる。従って、各携帯型スクリーン4の位置や姿勢が変化する場合でも、各携帯型スクリーン4に投影する映像の画質が、携帯型スクリーン4毎に設定された画質に保たれ易くなる。   The control device 5 repeats the acquisition of the arrangement state information of each portable screen 4 based on the detection result of the object detection unit 22 and repeats the projection control of each portable screen 4 according to the arrangement state information. For example, the control device 5 repeats the acquisition of the arrangement state information and the projection control at regular intervals. Thereby, when the position and posture of each portable screen 4 change, the arrangement state information of each portable screen 4 is acquired after the change, and according to the acquired arrangement state information, each portable screen 4 Projection control is performed. Therefore, even when the position or orientation of each portable screen 4 changes, the image quality of the image projected on each portable screen 4 is easily maintained at the image quality set for each portable screen 4.

制御装置5が配置状態情報に応じて調整する画質は、例えば、明るさ、コントラスト、色の濃さ、色合い、シャープネス、幾何歪み、シェーディング、色むらなどを含む。制御装置5は、携帯型スクリーン4毎に、これらの画質が予め設定された画質へ近づくように、配置状態情報に応じて投影部21を制御する。   The image quality that the control device 5 adjusts according to the arrangement state information includes, for example, brightness, contrast, color density, hue, sharpness, geometric distortion, shading, color unevenness, and the like. The control device 5 controls the projection unit 21 according to the arrangement state information so that the image quality approaches the preset image quality for each portable screen 4.

例えば制御装置5は、携帯型スクリーン4が基準の配置状態(例えば、基準の位置や基準の姿勢)にある場合における画質の設定(例えば、明るさの度合いを示す数値など)に関する情報を携帯型スクリーン4毎に記憶する。ここで、携帯型スクリーン4が基準の配置状態にある場合の画質を「基準画質」と呼び、基準画質の設定に関する情報を「基準設定情報」と呼ぶ。制御装置5は、一の携帯型スクリーン4の投影制御において、当該一の携帯型スクリーン4について取得した配置状態情報と、当該一の携帯型スクリーン4について記憶する基準設定情報とに基づいて、配置状態情報が示す配置状態における画質が、基準設定情報により設定された基準画質へ近づくように、投影部21を制御する。   For example, the control device 5 stores information regarding image quality setting (for example, a numerical value indicating the degree of brightness) when the portable screen 4 is in a reference arrangement state (for example, a reference position or a reference posture). It memorizes every screen 4. Here, the image quality when the portable screen 4 is in the standard arrangement state is referred to as “reference image quality”, and information relating to the setting of the reference image quality is referred to as “reference setting information”. In the projection control of one portable screen 4, the control device 5 is arranged based on the arrangement state information acquired for the one portable screen 4 and the reference setting information stored for the one portable screen 4. The projection unit 21 is controlled so that the image quality in the arrangement state indicated by the state information approaches the reference image quality set by the reference setting information.

具体的には、制御装置5は、一の携帯型スクリーン4の投影制御において、当該一の携帯型スクリーン4について取得した配置状態情報が示す配置状態と基準の配置状態との違い(例えば、基準の位置と現在の位置との違い、基準の姿勢と現在の姿勢との違い)に基づいて、この配置状態情報が示す配置状態における画質が、基準設定情報により設定された基準画質へ近づくように、基準設定情報による基本画質の設定に対して補正を加えた画質設定を取得する。そして制御装置5は、この補正によって取得した画質設定に基づく映像を当該一の携帯型スクリーン4へ投影するように、投影部21を制御する。なお、制御装置5は、上述した補正によって画質設定を取得する一方で、基準設定情報は変更せずに維持する。すなわち、制御装置5は、一の携帯型スクリーン4の投影制御を反復する場合、同一の画質設定(基準設定情報による基本画質の設定)に対して配置状態情報に応じた補正を加えたものを、当該一の携帯型スクリーン4に映像を投影する際の画質設定として使用する。   Specifically, in the projection control of one portable screen 4, the control device 5 determines the difference between the arrangement state indicated by the arrangement state information acquired for the one portable screen 4 and the reference arrangement state (for example, reference The image quality in the arrangement state indicated by the arrangement state information is close to the reference image quality set by the reference setting information based on the difference between the current position and the current position, and the difference between the reference position and the current position). The image quality setting obtained by correcting the basic image quality setting based on the reference setting information is acquired. And the control apparatus 5 controls the projection part 21 so that the image | video based on the image quality setting acquired by this correction | amendment may be projected on the said 1 portable screen 4. FIG. The control device 5 acquires the image quality setting by the above-described correction, while maintaining the reference setting information without being changed. That is, when the projection control of one portable screen 4 is repeated, the control device 5 adds the correction according to the arrangement state information to the same image quality setting (basic image quality setting based on the reference setting information). This is used as an image quality setting when projecting an image on the one portable screen 4.

図14は、基準の配置状態の一例を示す図である。図14において、「13A」〜「13F」はそれぞれ使用者を示し、「4A」〜「4F」はそれぞれ携帯型スクリーンを示す。符号の末尾に付された英文字は、使用者とその使用者が使用する携帯型スクリーンとの対応関係を表す(例えば、使用者13Aは携帯型スクリーン4Aを使用する)。また図14において、「80」は物体検知部22の検知対象領域を示し、「7」は基準の配置状態を示す。   FIG. 14 is a diagram illustrating an example of a reference arrangement state. In FIG. 14, “13A” to “13F” indicate users, and “4A” to “4F” indicate portable screens, respectively. The English character added to the end of the code represents the correspondence between the user and the portable screen used by the user (for example, the user 13A uses the portable screen 4A). In FIG. 14, “80” indicates the detection target area of the object detection unit 22, and “7” indicates the reference arrangement state.

図14に示す基準の配置状態7は、平面視が楕円形状の机12のほぼ中心に携帯型スクリーン4の中央部を位置させ、携帯型スクリーン4の各辺を楕円形状の軸とほぼ平行な方向に向けた配置状態である。図14の例において携帯型スクリーン4Bに着目すると、携帯型スクリーン4Bの中央部は、基準の配置状態7に比べて、机12の楕円形状の中心から短軸方向にずれている。ここで、平面視における投影部21の位置が机12の中心付近にあるものとすると、図14に示す携帯型スクリーン4Bの位置は基準の配置状態7に比べて投影部21から遠くなる。そのため、基準設定情報による基本画質の設定をそのまま使用して携帯型スクリーン4Bに映像を投影すると、基準設定情報により設定された基準画質に対して画質の違いが生じる(例えば、基準設定情報により設定された基準画質に比べて明るさが減少する)。そこで制御装置5は、携帯型スクリーン4Bの配置状態情報が示す配置状態における画質が基準設定情報により設定された基準画質へ近づくように、基準設定情報による基本画質の設定に対して補正を加えた設定を取得する(例えば、基準設定情報による基準画質に比べて明るさが増した補正設定値を取得する)。そして制御装置5は、この補正により取得した画質の設定に基づく映像を携帯型スクリーン4Bへ投影するように、投影部21を制御する。これにより、携帯型スクリーン4Bの映像の画質は、基準設定情報により設定された基準画質に近くなる。   In the reference arrangement state 7 shown in FIG. 14, the central portion of the portable screen 4 is positioned substantially at the center of the elliptical desk 12 in plan view, and each side of the portable screen 4 is substantially parallel to the elliptical axis. It is an arrangement state directed in the direction. Focusing on the portable screen 4B in the example of FIG. 14, the central portion of the portable screen 4B is displaced in the minor axis direction from the center of the elliptical shape of the desk 12 as compared with the reference arrangement state 7. Here, assuming that the position of the projection unit 21 in plan view is near the center of the desk 12, the position of the portable screen 4 </ b> B shown in FIG. 14 is farther from the projection unit 21 than in the reference arrangement state 7. Therefore, when the image is projected on the portable screen 4B using the basic image quality setting based on the reference setting information as it is, a difference in image quality occurs with respect to the reference image quality set by the reference setting information (for example, set by the reference setting information). Brightness is reduced compared to the standard image quality). Therefore, the control device 5 adds correction to the basic image quality setting based on the reference setting information so that the image quality in the arrangement state indicated by the arrangement state information of the portable screen 4B approaches the reference image quality set by the reference setting information. A setting is acquired (for example, a correction setting value whose brightness is increased as compared with the reference image quality based on the reference setting information is acquired). And the control apparatus 5 controls the projection part 21 so that the image | video based on the setting of the image quality acquired by this correction | amendment may be projected on the portable screen 4B. Thereby, the image quality of the image on the portable screen 4B is close to the reference image quality set by the reference setting information.

また制御装置5は、複数の携帯型スクリーン4の少なくとも一部について、明るさ、コントラスト、色の濃さ、色合い、シャープネスなどの画質の設定に関わるユーザの指示(以下、「画質設定指示」と呼ぶ。)を入力することができる。画質設定指示は、例えば、上述した「基準設定情報」を更新・追加するユーザの指示に相当する。制御装置5は、一の携帯型スクリーン4について画質設定指示を入力した場合、当該一の携帯型スクリーン4の投影制御において、当該一の携帯型スクリーン4に投影する映像の画質における明るさ、コントラスト、色の濃さ、色合い、シャープネスなどの画質が画質設定指示により設定された画質へ近づくように、配置状態情報に応じて投影部21を制御する。これにより、当該一の携帯型スクリーン4に投影する映像において、明るさ、コントラスト、色の濃さ、色合い、シャープネスなどの画質が、画質設定指示により設定された画質に保たれ易くなる。   In addition, the control device 5 provides a user instruction (hereinafter referred to as an “image quality setting instruction”) for setting image quality such as brightness, contrast, color density, hue, and sharpness for at least some of the plurality of portable screens 4. Can be entered). The image quality setting instruction corresponds to, for example, a user instruction to update / add “reference setting information” described above. When an image quality setting instruction is input for one portable screen 4, the control device 5 controls the brightness and contrast in the image quality of the image projected on the one portable screen 4 in the projection control of the one portable screen 4. The projection unit 21 is controlled in accordance with the arrangement state information so that the image quality such as color depth, hue, and sharpness approaches the image quality set by the image quality setting instruction. Thereby, in the image projected on the one portable screen 4, the image quality such as brightness, contrast, color density, hue, sharpness, etc. is easily maintained at the image quality set by the image quality setting instruction.

制御装置5は、例えば、物体検知部22の検知結果に基づいて、ユーザのジェスチャーによる画質設定指示を入力する。これにより、物体検知部22の検知結果が画質設定指示の入力に使用されるため、ジェスチャー入力専用のセンサ等を用いる場合に比べて構成が簡易になる。   For example, the control device 5 inputs an image quality setting instruction by a user's gesture based on the detection result of the object detection unit 22. Thereby, since the detection result of the object detection unit 22 is used for inputting an image quality setting instruction, the configuration is simplified as compared with the case where a sensor dedicated to gesture input is used.

なお、制御装置5は、調整する全ての画質を画質設定指示によって設定できるようにしてもよいし、調整する全ての画質の一部のみを画質設定指示によって設定できるようにしてもよい。例えば、幾何歪み、シェーディング、色むらなどの画質は、映像への影響が最小であることが一般的に要求されており、通常はユーザの好みに依存しない。そのため、このような画質は画質設定指示によって設定可能な画質に含めなくてもよい。   Note that the control device 5 may be able to set all the image quality to be adjusted by an image quality setting instruction, or may be able to set only a part of all the image quality to be adjusted by an image quality setting instruction. For example, the image quality such as geometric distortion, shading, and color unevenness is generally required to have a minimal influence on the video, and usually does not depend on the user's preference. Therefore, such an image quality may not be included in the image quality that can be set by the image quality setting instruction.

また、制御装置5は、全ての携帯型スクリーン4について画質設定指示の入力を許可してもよいし、特定の携帯型スクリーン4に限って画質設定指示の入力を許可してもよい。例えば、制御装置5は、携帯型スクリーン4毎に割り当てられた識別情報(使用者の識別情報)に応じて、画質設定指示の入力を許可する携帯型スクリーン4と、画質設定指示の入力を許可しない携帯型スクリーン4とを区別してもよい。   Further, the control device 5 may permit the input of the image quality setting instruction for all the portable screens 4 or may permit the input of the image quality setting instruction only for the specific portable screen 4. For example, the control device 5 permits the input of the image quality setting instruction and the portable screen 4 that permits the input of the image quality setting instruction according to the identification information (user identification information) assigned to each portable screen 4. You may distinguish from the portable screen 4 which does not carry out.

制御装置5は、複数の携帯型スクリーン4の各々について、携帯型スクリーン4毎に設定された画質に関する情報(例えば基本設定情報)と、携帯型スクリーン4毎に割り当てられた識別情報(使用者の識別情報)とを関連付けて記憶する。これにより、携帯型スクリーン4毎に設定された画質に関する情報(明るさの設定値など)を識別情報に基づいて管理することが可能になる。   For each of the plurality of portable screens 4, the control device 5 includes information on image quality (for example, basic setting information) set for each portable screen 4 and identification information (user's information) assigned to each portable screen 4. ID information) is stored in association with each other. This makes it possible to manage information relating to image quality (such as brightness setting values) set for each portable screen 4 based on the identification information.

制御装置5は、<携帯型スクリーン4を所有する使用者の認証>において説明したように、各携帯型スクリーン4の識別情報を物体検知部22の検知結果に基づいて取得する。これにより、物体検知部22の検知結果が各携帯型スクリーン4の識別情報の取得に使用されるため、識別情報を取得するための専用のセンサ等を用いる場合に比べて構成が簡易になる。   The control device 5 acquires the identification information of each portable screen 4 based on the detection result of the object detection unit 22, as described in <Authentication of the User Owning the Portable Screen 4>. Thereby, since the detection result of the object detection part 22 is used for acquisition of the identification information of each portable screen 4, a structure becomes simple compared with the case where a sensor for exclusive use for acquiring identification information is used.

次に、図15〜図17を参照して、複数のスクリーンに投影する映像の画質を調整する動作の具体例を説明する。   Next, with reference to FIGS. 15 to 17, a specific example of an operation for adjusting the image quality of images projected on a plurality of screens will be described.

図15は、画質設定指示を入力する動作の一例を説明するためのフローチャートである。制御装置5は、図15に示す動作を反復的に実行する。   FIG. 15 is a flowchart for explaining an example of an operation for inputting an image quality setting instruction. The control device 5 repeatedly executes the operation shown in FIG.

制御装置5は、物体検知部22の検知結果に基づいて、ユーザのジェスチャーによる指示を監視し、入力する(ST100)。ジェスチャーによる指示を入力した場合、制御装置5は、その指示が一の携帯型スクリーン4の画質設定指示であるか否か判定する(ST105)。一の携帯型スクリーン4の画質設定指示を入力した場合(ST105のYes)、制御装置5は、入力した画質設定指示に応じて、当該一の携帯型スクリーン4について記憶している画質の設定に関する情報(例えば基本設定情報)を変更する(ST110)。制御装置5は、当該一の携帯型スクリーン4の識別情報と、画質設定指示において指示された画質の設定に関する情報とを関連付けて記憶する。また制御装置5は、画質設定指示に応じて画質の設定を変更した場合、変更した画質の設定に基づく映像を当該一の携帯型スクリーン4に投影する(ST115)。これにより、設定変更後の画質をユーザ自身で確認することができる。   Based on the detection result of the object detection unit 22, the control device 5 monitors and inputs an instruction by a user's gesture (ST100). When an instruction by a gesture is input, control device 5 determines whether or not the instruction is an image quality setting instruction for one portable screen 4 (ST105). When the image quality setting instruction for one portable screen 4 is input (Yes in ST105), the control device 5 relates to the setting of the image quality stored for the one portable screen 4 in accordance with the input image quality setting instruction. Information (for example, basic setting information) is changed (ST110). The control device 5 stores the identification information of the portable screen 4 in association with the information related to the image quality setting instructed in the image quality setting instruction. Further, when the image quality setting is changed according to the image quality setting instruction, the control device 5 projects an image based on the changed image quality setting on the one portable screen 4 (ST115). Thereby, the image quality after the setting change can be confirmed by the user himself.

図16は、携帯型スクリーン4毎に画質を調整する動作の一例を説明するためのフローチャートである。制御装置5は、図16に示す動作を反復的に実行する。   FIG. 16 is a flowchart for explaining an example of the operation for adjusting the image quality for each portable screen 4. The control device 5 repeatedly executes the operation shown in FIG.

検知対象領域における物体の各部分の位置を物体検知部22が検知すると(ST200)、制御装置5は、その検知結果に基づいて、検知対象領域に存在する各携帯型スクリーン4を特定し、その識別情報を取得するとともに、各携帯型スクリーン4の配置状態情報を取得する(ST205)。制御装置5は、取得した各携帯型スクリーン4の配置状態情報に応じて、各携帯型スクリーン4に投影する映像の画質が携帯型スクリーン4毎に設定された画質へ近づくように、物体検知部22の検知結果に応じて投影部21を制御する(ST210)。   When the object detection unit 22 detects the position of each part of the object in the detection target area (ST200), the control device 5 identifies each portable screen 4 existing in the detection target area based on the detection result, While acquiring identification information, the arrangement | positioning state information of each portable screen 4 is acquired (ST205). In accordance with the acquired arrangement state information of each portable screen 4, the control device 5 has an object detection unit so that the image quality of the image projected on each portable screen 4 approaches the image quality set for each portable screen 4. The projection unit 21 is controlled according to the detection result 22 (ST210).

図17は、投影制御(ST210、図16)の一例を説明するための図である。
制御装置5は、物体検知部22の検知結果に基づいて特定した複数の携帯型スクリーン4の中から一の携帯型スクリーン4を選択し(ST300)、選択した携帯型スクリーン4の画質の設定を最新の配置状態情報に応じて補正する(ST305)。例えば制御装置5は、当該一の携帯型スクリーン4について取得した最新の配置状態情報が示す配置状態と基準の配置状態7(図14)との違いに基づいて、この配置状態情報が示す配置状態における画質が、基準設定情報により設定された基準画質へ近づくように、基準設定情報による基本画質の設定に対して補正を加えた画質設定を取得する。
FIG. 17 is a diagram for explaining an example of projection control (ST210, FIG. 16).
The control device 5 selects one portable screen 4 from the plurality of portable screens 4 specified based on the detection result of the object detection unit 22 (ST300), and sets the image quality of the selected portable screen 4. Correction is performed according to the latest arrangement state information (ST305). For example, the control device 5 determines the arrangement state indicated by the arrangement state information based on the difference between the arrangement state indicated by the latest arrangement state information acquired for the one portable screen 4 and the reference arrangement state 7 (FIG. 14). The image quality setting obtained by correcting the basic image quality setting based on the reference setting information is acquired so that the image quality in the image approaches the reference image quality set by the reference setting information.

制御装置5は、物体検知部22の検知結果に基づいて特定した複数の携帯型スクリーン4の中にまだ選択していない携帯型スクリーン4があるか判定する(ST315)。まだ選択していない携帯型スクリーン4がある場合(ST315のYes)、制御装置5は、その携帯型スクリーン4を選択し(ST320)、ステップST305以降の処理を繰り返す。   The control device 5 determines whether there is a portable screen 4 that has not yet been selected among the plurality of portable screens 4 identified based on the detection result of the object detection unit 22 (ST315). When there is a portable screen 4 that has not yet been selected (Yes in ST315), the control device 5 selects the portable screen 4 (ST320), and repeats the processes after step ST305.

物体検知部22の検知結果に基づいて特定した全ての携帯型スクリーン4についてステップST305の補正により画質設定を取得した場合(ST315のNo)、制御装置5は、各携帯型スクリーン4について取得した画質設定に基づく映像を各携帯型スクリーン4に投影する(ST325)。これにより、各携帯型スクリーン4に投影される映像の画質は、携帯型スクリーン4毎に設定された画質に近い画質となる。   When image quality settings have been acquired for all the portable screens 4 specified based on the detection results of the object detection unit 22 by the correction in step ST305 (No in ST315), the control device 5 acquires the image quality acquired for each portable screen 4 An image based on the setting is projected on each portable screen 4 (ST325). Thereby, the image quality of the image projected on each portable screen 4 is close to the image quality set for each portable screen 4.

(投影制御の他の例)
次に、制御装置5による投影制御の他の例について説明する。
上述した投影制御の例では、一の携帯型スクリーン4について取得した配置状態情報に応じて、当該一の携帯型スクリーン4に投影する映像の画質が当該一の携帯型スクリーン4について予め設定された画質(例えば基準設定情報により設定された基準画質)に近づくように、投影部21が制御される。一方、次に説明する投影制御の他の例では、一の携帯型スクリーン4に投影する映像の画質が当該一の携帯型スクリーン4について画質設定指示が入力された時の画質へ近づくように、投影部21が制御される。
(Other examples of projection control)
Next, another example of projection control by the control device 5 will be described.
In the example of the projection control described above, the image quality of the image projected on the one portable screen 4 is preset for the one portable screen 4 according to the arrangement state information acquired for the one portable screen 4. The projection unit 21 is controlled so as to approach the image quality (for example, the reference image quality set by the reference setting information). On the other hand, in another example of the projection control described below, the image quality of the image projected on one portable screen 4 is close to the image quality when the image quality setting instruction is input for the one portable screen 4. The projection unit 21 is controlled.

具体的に説明すると、制御装置5は、一の携帯型スクリーン4に投影する映像の画質を設定する画質設定指示を入力した場合、この画質設定指示に応じて当該一の携帯型スクリーン4に投影する映像の画質が変化するように、投影部21における画質の設定を変更する。これにより、画質設定指示によって設定された画質の映像が携帯型スクリーン4に投影されるため、設定変更後の画質をユーザ自身で確認することができる。また、制御装置5は、この画質設定指示の入力時において、変更後の画質の設定に関する第1設定情報と、当該一の携帯型スクリーン4について取得した最新の配置状態情報である第2設定情報とを記憶する。そして、制御装置5は、当該一の携帯型スクリーン4の投影制御において、当該一の携帯型スクリーン4について取得した最新の配置状態情報と、画質設定指示の入力時に記憶した第1設定情報及び第2設定情報とに応じて、当該一の携帯型スクリーン4に投影する映像の画質が画質設定指示の入力時における画質へ近づくように投影部21を制御する。   More specifically, when an image quality setting instruction for setting the image quality of an image to be projected onto one portable screen 4 is input, the control device 5 projects onto the one portable screen 4 in accordance with the image quality setting instruction. The image quality setting in the projection unit 21 is changed so that the image quality of the video to be changed changes. As a result, since the video having the image quality set by the image quality setting instruction is projected onto the portable screen 4, the image quality after the setting change can be confirmed by the user himself / herself. In addition, when the image quality setting instruction is input, the control device 5 includes the first setting information regarding the changed image quality setting and the second setting information which is the latest arrangement state information acquired for the one portable screen 4. And remember. Then, in the projection control of the one portable screen 4, the control device 5 includes the latest setting state information acquired for the one portable screen 4, the first setting information and the first setting information stored when the image quality setting instruction is input. In accordance with the two setting information, the projection unit 21 is controlled so that the image quality of the image projected on the one portable screen 4 approaches the image quality when the image quality setting instruction is input.

この投影制御では、画質設定指示の入力時の配置状態情報である第2設定情報と最新の配置状態情報とに基づいて、画質設定指示の入力時と比べた配置状態の違い(位置の違い、姿勢の違い)が分かる。そのため、この配置状態の違いから、画質設定指示の入力時の画質に近似した画質を得るために必要な画質の設定の補正が推定される。そして、この推定された補正を、第1設定情報が示す画質の設定(画質設定指示により変更された画質の設定)に適用することにより、画質設定指示の入力時における画質に近づくように補正された画質の設定が取得される。従って、取得された画質の設定に基づく映像を投影部21において投影することにより、画質設定指示の入力時における画質に近似した画質が得られる。   In this projection control, based on the second setting information, which is the arrangement state information at the time of inputting the image quality setting instruction, and the latest arrangement state information, the difference in arrangement state (difference in position, I understand the difference in posture. Therefore, the correction of the image quality setting necessary to obtain the image quality approximate to the image quality at the time of inputting the image quality setting instruction is estimated from the difference in the arrangement state. The estimated correction is applied to the image quality setting indicated by the first setting information (the image quality setting changed by the image quality setting instruction) so that the image quality is corrected so as to approach the image quality when the image quality setting instruction is input. The image quality setting is acquired. Therefore, by projecting an image based on the acquired image quality setting on the projection unit 21, an image quality approximate to the image quality at the time of inputting the image quality setting instruction can be obtained.

図18は、画質設定指示の入力時における配置状態の一例を示す図であり、図18と図14における同一符号は同一の構成要素を示す。図18において、「8」は画質設定指示の入力時における携帯型スクリーン4Aの配置状態を示す。図18の例では、画質設定指示の入力後に携帯型スクリーン4Aが移動し、配置状態が変化している。そのため、画質設定指示の入力時に変更された画質の設定をそのまま使用して携帯型スクリーン4Aに映像を投影すると、画質設定指示の入力時と比較して異なった画質となる。そこで、制御装置5は、携帯型スクリーン4Aの投影制御において、携帯型スクリーン4Aについて取得した最新の配置状態情報と、画質設定指示の入力時に記憶した第1設定情報及び第2設定情報とに応じて、携帯型スクリーン4Aに投影する映像の画質が画質設定指示の入力時における画質へ近づくように投影部21を制御する。例えば、制御装置5は、画質設定指示の入力時の配置状態情報である第2設定情報と最新の配置状態情報とに基づいて、画質設定指示の入力時と比べた配置状態の違い(位置の違い、姿勢の違い)に関わる変化量を算出する。制御装置5は、算出した変化量に基づいて、画質設定指示の入力時の画質に近似した画質を得るために必要な画質の設定の補正に関わる補正量を算出し、算出した補正量に基づいて、第1設定情報が示す画質の設定を補正する。そして、制御装置5は、補正した画質の設定に基づいて携帯型スクリーン4Aに映像を投影するように投影部21を制御する。これにより、携帯型スクリーン4Aの映像の画質は、画質設定指示の入力時にユーザが確認した画質(画質設定指示の入力時の配置状態8における画質)に近くなる。   FIG. 18 is a diagram illustrating an example of an arrangement state when an image quality setting instruction is input. The same reference numerals in FIGS. 18 and 14 denote the same components. In FIG. 18, “8” indicates an arrangement state of the portable screen 4A when an image quality setting instruction is input. In the example of FIG. 18, the portable screen 4A is moved after the image quality setting instruction is input, and the arrangement state is changed. Therefore, when an image is projected onto the portable screen 4A using the image quality setting changed at the time of inputting the image quality setting instruction as it is, the image quality is different from that at the time of inputting the image quality setting instruction. Therefore, in the projection control of the portable screen 4A, the control device 5 responds to the latest arrangement state information acquired for the portable screen 4A and the first setting information and the second setting information stored when the image quality setting instruction is input. Thus, the projection unit 21 is controlled so that the image quality of the image projected on the portable screen 4A approaches the image quality when the image quality setting instruction is input. For example, the control device 5 uses the second setting information, which is the arrangement state information at the time of inputting the image quality setting instruction, and the latest arrangement state information, and the difference in the arrangement state (position of the position) compared to when the image quality setting instruction is input. Difference, difference in posture) is calculated. Based on the calculated change amount, the control device 5 calculates a correction amount related to correction of image quality setting necessary to obtain an image quality approximate to the image quality at the time of inputting the image quality setting instruction, and based on the calculated correction amount Thus, the image quality setting indicated by the first setting information is corrected. Then, the control device 5 controls the projection unit 21 to project an image on the portable screen 4A based on the corrected image quality setting. Thereby, the image quality of the image on the portable screen 4A is close to the image quality confirmed by the user when the image quality setting instruction is input (the image quality in the arrangement state 8 when the image quality setting instruction is input).

図19は、画質設定指示を入力する動作の他の例を説明するためのフローチャートであり、図15に示すフローチャートにステップST120及びST125を追加したものである。制御装置5は、図19に示す動作を反復的に実行する。   FIG. 19 is a flowchart for explaining another example of an operation for inputting an image quality setting instruction. Steps ST120 and ST125 are added to the flowchart shown in FIG. The control device 5 repeatedly executes the operation shown in FIG.

制御装置5は、一の携帯型スクリーン4の画質設定指示を入力した場合(ST105のYes)、入力した画質設定指示に応じて、当該一の携帯型スクリーン4について記憶している画質の設定に関する情報を変更し(ST110)、変更した画質の設定に基づく映像を当該一の携帯型スクリーン4に投影する(ST115)。これにより、設定変更後の画質をユーザ自身で確認することができる。また、この場合、制御装置5は、画質設定指示に応じて変更した画質の設定に関する第1設定情報を記憶するとともに(ST120)、当該一の携帯型スクリーン4について取得した最新の配置状態情報を第2設定情報として記憶する(ST125)。   When the image quality setting instruction for one portable screen 4 is input (Yes in ST105), the control device 5 relates to the setting of the image quality stored for the one portable screen 4 in accordance with the input image quality setting instruction. The information is changed (ST110), and an image based on the changed image quality setting is projected onto the one portable screen 4 (ST115). Thereby, the image quality after the setting change can be confirmed by the user himself. In this case, the control device 5 stores the first setting information related to the image quality setting changed according to the image quality setting instruction (ST120), and the latest arrangement state information acquired for the one portable screen 4 is also stored. Stored as second setting information (ST125).

図20は、投影制御の他の例を説明するためのフローチャートであり、図17に示すフローチャートにおけるステップST305及びST325をそれぞれステップST310及びST330に置き換えたものである。制御装置5は、図20に示す動作を反復的に実行する。   FIG. 20 is a flowchart for explaining another example of the projection control, in which steps ST305 and ST325 in the flowchart shown in FIG. 17 are replaced with steps ST310 and ST330, respectively. The control device 5 repeatedly executes the operation shown in FIG.

制御装置5は、物体検知部22の検知結果に基づいて特定した複数の携帯型スクリーン4の中から一の携帯型スクリーン4を選択し(ST300)、選択した携帯型スクリーン4の画質設定を、最新の配置状態情報と、画質設定指示の入力時に記憶した第1設定情報及び第2設定情報とに基づいて取得する(ST310)。例えば制御装置5は、画質設定指示の入力時の配置状態情報である第2設定情報(ST125、図19)と最新の配置状態情報とに基づいて、画質設定指示の入力時と比べた配置状態の違い(位置の違い、姿勢の違い)に関わる変化量を算出する。制御装置5は、算出した変化量に基づいて、画質設定指示の入力時の画質に近似した画質を得るために必要な画質の設定の補正に関わる補正量を算出する。そして制御装置5は、算出した補正量に基づいて、第1設定情報(ST120、図19)が示す画質の設定を補正し、これを携帯型スクリーン4の補正した画質設定として取得する。   The control device 5 selects one portable screen 4 from the plurality of portable screens 4 specified based on the detection result of the object detection unit 22 (ST300), and sets the image quality setting of the selected portable screen 4 as follows. It is acquired based on the latest arrangement state information and the first setting information and the second setting information stored when the image quality setting instruction is input (ST310). For example, the control device 5 uses the second setting information (ST125, FIG. 19), which is the arrangement state information when the image quality setting instruction is input, and the latest arrangement state information, and the arrangement state compared to when the image quality setting instruction is input. The amount of change related to the difference (position difference, posture difference) is calculated. Based on the calculated change amount, the control device 5 calculates a correction amount related to the correction of the image quality setting necessary to obtain an image quality approximate to the image quality when the image quality setting instruction is input. The control device 5 corrects the image quality setting indicated by the first setting information (ST120, FIG. 19) based on the calculated correction amount, and acquires this as the corrected image quality setting of the portable screen 4.

物体検知部22の検知結果に基づいて特定した全ての携帯型スクリーン4についてステップST310により画質設定を取得した場合(ST315のNo)、制御装置5は、各携帯型スクリーン4について取得した画質設定に基づく映像を各携帯型スクリーン4に投影する(ST330)。これにより、各携帯型スクリーン4に投影される映像の画質は、画質設定指示の入力時にユーザが確認した画質に近い画質となる。   When image quality settings have been acquired in step ST310 for all portable screens 4 identified based on the detection results of the object detection unit 22 (No in ST315), the control device 5 uses the acquired image quality settings for each portable screen 4. The image based on this is projected onto each portable screen 4 (ST330). As a result, the image quality of the image projected on each portable screen 4 is close to the image quality confirmed by the user when inputting the image quality setting instruction.

(環境光の強度に応じた画質の調整)
次に、各携帯型スクリーン4の画質を調整する動作の他の例として、環境光の強度に応じて画質を調整する例を説明する。
(Adjusting the image quality according to the ambient light intensity)
Next, as another example of the operation for adjusting the image quality of each portable screen 4, an example in which the image quality is adjusted according to the intensity of ambient light will be described.

この例において、投影システムは、複数の携帯型スクリーン4が配置される領域における環境光の強度を検出する環境光検出部を備える。この環境光検出部には、撮像部23を用いることができる。例えば、撮像部23において撮像された画像における各画素の値の平均値に基づいて、環境光の強度を算出することができる。   In this example, the projection system includes an ambient light detection unit that detects ambient light intensity in an area where a plurality of portable screens 4 are arranged. An imaging unit 23 can be used as the ambient light detection unit. For example, the intensity of the ambient light can be calculated based on the average value of each pixel value in the image captured by the imaging unit 23.

制御装置5は、一の携帯型スクリーン4の投影制御において、当該一の携帯型スクリーン4について取得した配置状態情報と環境光の検出結果とに応じて、当該一の携帯型スクリーン4に投影する映像の画質が当該一のスクリーンについて設定された画質に近づくように投影部21を制御する。例えば、制御装置5は、環境光の強度が増大する場合は映像の明るさも増大させ、環境光の強度が減少する場合は映像の明るさも減少させる。これにより、環境光の強度が変化する場合でも、各携帯型スクリーン4に投影する映像の画質が携帯型スクリーン4毎に設定された画質に保たれ易くなる。   In the projection control of one portable screen 4, the control device 5 projects the one portable screen 4 on the one portable screen 4 according to the arrangement state information acquired about the one portable screen 4 and the detection result of the ambient light. The projection unit 21 is controlled so that the image quality of the video approaches the image quality set for the one screen. For example, the control device 5 increases the brightness of the image when the intensity of the ambient light increases, and decreases the brightness of the image when the intensity of the ambient light decreases. Thereby, even when the intensity of the ambient light changes, the image quality of the image projected on each portable screen 4 is easily maintained at the image quality set for each portable screen 4.

また制御装置5は、環境光検出部(撮像部23)が検出した環境光の強度の時間的な変化を平滑化するフィルタ処理を行い、投影制御においては、フィルタ処理が施された環境光の強度の検出結果に応じて撮像部23を制御する。これにより、環境光の強度が急激に変化する場合(例えば揺れるカーテンの隙間から一時的に日差しが差し込む場合)でも、環境光の強度の検出結果に含まれる急激な変化の成分がフィルタ処理によって減衰するため、環境光の急激な変化に応じた投影制御が行われることによる映像の画質の急激な変化を抑制できる。   Further, the control device 5 performs a filter process for smoothing a temporal change in the intensity of the ambient light detected by the ambient light detection unit (imaging unit 23). The imaging unit 23 is controlled according to the intensity detection result. As a result, even when the intensity of the ambient light changes abruptly (for example, when the sunlight is temporarily inserted through a gap in the swinging curtain), the sudden change component included in the detection result of the ambient light intensity is attenuated by the filtering process. Therefore, it is possible to suppress a rapid change in the image quality of the image due to the projection control according to the rapid change in the ambient light.

図21は、環境光を測定する動作の一例を説明するためのフローチャートである。制御装置5は、図21に示す動作を反復的に実行する。   FIG. 21 is a flowchart for explaining an example of an operation for measuring ambient light. The control device 5 repeatedly executes the operation shown in FIG.

制御装置5は、撮像部23において撮像された画像を取得し、取得した画像に基づいて、環境光の強度を測定する(ST400)。例えば制御装置5は、撮像部23において撮像された画像における各画素の値の平均値に応じた環境光の強度の測定値を算出する。そして、制御装置5は、算出した環境光の強度の測定値を時間的に平滑化するフィルタ処理を行う(ST405)。   Control device 5 acquires an image captured by imaging unit 23, and measures the intensity of ambient light based on the acquired image (ST400). For example, the control device 5 calculates a measurement value of the intensity of ambient light according to the average value of the values of each pixel in the image captured by the imaging unit 23. And the control apparatus 5 performs the filter process which smoothes the calculated measured value of the intensity of ambient light temporally (ST405).

なお制御装置5は、環境光の強度の測定に用いられる画像を環境光検出部において検出する場合(例えば、環境光の強度の検出するために撮像部23において画像を撮像する場合)、投影部21から投射される画像の明るさを一時的に減少させてもよい(例えば映像における画素の明るさを全て最低値に設定するなど)。これにより、環境光の強度の測定結果が投影部21の投射光の影響を受け難くなる。   Note that the control device 5 detects an image used for measuring the intensity of the ambient light in the ambient light detection unit (for example, when capturing an image in the imaging unit 23 to detect the intensity of the ambient light), the projection unit The brightness of the image projected from 21 may be temporarily reduced (for example, the brightness of all pixels in the video is set to the minimum value). As a result, the measurement result of the intensity of the ambient light is hardly affected by the projection light of the projection unit 21.

図22及び図23は、投影制御の他の例を説明するためのフローチャートであり、環境光の強度に応じて画質を調整する例をそれぞれ示す。   22 and 23 are flowcharts for explaining another example of the projection control, and each shows an example in which the image quality is adjusted according to the intensity of the ambient light.

図22は、図17のフローチャートにおけるステップST305をステップST305Aに変更したものである。図23は、図20のフローチャートにおけるステップST310をステップST310Aに変更したものである。このステップST305AやステップST310Aにおいて、制御装置5は、既に説明したステップST305やステップST310において得られる画質設定に対して、更に環境光の強度の測定値に応じた補正を加える。例えば、制御装置5は、環境光の強度が増大する場合は映像の明るさを増大させ、環境光の強度が小さくなる場合は映像の明るさも減少させるように映像の明るさを補正する。   FIG. 22 is obtained by changing step ST305 in the flowchart of FIG. 17 to step ST305A. FIG. 23 is obtained by changing step ST310 in the flowchart of FIG. 20 to step ST310A. In step ST305A or step ST310A, the control device 5 further corrects the image quality setting obtained in step ST305 or step ST310 described above according to the measured value of the intensity of ambient light. For example, the control device 5 corrects the brightness of the image so that the brightness of the image is increased when the intensity of the ambient light increases, and the brightness of the image is also decreased when the intensity of the ambient light is decreased.

(環境光の強度に応じた環境照明の調整)
次に、各携帯型スクリーン4の画質を調整する動作に関連した動作の一例として、環境光の強度に応じて環境照明を調整する例を説明する。
(Adjustment of environmental lighting according to the intensity of ambient light)
Next, as an example of the operation related to the operation of adjusting the image quality of each portable screen 4, an example of adjusting the environmental illumination according to the intensity of the environmental light will be described.

この例における投影システムは、複数の携帯型スクリーン4が配置された領域を照らす環境照明部10を備える。図24は、環境照明部10を備えた投影システムの構成の一例を示す図である。図24の例において、環境照明部10は制御装置5と無線により通信を行っているが、この通信は有線でもよい。環境照明部10は、例えばLEDや蛍光灯などの光源を備えており、制御装置5の制御に従って環境照明の強度を変化させる。   The projection system in this example includes an environment illumination unit 10 that illuminates an area where a plurality of portable screens 4 are arranged. FIG. 24 is a diagram illustrating an example of a configuration of a projection system including the environment illumination unit 10. In the example of FIG. 24, the environment lighting unit 10 communicates with the control device 5 wirelessly, but this communication may be wired. The environmental illumination unit 10 includes a light source such as an LED or a fluorescent lamp, and changes the intensity of the environmental illumination according to the control of the control device 5.

制御装置5は、複数の携帯型スクリーン4の少なくとも一部について画質として設定された映像の明るさと、環境光検出部の検出結果とに応じて、環境照明部10の照度を制御する。例えば制御装置5は、複数の携帯型スクリーン4に設定された映像の明るさの平均値を算出し、この算出した平均値に応じて環境照明部10の照度を制御する。具体的には、複数の携帯型スクリーン4に設定された映像の明るさの平均値が小さいほど(平均的な映像の明るさが小さいほど)、環境照明部10の照度を小さくて映像を視認し易くする。   The control device 5 controls the illuminance of the environment illumination unit 10 according to the brightness of the video set as the image quality for at least some of the plurality of portable screens 4 and the detection result of the environment light detection unit. For example, the control device 5 calculates the average value of the brightness of the video set on the plurality of portable screens 4 and controls the illuminance of the environment illumination unit 10 according to the calculated average value. Specifically, the smaller the average brightness of the images set on the plurality of portable screens 4 (the smaller the average image brightness), the smaller the illuminance of the environmental illumination unit 10 is, and the images can be viewed. Make it easy to do.

図25は、環境照明を調整する動作の一例を説明するためのフローチャートである。制御装置5は、図25に示す動作を反復的に実行する。   FIG. 25 is a flowchart for explaining an example of the operation for adjusting the environmental illumination. The control device 5 repeatedly executes the operation shown in FIG.

制御装置5は、複数の携帯型スクリーン4に投影する映像の明るさの設定値をそれぞれ取得し(ST500)、取得した明るさの設定値に基づいて、複数の携帯型スクリーン4における映像の明るさの平均値(各携帯型スクリーン4の明るさの設定値を平均した値)を算出する(ST505)。そして、制御装置5は、ステップST505において算出した映像の明るさの平均値に応じて、環境照明部10の照度を制御する(ST510)。例えば制御装置5は、ステップST505で算出した映像の明るさの平均値が小さいほど(平均的な映像の明るさが小さいほど)、環境照明部10の照度を小さくする。   The control device 5 acquires the brightness setting values of the images projected on the plurality of portable screens 4 (ST500), and the image brightness on the plurality of portable screens 4 based on the acquired brightness setting values. An average value (a value obtained by averaging the brightness setting values of each portable screen 4) is calculated (ST505). And the control apparatus 5 controls the illumination intensity of the environmental illumination part 10 according to the average value of the brightness of the image | video calculated in step ST505 (ST510). For example, the control device 5 decreases the illuminance of the environment illumination unit 10 as the average value of the image brightness calculated in step ST505 is smaller (as the average image brightness is smaller).

このように、複数の携帯型スクリーン4の少なくとも一部について画質として設定された映像の明るさに応じて環境照明部10の照度が制御されることにより、各携帯型スクリーン4における映像の明るさに応じて環境光の強度を適切に調整できる。   In this way, the brightness of the image on each portable screen 4 is controlled by controlling the illuminance of the environment illumination unit 10 according to the brightness of the image set as the image quality for at least some of the plurality of portable screens 4. The intensity of ambient light can be adjusted appropriately according to the conditions.

なお、本実施形態は上述した例にのみ限定されるものではなく、当業者にとって自明な種々のバリエーションも本実施形態に含まれる。   Note that the present embodiment is not limited to the above-described example, and various variations obvious to those skilled in the art are also included in the present embodiment.

例えば、上述した実施形態では複数の携帯型スクリーン4においてそれぞれ画質の調整を行う例を挙げたが、画質調整の対象となるスクリーンの数は複数でも単数でもよい。   For example, in the above-described embodiment, an example in which the image quality adjustment is performed on each of the plurality of portable screens 4 has been described.

2…多機能プロジェクタ、21…投影部、22…物体検知部、23…撮像部、24…通信部、25…制御部、3…卓上型スクリーン、31,43…マイク、32,44…スピーカ、33…入力部、34…通信部、35…制御部、301,302,401〜403…マーク、311,411…投影面、4…携帯型スクリーン、41…接触センサ、42…振動発生器、45…入力部、46…入力部、47…通信部、48…制御部、409,451,461…2次元コード、450…表紙、452…写真、460…裏表紙、5…制御装置、51…表示部、52…入力部、53…通信部、54…通信部、55…制御部、56…処理部、57…記憶部、6…サーバ、7…基準の配置状態、8…画質設定指示の入力時の配置状態、10…環境照明部
DESCRIPTION OF SYMBOLS 2 ... Multifunctional projector, 21 ... Projection part, 22 ... Object detection part, 23 ... Imaging part, 24 ... Communication part, 25 ... Control part, 3 ... Desktop screen, 31, 43 ... Microphone, 32, 44 ... Speaker, 33 ... Input unit, 34 ... Communication unit, 35 ... Control unit, 301, 302, 401-403 ... Mark, 311, 411 ... Projection surface, 4 ... Portable screen, 41 ... Contact sensor, 42 ... Vibration generator, 45 ... input unit, 46 ... input unit, 47 ... communication unit, 48 ... control unit, 409, 451, 461 ... two-dimensional code, 450 ... cover, 452 ... photo, 460 ... back cover, 5 ... control device, 51 ... display , 52 ... input unit, 53 ... communication unit, 54 ... communication unit, 55 ... control unit, 56 ... processing unit, 57 ... storage unit, 6 ... server, 7 ... reference arrangement state, 8 ... input of image quality setting instruction Time arrangement, 10 ... environmental lighting

Claims (16)

複数のスクリーンの各々に映像を投影する投影部と、
前記投影部に対する各前記スクリーンの配置状態を検知する検知部と、
各前記スクリーンに投影する映像の画質が前記スクリーン毎に設定された画質へ近づくように、前記検知部の検知結果に応じて前記投影部を制御する制御部と
を有する投影システム。
A projection unit that projects an image on each of a plurality of screens;
A detection unit for detecting an arrangement state of each screen with respect to the projection unit;
And a control unit that controls the projection unit according to a detection result of the detection unit so that an image quality of an image projected on each screen approaches an image quality set for each screen.
前記検知部は、前記複数のスクリーンが配置された検知対象領域における物体の各部分の位置を検知し、
前記制御部は、
前記検知部の検知結果に基づいて、前記検知対象領域における前記スクリーンの位置及び姿勢の少なくとも一方に関する配置状態情報を、前記複数のスクリーンの各々について取得し、
一の前記スクリーンについて取得した前記配置状態情報に応じて、当該一のスクリーンに投影する映像の画質が当該一のスクリーンについて設定された画質に近づくように前記投影部を制御する投影制御を、前記複数のスクリーンの各々について行う、
請求項1に記載の投影システム。
The detection unit detects the position of each part of the object in the detection target area where the plurality of screens are arranged,
The controller is
Based on the detection result of the detection unit, arrangement state information regarding at least one of the position and orientation of the screen in the detection target region is acquired for each of the plurality of screens,
Projection control for controlling the projection unit so that the image quality of an image projected on the one screen approaches the image quality set for the one screen according to the arrangement state information acquired for the one screen, For each of the multiple screens,
The projection system according to claim 1.
前記制御部は、前記検知部の検知結果に基づく各前記スクリーンの前記配置状態情報の取得を反復するとともに、前記配置状態情報に応じた各前記スクリーンの前記投影制御を反復する、
請求項2に記載の投影システム。
The control unit repeats the acquisition of the arrangement state information of each screen based on the detection result of the detection unit, and repeats the projection control of each screen according to the arrangement state information.
The projection system according to claim 2.
前記スクリーン毎に設定された画質は、明るさ、コントラスト、色の濃さ、色合い、シャープネス、幾何歪み、シェーディング及び色むらの少なくとも1つを含む
請求項2又は請求項3に記載の投影システム。
4. The projection system according to claim 2, wherein the image quality set for each screen includes at least one of brightness, contrast, color density, hue, sharpness, geometric distortion, shading, and color unevenness.
前記制御部は、
前記複数のスクリーンの少なくとも一部について、明るさ、コントラスト、色の濃さ、色合い及びシャープネスの少なくとも1つを設定する画質設定指示を入力可能であり、
一の前記スクリーンについて前記画質設定指示を入力した場合、当該一のスクリーンの前記投影制御において、当該一のスクリーンに投影する映像の画質における明るさ、コントラスト、色の濃さ、色合い及びシャープネスの少なくとも1つが前記画質設定指示により設定された画質へ近づくように、前記配置状態情報に応じて前記投影部を制御する、
請求項4に記載の投影システム。
The controller is
An image quality setting instruction for setting at least one of brightness, contrast, color density, hue, and sharpness can be input for at least some of the plurality of screens;
When the image quality setting instruction is input for one screen, in the projection control of the one screen, at least brightness, contrast, color density, hue, and sharpness in the image quality of the image projected on the one screen. Controlling the projection unit according to the arrangement state information so that one approaches the image quality set by the image quality setting instruction,
The projection system according to claim 4.
前記制御部は、
前記検知部の検知結果に基づく各前記スクリーンの前記配置状態情報の取得を反復するとともに、前記配置状態情報に応じた各前記スクリーンの前記投影制御を反復し、
一の前記スクリーンに投影する映像の画質を設定する画質設定指示を入力した場合、当該画質設定指示に応じて当該一のスクリーンに投影する映像の画質が変化するように前記投影部における画質の設定を変更するとともに、前記変更後の画質の設定に関する第1設定情報と、当該一のスクリーンについて取得した最新の前記配置状態情報である第2設定情報とを記憶し、
当該一のスクリーンの前記投影制御において、当該一のスクリーンについて取得した最新の前記配置状態情報と、前記画質設定指示の入力時に記憶した前記第1設定情報及び前記第2設定情報とに応じて、当該一のスクリーンに投影する映像の画質が前記画質設定指示の入力時における画質へ近づくように前記投影部を制御する、
請求項2〜請求項5の何れか一項に記載の投影システム。
The controller is
While repeating the acquisition of the arrangement state information of each screen based on the detection result of the detection unit, repeating the projection control of each screen according to the arrangement state information,
When the image quality setting instruction for setting the image quality of the image projected on the one screen is input, the image quality setting in the projection unit is changed so that the image quality of the image projected on the one screen changes according to the image quality setting instruction. And the first setting information related to the image quality setting after the change and the second setting information which is the latest arrangement state information acquired for the one screen,
In the projection control of the one screen, according to the latest arrangement state information acquired for the one screen and the first setting information and the second setting information stored at the time of inputting the image quality setting instruction, Controlling the projection unit so that the image quality of the image projected on the one screen approaches the image quality at the time of inputting the image quality setting instruction;
The projection system according to any one of claims 2 to 5.
前記制御部は、前記検知部の検知結果に基づいて、ユーザのジェスチャーによる前記画質設定指示を入力する、
請求項5又は請求項6に記載の投影システム。
The control unit inputs the image quality setting instruction by a user's gesture based on a detection result of the detection unit.
The projection system according to claim 5 or 6.
前記制御部は、前記複数のスクリーンの各々について、前記スクリーン毎に設定された画質に関する情報と前記スクリーン毎に割り当てられた識別情報とを関連付けて記憶する、
請求項2〜請求項7の何れか一項に記載の投影システム。
The control unit stores information relating to image quality set for each screen and identification information assigned to each screen in association with each other for each of the plurality of screens.
The projection system according to any one of claims 2 to 7.
前記制御部は、前記検知部の検知結果に基づいて、各前記スクリーンの前記識別情報を取得する、
請求項8に記載の投影システム。
The control unit acquires the identification information of each screen based on a detection result of the detection unit.
The projection system according to claim 8.
前記複数のスクリーンが配置される領域における環境光の強度を検出する環境光検出部を有し、
前記制御部は、一の前記スクリーンの前記投影制御において、当該一のスクリーンについて取得した前記配置状態情報と前記環境光検出部の検出結果とに応じて、当該一のスクリーンに投影する映像の画質が当該一のスクリーンについて設定された画質に近づくように前記投影部を制御する、
請求項2〜請求項9の何れか一項に記載の投影システム。
An ambient light detector for detecting the intensity of ambient light in an area where the plurality of screens are disposed;
In the projection control of one screen, the control unit determines the image quality of an image projected on the one screen according to the arrangement state information acquired for the one screen and the detection result of the ambient light detection unit. Controlling the projection unit so as to approach the image quality set for the one screen.
The projection system according to any one of claims 2 to 9.
前記制御部は、
前記環境光検出部が検出した前記環境光の強度の時間的な変化を平滑化するフィルタ処理を行い、
前記投影制御においては、前記フィルタ処理が施された前記環境光検出部の検出結果に応じて前記投影部を制御する、
請求項10に記載の投影システム。
The controller is
Performing a filtering process to smooth the temporal change in the intensity of the ambient light detected by the ambient light detection unit;
In the projection control, the projection unit is controlled according to a detection result of the ambient light detection unit subjected to the filtering process.
The projection system according to claim 10.
前記複数のスクリーンが配置される領域を照らす環境照明部を有し、
前記制御部は、前記複数のスクリーンの少なくとも一部について前記画質として設定された映像の明るさに応じて前記環境照明部の照度を制御する、
請求項2〜請求項9の何れか一項に記載の投影システム。
An environment illumination unit that illuminates an area where the plurality of screens are disposed;
The control unit controls the illuminance of the environmental illumination unit according to the brightness of the video set as the image quality for at least some of the plurality of screens.
The projection system according to any one of claims 2 to 9.
複数のスクリーンの各々に映像を投影する投影部と、
前記投影部に対する各前記スクリーンの配置状態を検知する検知部と
を有する投影システムの制御方法であって、
各前記スクリーンに投影する映像の画質が前記スクリーン毎に設定された画質へ近づくように、前記検知部の検知結果に応じて前記投影部を制御すること
を有する投影システムの制御方法。
A projection unit that projects an image on each of a plurality of screens;
A projection system control method comprising: a detection unit that detects an arrangement state of each screen with respect to the projection unit;
A control method for a projection system, comprising: controlling the projection unit according to a detection result of the detection unit so that an image quality of an image projected on each screen approaches an image quality set for each screen.
前記複数のスクリーンが配置された検知対象領域における物体の各部分の位置を検知する前記検知部の検知結果に基づいて、前記検知対象領域における前記スクリーンの位置及び姿勢の少なくとも一方に関する配置状態情報を、前記複数のスクリーンの各々について取得することと、
一の前記スクリーンについて取得した前記配置状態情報に応じて、当該一のスクリーンに投影する映像の画質が当該一のスクリーンについて設定された画質に近づくように前記投影部を制御する投影制御を、前記複数のスクリーンの各々について行うこととを有する、
請求項13に記載の投影システムの制御方法。
Arrangement state information regarding at least one of the position and orientation of the screen in the detection target region based on the detection result of the detection unit that detects the position of each part of the object in the detection target region in which the plurality of screens are arranged. Obtaining for each of the plurality of screens;
Projection control for controlling the projection unit so that the image quality of an image projected on the one screen approaches the image quality set for the one screen according to the arrangement state information acquired for the one screen, Performing for each of the plurality of screens,
The method of controlling a projection system according to claim 13.
前記検知部の検知結果に基づく各前記スクリーンの前記配置状態情報の取得を反復することと、
前記配置状態情報に応じた各前記スクリーンの前記投影制御を反復することと、
一の前記スクリーンに投影する映像の画質を設定する画質設定指示を入力した場合、当該画質設定指示に応じて当該一のスクリーンに投影する映像の画質が変化するように前記投影部における画質の設定を変更するとともに、前記変更後の画質の設定に関する第1設定情報と、当該一のスクリーンについて取得した最新の前記配置状態情報である第2設定情報とを記憶することと、
当該一のスクリーンの前記投影制御において、当該一のスクリーンについて取得した最新の前記配置状態情報と、前記画質設定指示の入力時に記憶した前記第1設定情報及び前記第2設定情報とに応じて、当該一のスクリーンに投影する映像の画質が前記画質設定指示の入力時における画質へ近づくように前記投影部を制御することとを有する、
請求項14に記載の投影システムの制御方法。
Repeating the acquisition of the arrangement state information of each screen based on the detection result of the detection unit;
Repeating the projection control of each screen according to the arrangement state information;
When the image quality setting instruction for setting the image quality of the image projected on the one screen is input, the image quality setting in the projection unit is changed so that the image quality of the image projected on the one screen changes according to the image quality setting instruction. And storing first setting information related to the image quality setting after the change and second setting information that is the latest arrangement state information acquired for the one screen;
In the projection control of the one screen, according to the latest arrangement state information acquired for the one screen and the first setting information and the second setting information stored at the time of inputting the image quality setting instruction, Controlling the projection unit so that the image quality of the image projected on the one screen approaches the image quality at the time of inputting the image quality setting instruction.
The method for controlling the projection system according to claim 14.
請求項13〜請求項15の何れか一項に記載の投影システムの制御方法をコンピュータに実行させるためのプログラム。
A program for causing a computer to execute the projection system control method according to any one of claims 13 to 15.
JP2018039432A 2018-03-06 2018-03-06 Projection system and control method therefor, and program Pending JP2019152815A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018039432A JP2019152815A (en) 2018-03-06 2018-03-06 Projection system and control method therefor, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018039432A JP2019152815A (en) 2018-03-06 2018-03-06 Projection system and control method therefor, and program

Publications (1)

Publication Number Publication Date
JP2019152815A true JP2019152815A (en) 2019-09-12

Family

ID=67946216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018039432A Pending JP2019152815A (en) 2018-03-06 2018-03-06 Projection system and control method therefor, and program

Country Status (1)

Country Link
JP (1) JP2019152815A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113820910A (en) * 2021-08-16 2021-12-21 上海联影医疗科技股份有限公司 Medical equipment control system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113820910A (en) * 2021-08-16 2021-12-21 上海联影医疗科技股份有限公司 Medical equipment control system

Similar Documents

Publication Publication Date Title
US20230205151A1 (en) Systems and methods of gestural interaction in a pervasive computing environment
KR102120107B1 (en) robot cleaner
WO2012173001A1 (en) Information input device
JP4734980B2 (en) Face authentication device and control method therefor, electronic device equipped with face authentication device, face authentication device control program, and recording medium recording the program
US8887043B1 (en) Providing user feedback in projection environments
JP6617755B2 (en) Display device and electronic device
US9374554B1 (en) Display selection for video conferencing
CN103430092A (en) Projection device
US9888209B1 (en) Remote communication system, method for controlling remote communication system, and storage medium
CN104159000A (en) Scanned image acquiring method and device
JP2015119277A (en) Display apparatus, display method, and display program
US20160054806A1 (en) Data processing apparatus, data processing system, control method for data processing apparatus, and storage medium
US20160328201A1 (en) Display control system, display control apparatus, display control method, and storage medium
CN103581532A (en) Method and device for controlling lens signal photographing with handheld device
US11252387B2 (en) Projection apparatus, projection method and storage medium
CN106550226A (en) Projected picture correcting method and device
JP2019082973A (en) Projection system
JP2019152815A (en) Projection system and control method therefor, and program
JP2019153205A (en) Projection system and control method therefor, and program
KR20120063935A (en) Apparatus and method for providing service of data exchange
CN114071094A (en) Projection apparatus and projection method
JP2015166854A (en) Projection control device of projector, projection control method of projector, projection system, projection control method of projection system, and program
JP5571895B2 (en) Information display device
JP2019082650A (en) Projection system and screen
JP6394958B2 (en) Communication apparatus and communication method