CN116805962A - 显示方法、显示系统和记录有程序的记录介质 - Google Patents

显示方法、显示系统和记录有程序的记录介质 Download PDF

Info

Publication number
CN116805962A
CN116805962A CN202310287558.1A CN202310287558A CN116805962A CN 116805962 A CN116805962 A CN 116805962A CN 202310287558 A CN202310287558 A CN 202310287558A CN 116805962 A CN116805962 A CN 116805962A
Authority
CN
China
Prior art keywords
image
user
camera
display surface
speaking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310287558.1A
Other languages
English (en)
Inventor
阿野尊洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN116805962A publication Critical patent/CN116805962A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

显示方法、显示系统和记录有程序的记录介质。提出在显示面上设置有摄像头的情况下的改善后的图像的布局。在显示系统(10)中，处理装置(28)在用户(U3)正在讲话的期间内，在显示面(P)上显示与用户(U1)的讲话相关的演示图像(SP)和配置于比演示图像(SP)的位置更接近会议用摄像头(40)在显示面(P)上的位置的位置的图像(S1)。处理装置(28)向用户(U1)使用的终端装置(T1)发送在用户(U3)正在讲话的期间内会议用摄像头(40)取得的图像。处理装置(28)在用户(U3)正在讲话的期间内，在显示面(P2)上显示图像(S1)和大小比用户(U1)正在讲话的期间内的演示图像(SP)的大小大的演示图像(SP)。

Description

显示方法、显示系统和记录有程序的记录介质
技术领域
本发明涉及显示方法、显示系统和记录有程序的记录介质。
背景技术
以往，通过利用网络连接远离的据点之间并收发位于各个据点的人物的图像和声音来实现交流的技术正在普及。例如，下述专利文献1记载的通信会议系统从影像投影装置向设置于会议室的屏幕投射对方侧的会议室的影像。在屏幕的大致中央部分设置有开口部，在该开口部的背面侧设置有摄像机。而且，由该摄像机拍摄到的影像被发送到对方侧。影像投影装置始终向开口部的部分投影黑色的图像，由此，防止影像投影装置发出的投影光入射到摄像机。
专利文献1：日本特开2002-49367号公报
如上述的专利文献1的系统那样，在与屏幕重叠地设置有摄像头的情况下，所显示的图像中的与摄像头重叠的部分的可视性降低。另一方面，根据图像内容的不同，不一定优选避开摄像头进行显示。在上述的专利文献1中，未研究与图像内容对应的投射图像的布局，存在改善的余地。
发明内容
本发明的一个方式的显示方法包含：取得表示配置于显示面并拍摄第1用户的摄像头在所述显示面上的位置的信息；在第2用户正在讲话的期间内，在所述显示面上显示与所述第1用户的讲话相关的第1图像和配置于比所述第1图像的位置更接近所述摄像头在所述显示面上的位置的位置的表示所述第2用户的第2图像；向所述第2用户使用的终端装置发送在所述第2用户正在讲话的期间内所述摄像头取得的图像；以及在所述第1用户正在讲话的期间内，在所述显示面上显示所述第2图像和大小比所述第2用户正在讲话的期间内的所述第1图像的大小大的所述第1图像。
本发明的一个方式的显示系统具有：至少1个通信接口，其与配置于显示面并拍摄第1用户的摄像头及第2用户的终端装置进行通信；显示装置，其在所述显示面上显示图像；扬声器；以及至少1个处理装置，其控制所述通信接口、所述显示装置和所述扬声器，所述至少1个处理装置取得表示所述摄像头在所述显示面上的位置的信息，所述至少1个处理装置在所述第2用户正在讲话的期间内，通过所述显示装置在所述显示面上显示与所述第1用户的讲话相关的第1图像和配置于比所述第1图像的位置更接近所述摄像头在所述显示面上的位置的位置的表示所述第2用户的第2图像，所述至少1个处理装置经由所述通信接口向所述第2用户使用的终端装置发送在所述第2用户正在讲话的期间内所述摄像头取得的图像，所述至少1个处理装置在所述第1用户正在讲话的期间内，通过所述显示装置在所述显示面上显示所述第2图像和大小比所述第2用户正在讲话的期间内的所述第1图像的大小大的所述第1图像。
本发明的一个方式是记录有程序的记录介质，该程序使计算机执行：取得表示配置于显示面并拍摄第1用户的摄像头在所述显示面上的位置的信息；在第2用户正在讲话的期间内，在所述显示面上显示与所述第1用户的讲话相关的第1图像和配置于比所述第1图像的位置更接近所述摄像头在所述显示面上的位置的位置的表示所述第2用户的第2图像；向所述第2用户使用的终端装置发送在所述第2用户正在讲话的期间内所述摄像头取得的图像；以及在所述第1用户正在讲话的期间内，在所述显示面上显示所述第2图像和大小比所述第2用户正在讲话的期间内的所述第1图像的大小大的所述第1图像。
附图说明
图1是示意性示出包含实施方式的显示系统10的会议系统1的图。
图2是示出显示系统10的结构的框图。
图3是示出个人计算机20的结构的框图。
图4是示出投影仪30的结构的框图。
图5是示意性示出会议用摄像头40与显示面P的位置关系的图。
图6是图5的A-A线的剖视图。
图7是示意性示出拍摄图像SK与部分图像SB1、SB2的关系的图。
图8示出用户U1的讲话时M1的投射图像SG的布局。
图9示出用户U3的讲话时M2的投射图像SG的布局。
图10示出不存在讲话者的状态M3下的投射图像SG的布局。
图11示出离线的会议时M4的投射图像SG的布局。
图12是示出处理装置28依照控制程序270执行的显示方法的流程的流程图。
标号说明
1：会议系统；10：显示系统；20：个人计算机；21：操作装置；22：显示器；23：扬声器；24：麦克风；25：第1通信装置；26：第2通信装置；27：存储装置；28：处理装置；30：投影仪；31：操作装置；32：通信装置；33：投影仪用摄像头；34：光学装置；35：存储装置；36：处理装置；40：会议用摄像头；281：摄像头位置信息取得部；282：用户图像生成部；283：数据收发部；284：投射图像生成部；285：投射图像供给部；286：声音再现控制部；361：校准处理部；362：摄像头位置检测部；C：会议服务器；K1～K3：据点；N：网络；P：显示面；S1～S4：图像；SP：演示图像；T1、T2：终端装置；U1～U4：用户。
具体实施方式
以下，参照附图说明本发明的优选实施方式。另外，在图中，各部件的尺寸或者比例尺与实际适当地不同，还存在为了容易理解而示意性示出的部分。此外，在以下的说明中，只要没有特别限定本发明的主旨的记载，则本发明的范围不限于这些方式。
A：显示系统10的概要
图1是示意性示出包含实施方式的显示系统10的会议系统1的图。会议系统1是用于进行位于不同据点K1～K3的用户U1～U4所参加的在线会议的系统。会议系统1包含显示系统10、终端装置T1、T2和会议服务器C。终端装置T1、T2例如是个人计算机、平板终端、智能手机等具有通信功能的信息处理装置。
显示系统10、终端装置T1、T2和会议服务器C经由网络N连接。终端装置T1配置于据点K1。在据点K1有用户U1。终端装置T2配置于据点K2。在据点K2有用户U2。显示系统10配置于据点K3。在据点K3有用户U3和U4。用户U3是第1用户的一例，用户U1是第2用户的一例。
在线会议例如使用在线会议应用来进行。在终端装置T1、T2和图2所示的显示系统10的个人计算机20中执行在线会议应用。当在线会议应用上例如用户U1请求举办会议时，向会议服务器C通知会议的举办请求。会议服务器C与举办请求对应地发布URL(UniformResource Locator)。URL与虚拟地设置于会议服务器C上的会议室的识别信息对应。用户U1将所发布的URL保存到终端装置T1。此外，用户U1通过电子邮件等向用户U2～U4通知URL。
当到达会议的预定时刻时，在终端装置T1、T2和个人计算机20中，启动在线会议应用而与由URL所示的连接目的地连接。在线会议应用向会议服务器C发送在本据点拍摄到的图像数据和在本据点收集到的声音数据。此外，在线会议应用向会议服务器C发送在本据点有共享指示的数据。以下，将在线会议中所共享的数据称作“共享数据”。在本实施方式中，假设共享数据是通过使用投影仪30或者显示器进行显示来使用户U1～U4能够识别内容的数据。此外，在线会议应用从会议服务器C接收在其他据点拍摄到的图像数据、在其他据点收集到的声音数据和从其他据点共享的共享数据，并根据这些数据输出图像和声音。由此，在据点K1～K3之间实现使用图像和声音的在线会议。
B：显示系统10的详细情况
图2是示出显示系统10的结构的框图。显示系统10具有个人计算机20、投影仪30和会议用摄像头40。
B-1：个人计算机20的结构
图2是示出显示系统10的结构的框图。显示系统10具有个人计算机20、投影仪30和会议用摄像头40。
B-1：个人计算机20的结构
图3是示出个人计算机20的结构的框图。也可以使用平板终端、智能手机等其他信息处理装置作为终端装置，代替个人计算机20。
个人计算机20具有操作装置21、显示器22、扬声器23、麦克风24、第1通信装置25、第2通信装置26、存储装置27和处理装置28。
操作装置21是用于受理来自用户U3、U4的操作的装置。操作装置21例如是键盘或者鼠标。此外，操作装置21也可以使用显示器22与操作装置21成为一体的触摸面板。
显示器22是对外部显示信息的显示设备，例如是液晶显示面板、有机EL(Electro-Luminescence)显示面板等各种显示面板。
扬声器23产生基于声音数据的声音。扬声器23不限于内置于个人计算机20，也可以通过有线或无线来连接与个人计算机20分体的扬声器23。
麦克风24检测周围的声音并作为声音数据输出。麦克风24不限于内置于个人计算机20，也可以通过有线或无线来连接与个人计算机20分体的麦克风24。
第1通信装置25是用于与其他终端装置进行通信的接口，该其他终端装置与网络N连接。在本实施方式中，其他终端装置是会议服务器C。第1通信装置25例如通过Wi-Fi等通信方式与无线LAN(Local Area Network)路由器进行通信。Wi-Fi是注册商标。无线LAN路由器是具有与无线LAN接入点及互联网的调解功能的无线LAN设备。另外，第1通信装置25也可以通过有线LAN与网络N连接。第1通信装置25是与用户U1的终端装置T1进行通信的通信接口的一例。
第2通信装置26是用于与投影仪30及会议用摄像头40等位于个人计算机20的附近的设备进行通信的接口。第2通信装置26例如是无线或者有线的LAN、Bluetooth、USB(Universal Serial Bus)、HDMI(High Definition Multimedia Interface)等接口。Bluetooth、USB和HDMI分别是注册商标。第2通信装置26在无线的情况下具有天线，在有线的情况下具有连接器等接口和对经由接口接收到的信号进行电处理的接口电路。第2通信装置26是与会议用摄像头40进行通信的通信接口的一例。
存储装置27是处理装置28能读取的记录介质。存储装置27例如包含非易失性存储器和易失性存储器。非易失性存储器例如可举出ROM(Read Only Memory)、EPROM(ErasableProgrammable Read Only Memory)和EEPROM(Electrically Erasable ProgrammableRead Only Memory)。易失性存储器例如可举出RAM。
存储装置27存储由处理装置28执行的控制程序270和处理装置28所使用的各种数据272。控制程序270例如包含操作系统和多个应用程序。应用程序包含执行在线会议应用的程序。
处理装置28例如由单个或多个处理器构成。列举一例，处理装置28由单个或多个CPU(Central Processing Unit)构成。处理装置28的功能的一部分或全部也可以由DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等电路构成。处理装置28并形或者依次执行各种处理。处理装置28是控制第1通信装置25和扬声器23的处理装置的一例。
处理装置28通过从存储装置27读取控制程序270并执行，作为摄像头位置信息取得部281、用户图像生成部282、数据收发部283、投射图像生成部284、投射图像供给部285和声音再现控制部286发挥功能。处理装置28的各功能部的详细情况在后面叙述。处理装置28是控制装置的一例。
B-2：投影仪30的结构
图4是示出投影仪30的结构的框图。投影仪30具有操作装置31、通信装置32、投影仪用摄像头33、光学装置34、存储装置35和处理装置36。投影仪30是在显示面P上显示图像的显示装置的一例。
操作装置31是用于受理来自用户U3、U4的操作的装置。操作装置31例如是各种操作按钮、操作键或触摸面板。操作装置31例如设置于投影仪30的壳体。此外，操作装置31也可以是与投影仪30的壳体分开设置的遥控器。
通信装置32是用于与个人计算机20等位于投影仪30的附近的设备进行通信的接口。通信装置32例如是无线或者有线的LAN、Bluetooth、USB、HDMI等接口。Bluetooth、USB和HDMI分别是注册商标。通信装置32在无线的情况下具有天线，在有线的情况下具有连接器等接口和对经由接口接收到的信号进行电处理的接口电路。
投影仪用摄像头33包含镜头等受光光学系统和将由受光光学系统会聚的光转换为电信号的摄像元件等，并生成与拍摄图像对应的图像数据。摄像元件例如是接收可见光区域的光的CCD(Charge Coupled Device)图像传感器。投影仪用摄像头33将由光学装置34显示图像的显示面P的整体包含在拍摄范围中。
投影仪用摄像头33也可以与投影仪30的其他要素分开设置。在该情况下，投影仪用摄像头33和投影仪30也可以以能够收发数据的方式通过有线或者无线的接口相互连接。此外，在该情况下，校准了投影仪用摄像头33的拍摄范围与光学装置34的显示面P的位置关系。
光学装置34根据来自处理装置36的图像信号，将投射图像SG投射到显示面P。在本实施方式中，显示面P是墙壁W中的可使用光学装置34对投射图像SG进行投射的最大范围。显示面P例如在图5中示出。光学装置34具有光源341、光调制装置342和投射光学系统343。
光源341例如包含具有卤素灯、氙气灯、超高压汞灯、LED(Light Emitting Diode)或者激光光源等。光源341例如分别射出红色、绿色和蓝色的光，或者射出白色的光。在光源341射出白色的光的情况下，从光源341射出的光利用未图示的积分器光学系统减少亮度分布的偏差，然后，被未图示的颜色分离光学系统分离为红色、绿色和蓝色的光而入射到光调制装置342。
光调制装置342包含分别与红色、绿色及蓝色对应地设置的3个光调制元件。光调制元件分别包含例如透射型液晶面板、反射型液晶面板或者DMD(数字微镜器件)等。光调制元件根据来自处理装置36的图像信号分别调制该红色、绿色和蓝色的光而生成各色的图像光。由光调制装置342生成的各色的图像光通过未图示的颜色合成光学系统来合成，成为全彩色的图像光。另外，光调制装置342不限于此，也可以使用单板的液晶面板、DMD等以时分方式射出各色的图像光，由此看到全彩色的图像光。
投射光学系统343使该全彩色的图像光成像并投射于屏幕。投射光学系统343是包含至少1个投射镜头的光学系统，也可以包含变焦镜头或聚焦镜头等。
存储装置35是处理装置36可读取的记录介质。存储装置35例如包含非易失性存储器和易失性存储器。非易失性存储器例如可举出ROM、EPROM和EEPROM。易失性存储器例如可举出RAM。
存储装置35存储由处理装置36执行的控制程序350和处理装置36所使用的各种数据352。控制程序350由处理装置36执行。控制程序350例如包含操作系统和多个应用程序。
此外，在本实施方式中，存储装置35的一部分存储区域作为帧存储器发挥功能。帧存储器存储由光学装置34投射的投射图像SG作为1个画面的图像数据。另外，帧存储器也可以与存储控制程序350等的存储装置35分开设置。
在本实施方式中，能够投射横1920像素、纵1080像素的图像作为投射图像SG。因此，能够使用以投射图像SG的左上的点为基准点且横向为x轴、纵向为y轴的xy坐标来识别各像素。例如，在设左上的像素为坐标(1，1)时，右下的像素成为坐标(1920，1080)。关于帧存储器的坐标，也可以由xy坐标(x，y)表示。
处理装置36例如由单个或多个处理器构成。列举一例，处理装置36由单个或多个CPU构成。处理装置36的功能的一部分或者全部也可以由DSP、ASIC、PLD、FPGA等电路构成。处理装置36并行或者依次执行各种处理。处理装置36是控制投影仪30的处理装置的一例。
处理装置36通过从存储装置35读取控制程序350并执行，作为校准处理部361和摄像头位置检测部362发挥功能。处理装置36的各功能部的详细情况在后面叙述。
B-3：会议用摄像头40的结构
会议用摄像头40包含镜头等受光光学系统、将由受光光学系统会聚的光转换为电信号的摄像元件、用于与个人计算机20的第2通信装置26进行通信的通信装置、存储装置和处理装置等。会议用摄像头40是配置于显示面P并拍摄用户U3的摄像头的一例。摄像元件例如是接收可见光区域的光的CCD图像传感器。会议用摄像头40配置成拍摄据点K3的在线会议的参加者即用户U3和U4。会议用摄像头40向个人计算机20发送与拍摄图像SK对应的图像数据。
B-4：会议用摄像头40与显示面P的位置关系
图5是示意性示出会议用摄像头40与显示面P的位置关系的图。此外，图6是图5的A-A线的剖视图。在本实施方式中，会议用摄像头40配置于墙壁W，该墙壁W设置于据点K3。更详细而言，会议用摄像头40配置成使镜头L从设置于墙壁W的缺口H露出。墙壁W具有露出于室内的表面F1、和与表面F1相反的一侧的背面F2。在背面F2侧设置有位于缺口H的附近的底座D，在底座D上载置会议用摄像头40。另外，会议用摄像头40不限于配置于墙壁W的背面F2，例如也可以安装于墙壁W的表面F1。
在本实施方式中，使用墙壁W作为屏幕，投影仪30投射图像。投影仪30配置成将在墙壁W上露出镜头L的范围例如缺口H的范围包含于显示面P。换言之，会议用摄像头40配置于显示面P。图5的例子是据点K1处的配置例，在从正面观看显示面P的情况下，以镜头L位于稍右侧的方式配置。
C：投影仪30的处理装置36的详细情况
接着，对由投影仪30的处理装置36实现的功能部的详细情况进行说明。如上所述，投影仪30的处理装置36作为校准处理部361和摄像头位置检测部362发挥功能。
C-1：校准处理部361
校准处理部361生成将帧存储器上的坐标与投影仪用摄像头33的拍摄图像上的坐标对应起来的校准数据。通过将帧存储器上的位置与投影仪用摄像头33的拍摄图像上的位置对应起来，例如能够确定投影仪用摄像头33的拍摄图像中显现的物体与投射在显示面P上的投射图像SG的哪个区域重叠。
校准处理部361从存储装置35读出校准图像数据。校准处理部361在帧存储器上展开校准图像数据，生成与校准图像对应的图像信号。通过依照图像信号驱动光学装置34，将校准图像投射于显示面P。校准图像例如是隔开间隔地配置有预先设定的形状的标志的图像。
接着，校准处理部361通过投影仪用摄像头33拍摄包含被投射了校准图像的显示面P的拍摄图像。校准处理部361检测拍摄图像中显现的标志，确定各标志的重心位置作为拍摄图像中的各标志的坐标。校准处理部361将从拍摄图像检测到的标志的坐标与帧存储器上的标志的坐标对应起来。通过该对应，生成将拍摄图像上的坐标与帧存储器上的坐标对应起来的校准数据。所生成的校准数据存储到存储装置35。
C-2：摄像头位置检测部362
摄像头位置检测部362检测表示显示面P上的会议用摄像头40的位置的信息。以下，将表示显示面P上的会议用摄像头40的位置的信息称作“摄像头位置信息”。摄像头位置信息例如能够使用以显示面P的左上的点为基准点且横向为X轴、纵向为Y轴的XY坐标的坐标值。如上所述，投射图像SG能够使用xy坐标，通过坐标(1，1)到坐标(1920，1080)表示。在显示面P上，例如将显示投射图像SG的坐标(1，1)的像素的区域设为坐标(1，1)。由此，能够利用(1，1)到(1920，1080)的坐标确定显示面P上的任意位置。
摄像头位置检测部362例如检测露出于显示面P上的会议用摄像头40的部分的外缘的坐标作为摄像头位置信息。此外，例如在露出于显示面P的会议用摄像头40的部分为圆形的情况下，也可以将该部分的中心位置的坐标和到该部分的外缘的距离设为摄像头位置信息。
摄像头位置检测部362例如使用以下的检测方法1～4中的任意一种来检测摄像头位置信息。
[检测方法1]
检测方法1是使用图案检测的方法。摄像头位置检测部362使用光学装置34，在显示面P上投射格子状的图案。此外，摄像头位置检测部362使用投影仪用摄像头33取得显示面P的拍摄图像。会议用摄像头40的光的反射率与墙壁W的光的反射率不同，因此，在墙壁W与会议用摄像头40的边界，产生图案的变形、缺损。摄像头位置检测部362检测产生了图案的变形、缺损的显示面P的位置作为会议用摄像头40的位置。
[检测方法2]
检测方法2是在会议用摄像头40上设置位置检测用的信标的方法。作为信标，例如能够使用红外光发光元件。在该情况下，假设在投影仪30中，例如，投影仪用摄像头33具有红外线受光功能，或者与投影仪用摄像头33分开地设置有具有红外线受光功能的摄像头。具有红外线受光功能的摄像头的拍摄图像中显现从信标发出的红外光。摄像头位置检测部362检测红外光的位置作为会议用摄像头40的位置。
[检测方法3]
检测方法3是通过图像识别来检测会议用摄像头40的方法。例如，摄像头位置检测部362预先取得表示会议用摄像头40中的露出于显示面P上的部分的形状的形状数据。例如，在显示系统10中，也可以公共地使用预先设定的形状的会议用摄像头40。摄像头位置检测部362取得投影仪用摄像头33的拍摄图像，判断拍摄图像内是否显现与形状数据对应的形状的物体。在显现与形状数据对应的形状的物体的情况下，摄像头位置检测部362检测该物体的位置作为会议用摄像头40的位置。
[检测方法4]
检测方法4是由投影仪用摄像头33检测来自投影仪30的投射光的方法。摄像头位置检测部362对显示面P依次照射激光那样的指向性较高的光。假设例如能够使用显示面P上设定的XY坐标来识别激光的照射位置。在此期间，投影仪用摄像头33继续拍摄。当激光入射到投影仪用摄像头33的镜头时，拍摄图像为过度曝光的状态。摄像头位置检测部362检测得到过度曝光的拍摄图像时的激光的照射位置作为会议用摄像头40的位置。
D：个人计算机20的处理装置28的详细情况
接着，对由个人计算机20的处理装置28实现的功能部的详细情况进行说明。如上所述，个人计算机20的处理装置28作为摄像头位置信息取得部281、用户图像生成部282、数据收发部283、投射图像生成部284、投射图像供给部285和声音再现控制部286发挥功能。
D-1：摄像头位置信息取得部281
摄像头位置信息取得部281取得表示显示面P上的会议用摄像头40的位置的摄像头位置信息。在本实施方式中，摄像头位置信息取得部281经由第2通信装置26取得由摄像头位置检测部362检测到的摄像头位置信息。
D-2：用户图像生成部282
用户图像生成部282根据由会议用摄像头40拍摄到的拍摄图像SK，生成显现用户U3的部分图像SB1和显现用户U4的部分图像SB2。图7是示意性示出拍摄图像SK与部分图像SB1、SB2的关系的图。在会议用摄像头40的拍摄图像SK中显现位于据点K3的用户U3、U4的2个人。用户图像生成部282使用图像识别技术从拍摄图像SK中检测用户U3、U4的面部，生成包含用户U3的面部的部分图像SB1和包含用户U4的面部的部分图像SB2。生成这样的部分图像SB1、SB2是为了减少与其他用户U1、U2的图像排列时的异常感。此外，与拍摄图像SK相比，部分图像SB1、SB2更容易掌握用户U3、U4各自的表情。
另外，当在据点K3加入了用户U3、U4以外的用户的情况下，用户图像生成部282进一步生成显现加入的用户的部分图像。此外，当据点K3仅存在用户U3或者U4中的一方时，根据拍摄图像SK生成显现该用户U3或者U4中的一方的部分图像。
此外，例如在用户U3、U4中的至少一方不愿意在在线会议中显示显现自身的面部的部分图像SB1、SB2的情况或者在线会议是隐私的交流场所的情况下等，例如也可以指定使用模仿自身的化身图像、表示自身的名字或者首字母的字符图像来代替部分图像SB1、SB2。或者，也可以指定使用对部分图像SB1、SB2进行图像加工处理后的图像。图像加工处理例如是将用户U3、U4的面部转换为动物或者插图风格的处理、替换用户U3、U4的面部部位的一部分的处理、模糊处理等。以下，将部分图像SB1、化身图像或者对部分图像SB1进行图像加工处理后的图像等在线会议中与用户U3对应地显示的图像设为“表示用户U3的图像S3”。其他用户U1、U2、U4也同样如此。
D-3：数据收发部283
数据收发部283向会议服务器C发送与由用户图像生成部282生成的表示用户U3的图像S3对应的图像数据、与表示用户U4的图像S4对应的图像数据。
此外，数据收发部283在从据点K3进行数据共享的情况下，向会议服务器C发送共享数据。在本实施方式中，假设在在线会议中从据点K3共享演示资料，用户U3进行与演示资料相关的演示。将显示有演示资料的图像设为演示图像SP。演示图像SP是与用户U3的讲话相关的图像的一例。演示图像SP也可以说是与用户U3的讲话的内容相关的图像、或者与拍摄用户U1～U4中的任意一个而得到的图像不同的图像、或者由用户U3共享的图像、显示有数据文件的图像等。
此外，数据收发部283向会议服务器C发送麦克风24生成的声音数据。与图像S3对应的图像数据、与图像S4对应的图像数据和麦克风24生成的声音数据作为在据点K3生成的数据对应起来。
此外，数据收发部283从会议服务器C接收在其他据点K1、K2拍摄到的图像数据和在其他据点K1、K2收集到的声音数据。在据点K1拍摄到的图像数据是与表示用户U1的图像S1对应的图像数据。在据点K2拍摄到的图像数据是与表示用户U2的图像S2对应的图像数据。在据点K1收集到的声音数据是包含用户U1的讲话的声音数据。在据点K2收集到的声音数据是包含用户U2的讲话的声音数据。在据点K1拍摄到的图像数据与在据点K1收集到的声音数据对应起来。此外，在据点K2拍摄到的图像数据与在据点K2收集到的声音数据对应起来。
此外，从其他据点K1、K2共享了数据的情况下，数据收发部283在从会议服务器C接收共享数据。如上所述，在本实施方式中，假设从据点K3共享演示资料，用户U3进行与演示资料相关的演示，但关于从其他据点K1、K2共享的演示资料，也可以由用户U3进行演示。
D-4：投射图像生成部284
投射图像生成部284生成由投影仪30投射的投射图像SG。投射图像生成部284使用由数据收发部283接收到的在其他据点K1、K2拍摄到的图像数据、与由用户图像生成部282生成的部分图像SB1对应的图像数据、与部分图像SB2对应的图像数据和共享数据来生成投射图像SG。此时，投射图像生成部284根据由摄像头位置信息取得部281取得的摄像头位置信息、会议中的讲话者是用户U1～U4中的哪一个、和构成投射图像SG的图像的种类，决定投射图像SG的布局。
图8示出用户U1的讲话时M1的投射图像SG的布局。在用户U1的讲话时M1，由后述的声音再现控制部286从扬声器23输出经由第1通信装置25取得的来自终端装置T1的声音。关于用户U1是否正在讲话，例如根据在据点K1收集到的声音数据的等级是否为规定值以上来判定。当在据点K1收集到的声音数据的等级为规定值以上的情况下，投射图像生成部284判定为在据点K1拍摄到的图像S1中显现的用户U1正在讲话。假设在用户U1的讲话时M1，例如讲出针对用户U3的演示的提问或者意见。
投射图像SG中包含表示用户U1的图像S1、表示用户U2的图像S2、表示用户U3的图像S3、表示用户U4的图像S4和演示图像SP。演示图像SP是第1图像的一例，图像S1是第2图像的一例。图像S1是拍摄到包含用户U1的面部的范围的图像。图像S1、S2是与由数据收发部283接收到的在其他据点K1、K2拍摄到的图像数据对应的图像。此外，图像S3、S4是由用户图像生成部282生成的部分图像SB1、SB2。投射图像SG也可以说是配置有不同种类的图像的图像。
投射图像生成部284针对用户U1的讲话时M1的投射图像SG，在相对于会议用摄像头40在显示面P上的位置比演示图像SP的位置更近的位置显示表示用户U1的图像S1。即，在用户U1正在讲话的期间内，在显示面P上显示演示图像SP、和配置于相对于会议用摄像头40在显示面P上的位置比演示图像SP的位置更近的位置的图像S1。在用户U1的讲话时M1，用户U3、U4的视线朝向表示用户U1的图像S1。图像S1位于比演示图像SP更接近会议用摄像头40的位置。因此，用户U3、U4的视线朝向接近会议用摄像头40的位置。
由会议用摄像头40拍摄到的拍摄图像SK发送给用户U1、U2。即，数据收发部283向会议服务器C发送在用户U1正在讲话的期间内会议用摄像头40拍摄到的拍摄图像SK。此外，会议服务器C发送给用户U1所使用的终端装置T1。在由会议用摄像头40拍摄到的拍摄图像SK中，用户U3、U4的视线朝向会议用摄像头40的附近。观看该拍摄图像SK的用户U1、U2感觉到一边与用户U3、U4对准视线一边进行会议，能够辅助在线会议中的顺畅交流。
在本实施方式中，投射图像生成部284在用户U1的讲话时M1，将图像S1配置于与会议用摄像头40重叠的位置。即，在用户U1正在讲话的期间内显示图像S1对应于在显示面P上的与会议用摄像头40重叠的位置显示图像S1。由此，与在不与会议用摄像头40重叠的位置显示图像S1相比，使用户U3、U4的视线朝向更接近会议用摄像头40的位置。
另一方面，当图像S1中的显现用户U1的面部的部分与会议用摄像头40重叠时，用户U1的面部的可视性降低，并且观看图像S1的用户U3、U4有可能感觉到不舒适感。因此，投射图像生成部284在将会议用摄像头40与图像S1重叠时，以显现用户U1的部分与会议用摄像头40不重叠的方式配置图像S1。即，图像S1中的与会议用摄像头40重叠的部分是用户U1的面部以外的部分。图像S1中的用户U1的面部的范围例如能够通过面部识别技术等确定。在本实施方式中，投射图像生成部284以会议用摄像头40与显现用户U1的下巴即用户U1的脖子的部分重叠的方式配置图像S1。由此，能够在不降低用户U1的面部的可视性的情况下，使用户U3、U4的视线朝向更接近会议用摄像头40的位置。
此外，在图8中，在用户U1的讲话时M1，表示用户U1的图像S1显示得比表示其他用户U2～U4的图像S2～S4大。换言之，投射图像生成部284在用户U1的讲话时M1，将表示用户U1的图像S1显示得比用户U1未讲话的期间大。在图9中示出用户U1未讲话的期间的投射图像SG。由此，其他用户U2～U4更容易掌握作为讲话者的用户U1的表情。此外，容易确定多个用户U1～U4中的讲话者是谁。不限于此，投射图像生成部284也可以在用户U1的讲话时M1，也使图像S1的大小与其他图像S2～S4的大小相同，仅变更图像S1的位置。
此外，投射图像生成部284对投射图像SG中的与会议用摄像头40重叠的部分进行掩模处理。即，在用户U1正在讲话的期间内显示图像S1包含将与配置有会议用摄像头40的范围重叠的图像S1的部分的亮度显示得比图像S1的其他部分的亮度低。更详细地说，与会议用摄像头40重叠的部分是与露出于墙壁W的表面F1侧的会议用摄像头40的部分重叠的部分。以下，将投射图像SG中的与会议用摄像头40重叠的部分称作“摄像头重叠部分R”。在本实施方式中，掩模处理是使摄像头重叠部分R的亮度比其他部分低的处理，例如是将摄像头重叠部分R设为黑色图像的处理。另外，在本实施方式中，不限于用户U1正在讲话的期间，假设投射图像SG中的摄像头重叠部分R始终被进行掩模处理。
投射图像生成部284例如通过生成将与摄像头重叠部分R对应的部分设为黑色图像并将其他部分设为透明的掩模图像，与配置有图像S1～S4及演示图像SP的图像重叠，使摄像头重叠部分R的亮度比其他部分低。或者，投射图像生成部284也可以通过针对配置有图像S1～S4以及演示图像SP的图像，以使与摄像头重叠部分R对应的部分的亮度降低的方式进行图像处理，使摄像头重叠部分R的亮度比其他部分低。在本实施方式中，假设采用重叠前者的掩模图像的方法。
通过进行掩模处理，能够防止来自投影仪30的投射光入射到会议用摄像头40的镜头L，防止产生过度曝光等摄像不良。更详细地说，通过对摄像头重叠部分R进行掩模处理，投射到摄像头重叠部分R的光量减少，能够防止摄像不良。另外，投射图像SG中的进行掩模处理的范围也可以是包含摄像头重叠部分R且比摄像头重叠部分R宽的范围。
图9示出用户U3的讲话时M2的投射图像SG的布局。用户U3的讲话时M2例如是用户U3参考演示图像SP并向其他用户U1、U2、U4进行演示的情况。投射图像生成部284在用户U3的演示中，使显示面P上的演示图像SP的显示的大小比用户U1的讲话时M1大。即，在用户U3正在讲话的期间内，在显示面P上显示图像S1、和比用户U1讲话的期间内的演示图像SP的大小更大的大小的演示图像SP。
关于用户U3是否正在讲话，例如根据由麦克风24收集到的声音数据的等级是否为规定值以上来判定。在由麦克风24收集到的声音数据的等级为规定值以上的情况下，投射图像生成部284判定为由会议用摄像头40拍摄到的拍摄图像SK中显现的用户U3正在讲话。
可认为演示中的用户U3一边观看显示面P上显示的演示图像SP一边讲话，因此，在用户U3的讲话时M2增大演示图像SP的显示的大小，由此，演示图像SP的可视性提高，能够辅助用户U3的演示。
此外，如果与用户U1的讲话时M1相比，显示面P上的演示图像SP的大小变大，则会议用摄像头40与演示图像SP的距离必然变近。即，在用户U3讲话的期间内显示演示图像SP对应于在相对于会议用摄像头40的位置比用户U1讲话的期间内的演示图像SP的位置更近的位置显示演示图像SP。演示中的用户U3的视线朝向演示图像SP。演示图像SP位于比用户U1的讲话时M1的位置更接近会议用摄像头40的位置。因此，用户U3的视线朝向接近会议用摄像头40的位置。
由会议用摄像头40拍摄到的拍摄图像SK发送给用户U1、U2。即，数据收发部283向会议服务器C发送在用户U3讲话的期间内会议用摄像头40拍摄到的拍摄图像SK。此外，会议服务器C发送给用户U1、U2使用的终端装置T1、T2。在由会议用摄像头40拍摄到的拍摄图像SK中，用户U3的视线朝向会议用摄像头40的附近。观看该拍摄图像SK的用户U1、U2感觉到一边与用户U3对准视线一边接收到演示，能够辅助在线会议中的顺畅交流。
此外，投射图像生成部284在用户U3的讲话时M2，以图像S1～S4和演示图像SP均不与摄像头重叠部分R重叠的方式生成投射图像SG。即，在用户U3讲话的期间内显示图像S1和演示图像SP包含：在不与摄像头重叠部分R重叠的位置显示图像S1和演示图像SP。由此，能够避免图像S1～S4和演示图像SP的可视性因摄像头重叠部分R而降低。另外，在本实施方式中，图像S1～S4以及演示图像SP与摄像头重叠部分R不重叠，但例如也可以将图像S1～S4或者演示图像SP中的至少任意一个的外缘与摄像头重叠部分R重叠配置。这是因为，如果与摄像头重叠部分R重叠的部分为图像的外缘，则图像的可视性极端降低的可能性较低。
图10示出不存在讲话者的状态M3下的投射图像SG的布局。不存在讲话者的状态M3下的投射图像SG的布局与例如图9所示的用户U3的讲话时M2的投射图像SG的布局相同。如图10所示，在不与摄像头重叠部分R重叠的位置显示图像S1～S4和演示图像SP，由此能够避免图像S1～S4和演示图像SP的可视性因摄像头重叠部分R而降低。此外，演示图像SP显示得比用户U1的讲话时M1大，因此，演示图像SP的可视性提高，能够容易进行针对演示图像SP的研究。以下，将图9和图10所示的投射图像SG的布局称作“基准布局”。
图11示出离线的会议时M4的投射图像SG的布局。显示系统10不仅用于在线会议，例如也用于仅由位于据点K3的用户U3、U4以离线的方式进行的会议。在这样的情况下，不需要显示表示未参加会议的用户U1、U2的图像S1、S2。此外，位于据点K3的用户U3、U4能够目视彼此的面部，因此，不需要显示图像S3、S4。即，在离线会议中，在显示面P上仅显示演示图像SP即可。
在离线会议的情况下，投射图像生成部284例如以在不与摄像头重叠部分R重叠的位置以维持纵横比的最大尺寸显示演示图像SP的方式生成投射图像SG。例如在本实施方式中，在从正面观看显示面P的情况下，会议用摄像头40位于稍右侧。因此，显示面P的左侧能够确保较宽的显示区域。投射图像生成部284以显示面P的左上的点为基准，以不与会议用摄像头40重叠的范围的最大尺寸显示演示图像SP。由此，能够提高离线会议中的演示图像SP的可视性。
D-5：投射图像供给部285
投射图像供给部285向投影仪30供给由投射图像生成部284生成的投射图像SG的图像数据。接收到图像数据的供给的投影仪30根据图像数据，驱动光学装置34，使显示面P显示投射图像SG。
D-6：声音再现控制部286
声音再现控制部286控制来自扬声器23的声音输出。声音再现控制部286以输出由数据收发部283接收到的在其他据点K1、K2收集到的声音数据的方式控制扬声器23。
E：处理装置28的动作
图12是示出处理装置28依照控制程序270执行的显示方法的流程的流程图。当启动了显示系统10时，处理装置28通过作为摄像头位置信息取得部281发挥功能，取得表示显示面P上的会议用摄像头40的位置的摄像头位置信息(步骤S100)。处理装置28通过作为投射图像生成部284发挥功能，根据摄像头位置信息，确定投射图像SG中的摄像头重叠部分R，生成将摄像头重叠部分R设为黑色图像的掩模图像(步骤S102)。处理装置28作为投射图像供给部285发挥功能，由此，所生成的掩模图像被供给到投影仪30。投影仪30在显示面P上显示掩模图像。
处理装置28等待直到指示图像的投射(步骤S104：否)。当指示了图像的投射时(步骤S104：是)，处理装置28判断是否是用于在线会议的图像投射(步骤S105)。关于是否是用于在线会议用的图像投射，例如能够根据进行图像投射的应用是否是在线会议应用来判断。
在投射图像SG不是在线会议用的图像的情况下(步骤S105：否)、即是离线的图像投射的情况下，例如，如图11所示，投射图像生成部284以在不与摄像头重叠部分R重叠的位置以最大尺寸显示演示图像SP的方式生成投射图像SG(步骤S106)。处理装置28作为投射图像供给部285发挥功能，由此，向投影仪30供给投射图像SG(步骤S107)，结束本流程图的处理。投影仪30在显示面P上显示投射图像SG。
另一方面，在投射图像SG是在线会议用的图像的情况下(步骤S105：是)，处理装置28作为用户图像生成部282发挥功能，由此，根据会议用摄像头40的拍摄图像SK，生成与表示用户U3的图像S3对应的图像数据和与表示用户U4的图像S4对应的图像数据(步骤S108)。处理装置28作为数据收发部283发挥功能，由此，与会议服务器C连接而收发图像数据和声音数据(步骤S109)。更详细地说，处理装置28接收在其他据点K1、K2拍摄到的图像数据和在其他据点K1、K2收集到的声音数据，并且发送在据点K3拍摄到的图像数据和在据点K3收集到的声音数据。处理装置28作为声音再现控制部286发挥功能，由此，从扬声器23输出在其他据点K1、K2收集到的声音数据。
处理装置28根据在据点K1～K3收集到的声音数据，判断在在线会议中是否存在讲话者(步骤S110)。在不存在讲话者的情况下(步骤S110：否)，处理装置28作为投射图像生成部284发挥功能，由此，将图像S1～S4和演示图像SP配置于图9和图10所示的基准布局，以与掩模图像重叠的方式生成投射图像SG(步骤S116)。处理装置28作为投射图像供给部285发挥功能，由此，向投影仪30供给投射图像SG(步骤S118)。投影仪30在显示面P上显示投射图像SG。
另一方面，在步骤S110中存在讲话者的情况下(步骤S110：是)，处理装置28判断讲话者是否是其他据点K1、K2的用户U1、U2(步骤S112)。在讲话者是其他据点K1、K2的用户U1、U2的情况下(步骤S112：是)，处理装置28作为投射图像生成部284发挥功能，由此，以讲话者的图像与会议用摄像头40重叠的方式配置图像S1～S4，以与掩模图像重叠的方式生成投射图像SG(步骤S114)。处理装置28作为投射图像供给部285发挥功能，由此，向投影仪30供给投射图像SG(步骤S118)。投影仪30在显示面P上显示投射图像SG。
此外，在讲话者不是其他据点K1、K2的用户U1、U2的情况下(步骤S112：否)即，是据点K3的用户U3、U4的情况下，处理装置28作为投射图像生成部284发挥功能，由此，将图像S1～S4配置成基准布局，以与掩模图像重叠的方式生成投射图像SG(步骤S116)。处理装置28作为投射图像供给部285发挥功能，由此，向投影仪30供给投射图像SG(步骤S118)。投影仪30在显示面P上显示投射图像SG。
处理装置28返回步骤S106，反复进行以下的处理，直到在线会议结束(步骤S120：否)。当在线会议结束时(步骤S120：是)，处理装置28结束本流程图的处理。
F：实施方式的总结
如以上所说明的那样，在实施方式的显示方法中，在将不同种类的图像混合存在的投射图像SG显示在配置有会议用摄像头40的显示面P时，根据图像的种类、讲话者来变更布局。由此，能够提高投射图像SG的可视性，并且能够辅助投射图像SG的内容的理解。因此，例如与不依赖于图像的种类而在中央较大显示1个图像的布局等相比，能够以改善后的布局显示投射图像SG。
在实施方式的显示方法中，使用户U3的讲话时M2的演示图像SP的大小比用户U1的讲话时M1的演示图像SP的大小更大。由此，能够提高显示面P上显示的演示图像SP的可视性，能够辅助用户U3的讲话即演示。
此外，在实施方式的显示方法中，在输出用户U1的声音的期间内，在相对于会议用摄像头40的位置比显示演示图像SP的位置更近的位置显示表示用户U1的图像S1。此外，在实施方式的显示方法中，向用户U1所使用的终端装置T1发送在输出用户U1的声音的期间内会议用摄像头40取得的图像S3、S4。一般而言，在输出用户U1的声音的期间内，观看显示面P的用户U3、U4注视表示用户U1的图像S1，因此，通过将图像S1配置于上述的位置，用户U3、U4的视线朝向会议用摄像头40的附近。因此，接收到会议用摄像头40的拍摄图像SK的发送的用户U1识别出用户U3、U4的视线朝向自身的附近，能够减少因视线的偏移而引起的不舒适感。
此外，在实施方式的显示方法中，输出用户U3的声音的期间与输出用户U1的声音的期间相比，在更接近会议用摄像头40的位置显示演示图像SP。此外，在实施方式的显示方法中，向用户U1使用的终端装置T1发送在输出用户U3的声音的期间内会议用摄像头40取得的图像S3、S4。可认为用户U3在演示中观看演示图像SP，因此，用户U3的视线朝向接近会议用摄像头40的部位。此时，向用户U1的终端装置T1发送由会议用摄像头40拍摄到的图像S3，由此，用户U1能够得到用户U3一边朝向自身一边讲话这样的感觉。因此，即使在在线会议中，也能够实现如同实际见面并进行会话那样的交流。
此外，在实施方式的显示方法中，在输出用户U1的声音的期间内，在显示面P的与会议用摄像头40重叠的位置显示图像S1。由此，用户U3、U4的视线朝向更接近会议用摄像头40的位置。因此，接收到会议用摄像头40的拍摄图像SK的发送的用户U1识别出用户U3、U4的视线朝向更靠自身的附近，能够更加减少因视线的偏移而引起的不舒适感。
此外，在实施方式的显示方法中，将图像S1中的与会议用摄像头40重叠的部分设为用户U1的面部以外的部分。是图像S1中的用户U3、U4最注视的部分即用户U1的面部的部分。通过将与会议用摄像头40重叠的部分设为用户U1的面部以外的部分，能够避免用户U1的面部的可视性因会议用摄像头40而降低。
此外，在实施方式的显示方法中，将与会议用摄像头40重叠的图像S1的部分的亮度显示得比图像S1的其他部分的亮度低。由此，能够减少入射到会议用摄像头40的镜头L的投影仪30的投射光的亮度，能够防止会议用摄像头40的拍摄图像SK的摄像不良。
此外，在实施方式的显示方法中，在用户U3正在讲话的期间内，将图像S1～S4和演示图像SP显示于不与会议用摄像头40重叠的位置。由此，能够提高图像S1～S4和演示图像SP的可视性。
此外，实施方式的显示系统10具有配置于显示面P并拍摄用户U3的会议用摄像头40、以及与用户U1的终端装置T1进行通信的第1通信装置25、在显示面P上显示图像的投影仪30、扬声器23、控制第1通信装置25、投影仪30和扬声器23的处理装置28、36。处理装置28、36在将不同种类的图像混合存在的投射图像SG显示在配置有会议用摄像头40的显示面P时，根据图像的种类、讲话者来变更布局。由此，能够提高投射图像SG的可视性，并且能够辅助投射图像SG的内容的理解。因此，例如与不依赖于图像的种类而在中央较大显示1个图像的布局等相比，能够以改善后的布局显示投射图像SG。
此外，实施方式的显示系统10使用户U3的讲话时M2的演示图像SP的大小比用户U1的讲话时M1的演示图像SP的大小更大。由此，能够提高显示面P显示的演示图像SP的可视性，能够辅助用户U3的讲话即演示。
此外，实施方式的显示系统10在输出用户U1的声音的期间内，在相对于会议用摄像头40的位置比显示演示图像SP的位置更近的位置显示表示用户U1的图像S1。此外，在实施方式的显示方法中，向用户U1使用的终端装置T1发送在输出用户U1的声音的期间内会议用摄像头40取得的图像S3、S4。一般而言，在输出用户U1的声音的期间内，观看显示面P的用户U3、U4注视表示用户U1的图像S1，因此，通过将图像S1配置于上述的位置，用户U3、U4的视线朝向会议用摄像头40的附近。因此，接收到会议用摄像头40的拍摄图像SK的发送的用户U1识别出用户U3、U4的视线朝向自身的附近，能够减少因视线的偏移而引起的不舒适感。
此外，实施方式的程序在将不同种类的图像混合存在的投射图像SG显示在配置有会议用摄像头40的显示面P时，根据图像的种类、讲话者来变更布局。由此，能够提高投射图像SG的可视性，并且能够辅助投射图像SG的内容的理解。因此，例如与不依赖于图像的种类而在中央较大显示1个图像的布局等相比，能够以改善后的布局显示投射图像SG。
此外，实施方式的程序使用户U3的讲话时M2的演示图像SP的大小比用户U1的讲话时M1的演示图像SP的大小更大。由此，能够提高显示面P显示的演示图像SP的可视性，能够辅助用户U3的讲话即演示。
此外，实施方式的程序在输出用户U1的声音的期间内，在相对于会议用摄像头40的位置比显示演示图像SP的位置更近的位置显示表示用户U1的图像S1。此外，在实施方式的显示方法中，向用户U1使用的终端装置T1发送在输出用户U1的声音的期间内会议用摄像头40取得的图像S3、S4。一般而言，在输出用户U1的声音的期间内，观看显示面P的用户U3、U4注视表示用户U1的图像S1，因此，通过将图像S1配置于上述的位置，用户U3、U4的视线朝向会议用摄像头40的附近。因此，接收到会议用摄像头40的拍摄图像SK的发送的用户U1识别出用户U3、U4的视线朝向自身的附近，能够减少因视线的偏移而引起的不舒适感。
G：变形例
以下，示出上述的实施方式中的变形的方式。也可以在不相互矛盾的范围内适当地合并从以下的变形的方式中任意地选择出的2个以上的方式。
G1：变形例1
在本实施方式中，对在显示系统10与终端装置T1、T2之间实施在线会议的情况进行了说明。不限于此，例如也可以在显示系统10与其他显示系统之间实施在线会议。在该情况下，其他显示系统中的投射图像SG的基准布局和讲话时的投射图像SG的布局是根据其他显示系统中的会议用摄像头的配置来决定的。
G2：变形例2
个人计算机20的处理装置28执行的各功能部的处理的至少一部分也可以由投影仪30的处理装置36、会议用摄像头40的处理装置或者会议服务器C的处理装置执行。此外，投影仪30的处理装置36执行的各功能部的处理的至少一部分也可以由个人计算机20的处理装置28、会议用摄像头40的处理装置或者会议服务器C的处理装置执行。例如，在使用多台投影仪30实施向巨大的屏幕投射图像的多投影的情况下，在会议服务器C中生成投射图像SG是有效的。在该情况下，会议服务器C按照各投影仪30的每个投射区域分割投射图像SG，向各个投影仪30发送与分割后的投射图像SG对应的图像数据。
G3：变形例3
在本实施方式中，显示系统10具有个人计算机20、投影仪30和会议用摄像头40。不限于此，例如，投影仪30也可以具有个人计算机20的功能。在该情况下，投影仪30能够与网络N连接，并且能够取得会议用摄像头40的拍摄图像。
G4：变形例4
在本实施方式中，假设在投射图像SG上显示表示据点K3的用户U3、U4的图像S3、S4。不限于此，表示据点K3的用户U3、U4的图像S3、S4也可以不显示在投射图像SG上。这是因为，位于据点K3的用户U3、U4能够目视彼此的面部。此外，通过不显示图像S3、S4，能够增大投射图像SG中的其他图像的投射区域。
此外，在本实施方式中，根据会议用摄像头40的拍摄图像SK生成部分图像SB1、SB2，生成表示用户U3的图像S3和表示用户U4的图像S4。不限于此，也可以将显现多个用户U3、U4的拍摄图像SK直接作为表示据点K3的图像显示在投射图像SG上。
G5：变形例5
在本实施方式中，投影仪30是显示装置的一例。不限于此，作为显示装置，例如也可以使用至少1个平板显示器。例如，也可以将多个平板显示器排列在同一平面上，在其间隙配置会议用摄像头40。此外，例如也可以在平板显示器的表面配置会议用摄像头40。

Claims (8)

1.一种显示方法，包含：
取得表示配置于显示面并拍摄第1用户的摄像头在所述显示面上的位置的信息；
在第2用户正在讲话的期间内，在所述显示面上显示与所述第1用户的讲话相关的第1图像和配置于比所述第1图像的位置更接近所述摄像头在所述显示面上的位置的位置的表示所述第2用户的第2图像；
向所述第2用户使用的终端装置发送在所述第2用户正在讲话的期间内所述摄像头取得的图像；以及
在所述第1用户正在讲话的期间内，在所述显示面上显示所述第2图像和大小比所述第2用户正在讲话的期间内的所述第1图像的大小大的所述第1图像。
2.根据权利要求1所述的显示方法，其中，
在所述第1用户正在讲话的期间内显示所述第1图像包含：
在比所述第2用户正在讲话的期间内的所述第1图像的位置更接近所述摄像头的位置的位置显示所述第1图像，
该显示方法还包含：
向所述第2用户使用的终端装置发送在所述第1用户正在讲话的期间内所述摄像头取得的图像。
3.根据权利要求1或2所述的显示方法，其中，
在所述第2用户正在讲话的期间内显示所述第2图像包含：
在所述显示面的与所述摄像头重叠的位置显示所述第2图像。
4.根据权利要求3所述的显示方法，其中，
所述第2图像是拍摄包含所述第2用户的面部的范围而得到的图像，
所述第2图像中的与配置有所述摄像头的范围重叠的部分是所述第2用户的面部以外的部分。
5.根据权利要求3所述的显示方法，其中，
在所述第2用户正在讲话的期间内显示所述第2图像包含：
将与配置有所述摄像头的范围重叠的所述第2图像的部分的亮度显示得比所述第2图像的其他部分的亮度低。
6.根据权利要求1或2所述的显示方法，其中，
在所述第1用户正在讲话的期间内显示所述第1图像和所述第2图像包含：
在所述显示面的不与配置有所述摄像头的范围重叠的位置显示所述第1图像和所述第2图像。
7.一种显示系统，其具有：
至少1个通信接口，其与配置于显示面并拍摄第1用户的摄像头及第2用户的终端装置进行通信；
显示装置，其在所述显示面上显示图像；
扬声器；以及
至少1个处理装置，其控制所述通信接口、所述显示装置和所述扬声器，
所述至少1个处理装置取得表示所述摄像头在所述显示面上的位置的信息，
所述至少1个处理装置在所述第2用户正在讲话的期间内，通过所述显示装置在所述显示面上显示与所述第1用户的讲话相关的第1图像和配置于比所述第1图像的位置更接近所述摄像头在所述显示面上的位置的位置的表示所述第2用户的第2图像，
所述至少1个处理装置经由所述通信接口向所述第2用户使用的终端装置发送在所述第2用户正在讲话的期间内所述摄像头取得的图像，
所述至少1个处理装置在所述第1用户正在讲话的期间内，通过所述显示装置在所述显示面上显示所述第2图像和大小比所述第2用户正在讲话的期间内的所述第1图像的大小大的所述第1图像。
8.一种记录有程序的记录介质，该程序使计算机执行：
取得表示配置于显示面并拍摄第1用户的摄像头在所述显示面上的位置的信息；
在第2用户正在讲话的期间内，在所述显示面上显示与所述第1用户的讲话相关的第1图像和配置于比所述第1图像的位置更接近所述摄像头在所述显示面上的位置的位置的表示所述第2用户的第2图像；
向所述第2用户使用的终端装置发送在所述第2用户正在讲话的期间内所述摄像头取得的图像；以及
在所述第1用户正在讲话的期间内，在所述显示面上显示所述第2图像和大小比所述第2用户正在讲话的期间内的所述第1图像的大小大的所述第1图像。
CN202310287558.1A 2022-03-23 2023-03-22 显示方法、显示系统和记录有程序的记录介质 Pending CN116805962A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022046486A JP7459890B2 (ja) 2022-03-23 2022-03-23 表示方法、表示システムおよびプログラム
JP2022-046486 2022-03-23

Publications (1)

Publication Number Publication Date
CN116805962A true CN116805962A (zh) 2023-09-26

Family

ID=88078927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310287558.1A Pending CN116805962A (zh) 2022-03-23 2023-03-22 显示方法、显示系统和记录有程序的记录介质

Country Status (3)

Country Link
US (1) US20230308600A1 (zh)
JP (1) JP7459890B2 (zh)
CN (1) CN116805962A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7505518B2 (ja) * 2022-03-18 2024-06-25 セイコーエプソン株式会社 表示方法、表示システムおよびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012008972A1 (en) 2010-07-16 2012-01-19 Hewlett-Packard Development Company, L.P. Methods and systems for establishing eye contact and accurate gaze in remote collaboration
JP2016144071A (ja) 2015-02-03 2016-08-08 株式会社リコー 位置制御装置、プログラム、画像表示装置および画像表示方法

Also Published As

Publication number Publication date
JP7459890B2 (ja) 2024-04-02
US20230308600A1 (en) 2023-09-28
JP2023140584A (ja) 2023-10-05

Similar Documents

Publication Publication Date Title
US8760399B2 (en) Display system, display device and display method
US7652679B2 (en) Image display method, program, image display apparatus and image display system
US9426379B2 (en) Photographing unit, cooperative photographing method, and recording medium having recorded program
CN103279313B (zh) 显示装置以及显示控制方法
JP2019030007A (ja) 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法
CN108293104B (zh) 信息处理系统、无线终端和信息处理方法
US10924718B2 (en) Image processing device and method
US20130057641A1 (en) Television communication system, terminal, and method
CN106851234A (zh) 投影仪以及投影仪的控制方法
CN116805962A (zh) 显示方法、显示系统和记录有程序的记录介质
JP2009071478A (ja) 情報通信端末および情報通信システム
JP2020198516A (ja) 撮像装置、画像処理方法、プログラム
CN116781874A (zh) 显示方法、显示系统和记录有程序的记录介质
CN107239178A (zh) 显示系统、信息处理装置、投影仪及信息处理方法
JP2008187362A (ja) プロジェクタおよび投写画像調整方法
US20120127280A1 (en) Apparatus and method for generating three dimensional image in portable terminal
JP4595313B2 (ja) 撮像表示装置及び方法、画像送受信システム
CN113163181A (zh) 投影装置及应用其的投影显示系统
JP6409301B2 (ja) 電子機器
KR20190098583A (ko) 이미지 표시를 제어하는 전자 장치 및 방법
JP6115090B2 (ja) 表示制御装置及びプログラム
JP2018159835A (ja) 投影装置
JP6531770B2 (ja) 表示制御装置、表示制御方法、及びプログラム
JP2012182766A (ja) 会議システム、会議システムの制御方法、及びプログラム
JP2004252118A (ja) カメラ機能内蔵液晶プロジェクタにより投写映像と手書き画像を合成してパソコンに取り込む方法、及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination