CN116781874A - 显示方法、显示系统和记录有程序的记录介质 - Google Patents
显示方法、显示系统和记录有程序的记录介质 Download PDFInfo
- Publication number
- CN116781874A CN116781874A CN202310266389.3A CN202310266389A CN116781874A CN 116781874 A CN116781874 A CN 116781874A CN 202310266389 A CN202310266389 A CN 202310266389A CN 116781874 A CN116781874 A CN 116781874A
- Authority
- CN
- China
- Prior art keywords
- image
- user
- camera
- display
- conference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims description 104
- 238000004891 communication Methods 0.000 claims description 41
- 230000002159 abnormal effect Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 23
- 230000003287 optical effect Effects 0.000 description 22
- 230000000875 corresponding effect Effects 0.000 description 21
- 238000001514 detection method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
- H04L65/1089—In-session procedures by adding media; by removing media
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
显示方法、显示系统和记录有程序的记录介质。减轻因视线的朝向相对于摄像头偏移而引起的异常感。显示方法包含:在配置有摄像头的显示面上显示表示第1用户的第1图像和表示第2用户的第2图像;取得表示所述显示面上的所述摄像头的位置的信息;输出所述第1用户的声音;在输出所述第1用户的声音的期间内,在比显示所述第2图像的位置更接近所述摄像头的位置的位置显示所述第1图像;以及向所述第1用户使用的终端装置发送在输出所述第1用户的声音的期间内所述摄像头取得的图像。
Description
技术领域
本发明涉及显示方法、显示系统和记录有程序的记录介质。
背景技术
以往,通过利用网络连接远离的据点之间并收发位于各个据点的人物的图像和声音来实现交流的技术正在普及。例如,下述专利文献1公开了如下的虚拟空间连接装置:在第1空间和远离第1空间的第2空间中,向本空间输出另一个空间的拍摄图像和声音,由此虚拟地连接第1空间和第2空间。配置于第1空间的虚拟空间连接装置具有:第1摄像部,其配置于第1屏幕的背面侧,从第1屏幕侧拍摄第1空间;以及第1投影仪,其设置于第1屏幕的侧方。
专利文献1:日本特开2021-176212号公报
在上述那样的远程间的交流中,使用拍摄用户的摄像头和显示从对方发送的图像的显示装置。在专利文献1的例子中,摄像头配置于屏幕,拍摄另一个空间,由此得到连接了本空间与另一个空间那样的现场感。但是,摄像头的配置以及向屏幕输出的图像的配置等不限于与专利文献1相同。在此,用户一般在观看显示有正在讲话的对方的图像时,将眼睛朝向对方的面部。另一方面,在显示面上显示对方的面部的位置与摄像头的位置如上述那样存在偏移。因此,根据摄像头的配置和向屏幕输出的图像的配置等的不同,有时在对方观看摄像头的拍摄图像时,看起来用户的视线朝向偏移的位置,给对方带来异常感。
发明内容
本发明的一个方式的显示方法包含:在配置有摄像头的显示面上显示表示第1用户的第1图像和表示第2用户的第2图像;取得表示所述显示面上的所述摄像头的位置的信息;输出所述第1用户的声音;在输出所述第1用户的声音的期间内,在比显示所述第2图像的位置更接近所述摄像头的位置的位置显示所述第1图像;以及向所述第1用户使用的终端装置发送在输出所述第1用户的声音的期间内所述摄像头取得的图像。
本发明的一个方式的显示系统具有:至少1个通信接口,其与配置于显示面的摄像头及第1用户的终端装置进行通信;显示装置,其在所述显示面上显示图像;扬声器;以及至少1个处理装置,其控制所述通信接口、所述显示装置和所述扬声器,所述至少1个处理装置通过所述显示装置在所述显示面上显示经由所述通信接口取得的表示所述第1用户的第1图像和表示与所述第1用户不同的第2用户的第2图像,所述至少1个处理装置取得表示所述显示面上的所述摄像头的位置的信息,所述至少1个处理装置从所述扬声器输出经由所述通信接口取得的来自所述终端装置的声音,所述至少1个处理装置在输出所述声音的期间内,通过所述显示装置在比显示所述第2图像的位置更接近所述摄像头的位置的位置显示所述第1图像,所述至少1个处理装置经由所述通信接口向所述终端装置发送在输出所述声音的期间内所述摄像头取得的图像。
本发明的一个方式是记录有程序的记录介质,该程序使计算机执行:在配置有摄像头的显示面上显示表示第1用户的第1图像和表示第2用户的第2图像;取得表示所述显示面上的所述摄像头的位置的信息;输出所述第1用户的声音;在输出所述第1用户的声音的期间内,在比显示所述第2图像的位置更接近所述摄像头的位置的位置显示所述第1图像;以及向所述第1用户使用的终端装置发送在输出所述第1用户的声音的期间内所述摄像头取得的图像。
附图说明
图1是示意性示出包含实施方式的显示系统10的会议系统1的图。
图2是示出显示系统10的结构的框图。
图3是示出个人计算机20的结构的框图。
图4是示出投影仪30的结构的框图。
图5是示意性示出会议用摄像头40与显示面P的位置关系的图。
图6是图5的A-A线的剖视图。
图7是示意性示出拍摄图像SK与部分图像SB1、SB2的关系的图。
图8示出基准状态M1下的投射图像SG的布局。
图9示出用户U1的讲话时M2的投射图像SG。
图10示出用户U3的讲话时M3的投射图像SG。
图11是示出处理装置28依照控制程序270执行的显示方法的流程的流程图。
标号说明
1:会议系统;10:显示系统;20:个人计算机;21:操作装置;22:显示器;23:扬声器;24:麦克风;25:第1通信装置;26:第2通信装置;27:存储装置;28:处理装置;30:投影仪;31:操作装置;32:通信装置;33:投影仪用摄像头;34:光学装置;35:存储装置;36:处理装置;40:会议用摄像头;281:摄像头位置信息取得部;282:用户图像生成部;283:数据收发部;284:投射图像生成部;285:投射图像供给部;286:声音再现控制部;361:校准处理部;362:摄像头位置检测部;C:会议服务器;K1~K3:据点;N:网络;P:显示面;S1~S4:图像;T1、T2:终端装置;U1~U4:用户。
具体实施方式
以下,参照附图说明本发明的优选实施方式。另外,在图中,各部件的尺寸或者比例尺与实际适当地不同,还存在为了容易理解而示意性示出的部分。此外,在以下的说明中,只要没有特别限定本发明的主旨的记载,则本发明的范围不限于这些方式。
A:显示系统10的概要
图1是示意性示出包含实施方式的显示系统10的会议系统1的图。会议系统1是用于进行位于不同据点K1~K3的用户U1~U4所参加的在线会议的系统。会议系统1包含显示系统10、终端装置T1、T2和会议服务器C。终端装置T1、T2例如是个人计算机、平板终端、智能手机等具有通信功能的信息处理装置。
显示系统10、终端装置T1、T2和会议服务器C经由网络N连接。终端装置T1配置于据点K1。在据点K1有用户U1。终端装置T2配置于据点K2。在据点K2有用户U2。显示系统10配置于据点K3。在据点K3有用户U3和U4。用户U1是第1用户的一例,用户U2是第2用户的一例。
在线会议例如使用在线会议应用来进行。在终端装置T1、T2和图2所示的显示系统10的个人计算机20中执行在线会议应用。当在线会议应用上例如用户U1请求举办会议时,向会议服务器C通知会议的举办请求。会议服务器C与举办请求对应地发布URL(UniformResource Locator)。URL与虚拟地设置于会议服务器C上的会议室的识别信息对应。用户U1将所发布的URL保存到终端装置T1。此外,用户U1通过电子邮件等向用户U2~U4通知URL。
当到达会议的预定时刻时,在终端装置T1、T2和个人计算机20中,启动在线会议应用而与由URL所示的连接目的地连接。在线会议应用向会议服务器C发送在本据点拍摄到的图像数据和在本据点收集到的声音数据。此外,在线会议应用从会议服务器C接收在其他据点拍摄到的图像数据和在其他据点收集到的声音数据,并根据这些数据输出图像和声音。由此,在据点K1~K3之间实现使用了图像和声音的在线会议。
B:显示系统10的详细情况
图2是示出显示系统10的结构的框图。显示系统10具有个人计算机20、投影仪30和会议用摄像头40。
B-1:个人计算机20的结构
图3是示出个人计算机20的结构的框图。也可以使用平板终端、智能手机等其他信息处理装置作为终端装置,代替个人计算机20。
个人计算机20具有操作装置21、显示器22、扬声器23、麦克风24、第1通信装置25、第2通信装置26、存储装置27和处理装置28。
操作装置21是用于受理来自用户U3、U4的操作的装置。操作装置21例如是键盘或者鼠标。此外,操作装置21也可以使用显示器22与操作装置21成为一体的触摸面板。
显示器22是对外部显示信息的显示设备,例如是液晶显示面板、有机EL(Electro-Luminescence)显示面板等各种显示面板。
扬声器23产生基于声音数据的声音。扬声器23不限于内置于个人计算机20,也可以通过有线或无线来连接与个人计算机20分体的扬声器23。
麦克风24检测周围的声音并作为声音数据输出。麦克风24不限于内置于个人计算机20,也可以通过有线或无线来连接与个人计算机20分体的麦克风24。
第1通信装置25是用于与其他终端装置进行通信的接口,该其他终端装置与网络N连接。在本实施方式中,其他终端装置是会议服务器C。第1通信装置25例如通过Wi-Fi等通信方式与无线LAN(Local Area Network)路由器进行通信。Wi-Fi是注册商标。无线LAN路由器是具有与无线LAN接入点及互联网的调解功能的无线LAN设备。另外,第1通信装置25也可以通过有线LAN与网络N连接。第1通信装置25是与用户U1的终端装置T1进行通信的通信接口的一例。
第2通信装置26是用于与投影仪30及会议用摄像头40等位于个人计算机20附近的设备进行通信的接口。第2通信装置26例如是无线或者有线的LAN、Bluetooth、USB(Universal Serial Bus)、HDMI(High Definition Multimedia Interface)等接口。Bluetooth、USB和HDMI分别是注册商标。第2通信装置26在无线的情况下具有天线,在有线的情况下具有连接器等接口和对经由接口接收到的信号进行电处理的接口电路。第2通信装置26是与会议用摄像头40进行通信的通信接口的一例。
存储装置27是处理装置28能读取的记录介质。存储装置27例如包含非易失性存储器和易失性存储器。非易失性存储器例如可举出ROM(Read Only Memory)、EPROM(ErasableProgrammable Read Only Memory)和EEPROM(Electrically Erasable ProgrammableRead Only Memory)。易失性存储器例如可举出RAM。
存储装置27存储由处理装置28执行的控制程序270和处理装置28所使用的各种数据272。控制程序270例如包含操作系统和多个应用程序。应用程序包含执行在线会议应用的程序。
处理装置28例如由单个或多个处理器构成。列举一例,处理装置28由单个或多个CPU(Central Processing Unit)构成。处理装置28的功能的一部分或全部也可以由DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等电路构成。处理装置28并形或者依次执行各种处理。处理装置28是控制第1通信装置25和扬声器23的处理装置的一例。
处理装置28通过从存储装置27读取控制程序270并执行,作为摄像头位置信息取得部281、用户图像生成部282、数据收发部283、投射图像生成部284、投射图像供给部285和声音再现控制部286发挥功能。处理装置28的各功能部的详细情况在后面叙述。处理装置28是控制装置的一例。
B-2:投影仪30的结构
图4是示出投影仪30的结构的框图。投影仪30具有操作装置31、通信装置32、投影仪用摄像头33、光学装置34、存储装置35和处理装置36。投影仪30是在显示面P上显示图像的显示装置的一例。
操作装置31是用于受理来自用户U3、U4的操作的装置。操作装置31例如是各种操作按钮、操作键或触摸面板。操作装置31例如设置于投影仪30的壳体。此外,操作装置31也可以是与投影仪30的壳体分开设置的遥控器。
通信装置32是用于与个人计算机20等位于投影仪30的附近的设备进行通信的接口。通信装置32例如是无线或者有线的LAN、Bluetooth、USB、HDMI等接口。Bluetooth、USB和HDMI分别是注册商标。通信装置32在无线的情况下具有天线,在有线的情况下具有连接器等接口和对经由接口接收到的信号进行电处理的接口电路。
投影仪用摄像头33包含镜头等受光光学系统和将由受光光学系统会聚的光转换为电信号的摄像元件等,并生成与拍摄图像对应的图像数据。摄像元件例如是接收可见光区域的光的CCD(Charge Coupled Device)图像传感器。投影仪用摄像头33将由光学装置34显示图像的显示面P的整体包含在拍摄范围中。
投影仪用摄像头33也可以与投影仪30的其他要素分开设置。在该情况下,投影仪用摄像头33和投影仪30也可以以能够收发数据的方式通过有线或者无线的接口相互连接。此外,在该情况下,校准了投影仪用摄像头33的拍摄范围与光学装置34的显示面P的位置关系。
光学装置34根据来自处理装置36的图像信号,将投射图像SG投射到显示面P。在本实施方式中,显示面P是墙壁W中的可使用光学装置34对投射图像SG进行投射的最大范围。显示面P例如在图5中示出。光学装置34具有光源341、光调制装置342和投射光学系统343。
光源341例如包含具有卤素灯、氙气灯、超高压汞灯、LED(Light Emitting Diode)或者激光光源等。光源341例如分别射出红色、绿色和蓝色的光,或者射出白色的光。在光源341射出白色的光的情况下,从光源341射出的光利用未图示的积分器光学系统减少亮度分布的偏差,然后,被未图示的颜色分离光学系统分离为红色、绿色和蓝色的光而入射到光调制装置342。
光调制装置342包含分别与红色、绿色及蓝色对应地设置的3个光调制元件。光调制元件分别包含例如透射型液晶面板、反射型液晶面板或者DMD(数字微镜器件)等。光调制元件根据来自处理装置36的图像信号分别调制该红色、绿色和蓝色的光而生成各色的图像光。由光调制装置342生成的各色的图像光通过未图示的颜色合成光学系统来合成,成为全彩色的图像光。另外,光调制装置342不限于此,也可以使用单板的液晶面板、DMD等以时分方式射出各色的图像光,由此看到全彩色的图像光。
投射光学系统343使该全彩色的图像光成像并投射于屏幕。投射光学系统343是包含至少1个投射镜头的光学系统,也可以包含变焦镜头或聚焦镜头等。
存储装置35是处理装置36可读取的记录介质。存储装置35例如包含非易失性存储器和易失性存储器。非易失性存储器例如可举出ROM、EPROM和EEPROM。易失性存储器例如可举出RAM。
存储装置35存储由处理装置36执行的控制程序350和处理装置36所使用的各种数据352。控制程序350由处理装置36执行。控制程序350例如包含操作系统和多个应用程序。
此外,在本实施方式中,存储装置35的一部分存储区域作为帧存储器发挥功能。帧存储器存储由光学装置34投射的投射图像SG作为1个画面的图像数据。另外,帧存储器也可以与存储控制程序350等的存储装置35分开设置。
在本实施方式中,能够投射横1920像素、纵1080像素的图像作为投射图像SG。因此,能够使用以投射图像SG的左上的点为基准点且横向为x轴、纵向为y轴的xy坐标来识别各像素。例如,在设左上的像素为坐标(1,1)时,右下的像素成为坐标(1920,1080)。关于帧存储器的坐标,也可以由xy坐标(x,y)表示。
处理装置36例如由单个或多个处理器构成。列举一例,处理装置36由单个或多个CPU构成。处理装置36的功能的一部分或者全部也可以由DSP、ASIC、PLD、FPGA等电路构成。处理装置36并行或者依次执行各种处理。处理装置36是控制投影仪30的处理装置的一例。
处理装置36通过从存储装置35读取控制程序350并执行,作为校准处理部361和摄像头位置检测部362发挥功能。处理装置36的各功能部的详细情况在后面叙述。
B-3:会议用摄像头40的结构
会议用摄像头40包含镜头等受光光学系统、将由受光光学系统会聚的光转换为电信号的摄像元件、用于与个人计算机20的第2通信装置26进行通信的通信装置、存储装置和处理装置等。会议用摄像头40是配置于显示面P的摄像头的一例。摄像元件例如是接收可见光区域的光的CCD图像传感器。会议用摄像头40配置成拍摄据点K3的在线会议的参加者即用户U3和U4。会议用摄像头40向个人计算机20发送与拍摄图像SK对应的图像数据。
B-4:会议用摄像头40与显示面P的位置关系
图5是示意性示出会议用摄像头40与显示面P的位置关系的图。此外,图6是图5的A-A线的剖视图。在本实施方式中,会议用摄像头40配置于墙壁W,该墙壁W设置于据点K3。更详细而言,会议用摄像头40配置成使镜头L从设置于墙壁W的缺口H露出。墙壁W具有露出于室内的表面F1、和与表面F1相反的一侧的背面F2。在背面F2侧设置有位于缺口H的附近的底座D,在底座D上载置会议用摄像头40。另外,会议用摄像头40不限于配置于墙壁W的背面F2,例如也可以安装于墙壁W的表面F1。
在本实施方式中,使用墙壁W作为屏幕,投影仪30投射图像。投影仪30配置成将在墙壁W上露出镜头L的范围例如缺口H的范围包含于显示面P。换言之,会议用摄像头40配置于显示面P。图5的例子是据点K1处的配置例,在从正面观看显示面P的情况下,以镜头L位于稍右侧的方式配置。
C:投影仪30的处理装置36的详细情况
接着,对由投影仪30的处理装置36实现的功能部的详细情况进行说明。如上所述,投影仪30的处理装置36作为校准处理部361和摄像头位置检测部362发挥功能。
C-1:校准处理部361
校准处理部361生成将帧存储器上的坐标与投影仪用摄像头33的拍摄图像上的坐标对应起来的校准数据。通过将帧存储器上的位置与投影仪用摄像头33的拍摄图像上的位置对应起来,例如能够确定投影仪用摄像头33的拍摄图像中显现的物体与投射在显示面P上的投射图像SG的哪个区域重叠。
校准处理部361从存储装置35读出校准图像数据。校准处理部361在帧存储器上展开校准图像数据,生成与校准图像对应的图像信号。通过依照图像信号驱动光学装置34,将校准图像投射于显示面P。校准图像例如是隔开间隔地配置有预先设定的形状的标志的图像。
接着,校准处理部361通过投影仪用摄像头33拍摄包含被投射了校准图像的显示面P的拍摄图像。校准处理部361检测拍摄图像中显现的标志,确定各标志的重心位置作为拍摄图像中的各标志的坐标。校准处理部361将从拍摄图像检测到的标志的坐标与帧存储器上的标志的坐标对应起来。通过该对应,生成将拍摄图像上的坐标与帧存储器上的坐标对应起来的校准数据。所生成的校准数据存储到存储装置35。
C-2:摄像头位置检测部362
摄像头位置检测部362检测表示显示面P上的会议用摄像头40的位置的信息。以下,将表示显示面P上的会议用摄像头40的位置的信息称作“摄像头位置信息”。摄像头位置信息例如能够使用以显示面P的左上的点为基准点且横向为X轴、纵向为Y轴的XY坐标的坐标值。如上所述,投射图像SG能够使用xy坐标,通过坐标(1,1)到坐标(1920,1080)表示。在显示面P上,例如将显示投射图像SG的坐标(1,1)的像素的区域设为坐标(1,1)。由此,能够利用(1,1)到(1920,1080)的坐标确定显示面P上的任意位置。
摄像头位置检测部362例如检测露出于显示面P上的会议用摄像头40的部分的外缘的坐标作为摄像头位置信息。此外,例如在露出于显示面P的会议用摄像头40的部分为圆形的情况下,也可以将该部分的中心位置的坐标和到该部分的外缘的距离设为摄像头位置信息。
摄像头位置检测部362例如使用以下的检测方法1~4中的任意一种来检测摄像头位置信息。
[检测方法1]
检测方法1是使用图案检测的方法。摄像头位置检测部362使用光学装置34,在显示面P上投射格子状的图案。此外,摄像头位置检测部362使用投影仪用摄像头33取得显示面P的拍摄图像。会议用摄像头40的光的反射率与墙壁W的光的反射率不同,因此,在墙壁W与会议用摄像头40的边界,产生图案的变形、缺损。摄像头位置检测部362检测产生了图案的变形、缺损的显示面P的位置作为会议用摄像头40的位置。
[检测方法2]
检测方法2是在会议用摄像头40上设置位置检测用的信标的方法。作为信标,例如能够使用红外光发光元件。在该情况下,假设在投影仪30中,例如,投影仪用摄像头33具有红外线受光功能,或者与投影仪用摄像头33分开地设置有具有红外线受光功能的摄像头。具有红外线受光功能的摄像头的拍摄图像中显现从信标发出的红外光。摄像头位置检测部362检测红外光的位置作为会议用摄像头40的位置。
[检测方法3]
检测方法3是通过图像识别来检测会议用摄像头40的方法。例如,摄像头位置检测部362预先取得表示会议用摄像头40中的露出于显示面P上的部分的形状的形状数据。例如,在显示系统10中,也可以公共地使用预先设定的形状的会议用摄像头40。摄像头位置检测部362取得投影仪用摄像头33的拍摄图像,判断拍摄图像内是否显现与形状数据对应的形状的物体。在显现与形状数据对应的形状的物体的情况下,摄像头位置检测部362检测该物体的位置作为会议用摄像头40的位置。
[检测方法4]
检测方法4是由投影仪用摄像头33检测来自投影仪30的投射光的方法。摄像头位置检测部362对显示面P依次照射激光那样的指向性较高的光。假设例如能够使用显示面P上设定的XY坐标来识别激光的照射位置。在此期间,投影仪用摄像头33继续拍摄。当激光入射到投影仪用摄像头33的镜头时,拍摄图像为过度曝光的状态。摄像头位置检测部362检测得到过度曝光的拍摄图像时的激光的照射位置作为会议用摄像头40的位置。
D:个人计算机20的处理装置28的详细情况
接着,对由个人计算机20的处理装置28实现的功能部的详细情况进行说明。如上所述,个人计算机20的处理装置28作为摄像头位置信息取得部281、用户图像生成部282、数据收发部283、投射图像生成部284、投射图像供给部285和声音再现控制部286发挥功能。
D-1:摄像头位置信息取得部281
摄像头位置信息取得部281取得表示显示面P上的会议用摄像头40的位置的摄像头位置信息。在本实施方式中,摄像头位置信息取得部281经由第2通信装置26取得由摄像头位置检测部362检测到的摄像头位置信息。
D-2:用户图像生成部282
用户图像生成部282根据由会议用摄像头40拍摄到的拍摄图像SK,生成显现用户U3的部分图像SB1和显现用户U4的部分图像SB2。图7是示意性示出拍摄图像SK与部分图像SB1、SB2的关系的图。在会议用摄像头40的拍摄图像SK中显现位于据点K3的用户U3、U4的2个人。用户图像生成部282使用图像识别技术从拍摄图像SK中检测用户U3、U4的面部,生成包含用户U3的面部的部分图像SB1和包含用户U4的面部的部分图像SB2。生成这样的部分图像SB1、SB2是为了减少与其他用户U1、U2的图像排列时的异常感。此外,与拍摄图像SK相比,部分图像SB1、SB2更容易掌握用户U3、U4各自的表情。
另外,当在据点K3加入了用户U3、U4以外的用户的情况下,用户图像生成部282进一步生成显现加入的用户的部分图像。此外,当据点K3仅存在用户U3或者U4中的一方时,根据拍摄图像SK生成显现该用户U3或者U4中的一方的部分图像。
此外,例如在用户U3、U4中的至少一方不愿意在在线会议中显示显现自身的面部的部分图像SB1、SB2的情况或者在线会议是隐私的交流场所的情况下等,例如也可以指定使用模仿自身的化身图像、表示自身的名字或者首字母的字符图像来代替部分图像SB1、SB2。或者,也可以指定使用对部分图像SB1、SB2进行图像加工处理后的图像。图像加工处理例如是将用户U3、U4的面部转换为动物或者插图风格的处理、替换用户U3、U4的面部部位的一部分的处理、模糊处理等。以下,将部分图像SB1、化身图像或者对部分图像SB1进行图像加工处理后的图像等在线会议中与用户U3对应地显示的图像设为“表示用户U3的图像S3”。其他用户U1、U2、U4也同样如此。
D-3:数据收发部283
数据收发部283向会议服务器C发送与由用户图像生成部282生成的表示用户U3的图像S3对应的图像数据、与表示用户U4的图像S4对应的图像数据。此外,数据收发部283向会议服务器C发送麦克风24生成的声音数据。与图像S3对应的图像数据、与图像S4对应的图像数据和麦克风24生成的声音数据作为在据点K3生成的数据对应起来。
此外,数据收发部283从会议服务器C接收在其他据点K1、K2拍摄到的图像数据和在其他据点K1、K2收集到的声音数据。在据点K1拍摄到的图像数据是与表示用户U1的图像S1对应的图像数据。在据点K2拍摄到的图像数据是与表示用户U2的图像S2对应的图像数据。在据点K1收集到的声音数据是包含用户U1的讲话的声音数据。在据点K2收集到的声音数据是包含用户U2的讲话的声音数据。在据点K1拍摄到的图像数据与在据点K1收集到的声音数据对应起来。此外,在据点K2拍摄到的图像数据与在据点K2收集到的声音数据对应起来。
D-4:投射图像生成部284
投射图像生成部284生成由投影仪30投射的投射图像SG。投射图像生成部284使用由数据收发部283接收到的在其他据点K1、K2拍摄到的图像数据、与由用户图像生成部282生成的部分图像SB1对应的图像数据、和与部分图像SB2对应的图像数据来生成投射图像SG。此时,投射图像生成部284根据由摄像头位置信息取得部281取得的摄像头位置信息,决定投射图像SG的布局。此外,投射图像生成部284根据会议中的讲话者是用户U1~U4中的哪一个,决定投射图像SG的布局。
图8示出基准状态M1下的投射图像SG的布局。基准状态M1例如是不存在讲话者的状态。以下,将基准状态M1下的投射图像SG的布局称作“基准布局”。投射图像SG包含表示用户U1的图像S1、表示用户U2的图像S2、表示用户U3的图像S3和表示用户U4的图像S4。即,当由投影仪30投射了投射图像SG时,经由第1通信装置25取得的表示用户U1的图像S1和表示与用户U1不同的用户U3的图像S3显示在显示面P上。图像S1是第1图像的一例,图像S3是第2图像的一例。图像S1、S2是与由数据收发部283接收到的在其他据点K1、K2拍摄到的图像数据对应的图像。此外,图像S3、S4是由用户图像生成部282生成的部分图像SB1、SB2。
在基准状态M1中,投射图像生成部284以会议用摄像头40位于图像S1、S2中的至少任意一个的外缘附近的方式配置图像S1、S2。这是因为,当会议用摄像头40与图像S1、S2的中央部附近重叠时,图像S1、S2的可视性降低。另一方面,当图像S1、S2配置在远离会议用摄像头40的位置时,用户U3、U4的视线远离会议用摄像头40而给用户U1、U2带来异常感。会议用摄像头40位于图像S1、S2中的至少任意一个的外缘附近,由此,会议用摄像头40与图像S1、S2的距离能够维持为规定距离以下。
此外,在基准状态M1下,优选以图像S1与会议用摄像头40的距离和图像S2与会议用摄像头40的距离的差分减小的方式配置图像S1、S2。这是因为,在不存在讲话者的状态下,据点K3的用户U3、U4不注视特定的图像,而是以包含图像S1、S2的方式观看显示面P。在图8的例子中,图像S1~S4呈纵2列×横2行配置,会议用摄像头40位于图像S1~S4的中央。即,会议用摄像头40与图像S1~S4的距离相等。
另外,图像S1与会议用摄像头40的距离例如可以是图像S1的中心与会议用摄像头40的中心的距离,也可以是图像S1中的最接近会议用摄像头40的点与会议用摄像头40中的最接近图像S1的点的距离。
此外,投射图像生成部284对投射图像SG中的与会议用摄像头40重叠的部分进行掩模处理。另外,更详细地说,与会议用摄像头40重叠的部分是与露出于墙壁W的表面F1侧的会议用摄像头40的部分重叠的部分。以下,将投射图像SG中的与会议用摄像头40重叠的部分称作“摄像头重叠部分R”。在本实施方式中,掩模处理是使摄像头重叠部分R的亮度比其他部分低的处理,例如是将摄像头重叠部分R设为黑色图像的处理。
投射图像生成部284例如通过生成将与摄像头重叠部分R对应的部分设为黑色图像并将其他部分设为透明的掩模图像,与配置有图像S1~S4的图像重叠,使摄像头重叠部分R的亮度比其他部分低。或者,投射图像生成部284也可以针对配置有图像S1~S4的图像,以使与摄像头重叠部分R对应的部分的亮度降低的方式进行图像处理,由此,使摄像头重叠部分R的亮度比其他部分低。在本实施方式中,假设采用重叠前者的掩模图像的方法。
通过进行掩模处理,能够防止来自投影仪30的投射光入射到会议用摄像头40的镜头L,防止产生过度曝光等摄像不良。更详细地说,通过对摄像头重叠部分R进行掩模处理,投射到摄像头重叠部分R的光量减少,能够防止摄像不良。另外,进行掩模处理的范围也可以是包含摄像头重叠部分R且比摄像头重叠部分R宽的范围。
图9示出用户U1的讲话时M2的投射图像SG。在用户U1的讲话中,由后述的声音再现控制部286从扬声器23输出经由第1通信装置25取得的来自终端装置T1的声音。关于用户U1是否正在讲话,例如根据在据点K1收集到的声音数据的等级是否为规定值以上来判定。在据点K1收集到的声音数据的等级为规定值以上的情况下,投射图像生成部284判定为在据点K1拍摄到的图像S1中显现的用户U1正在讲话。
在参加在线会议的用户U1~U4中的位于据点K3以外的用户U1讲话的情况下,与用户U1未讲话的情况相比,投射图像生成部284使表示用户U1的图像S1接近会议用摄像头40。图像S1接近会议用摄像头40,由此,其他图像S2~S4为相对远离会议用摄像头40的位置。即,投射图像生成部284在用户U1的讲话中,以在比显示图像S3的位置更接近会议用摄像头40的位置的位置显示图像S1的方式生成投射图像SG。位于据点K3的用户U3、U4的视线朝向表示正在讲话的用户U1的图像S1。图像S1位于比表示其他用户U2~U4的图像S2~S4更接近会议用摄像头40的位置。因此,用户U3、U4的视线朝向接近会议用摄像头40的位置。
由会议用摄像头40拍摄到的拍摄图像SK发送给用户U1、U2。即,数据收发部283向会议服务器C发送在输出用户U1的声音的期间内会议用摄像头40拍摄到的拍摄图像SK。此外,会议服务器C发送至用户U1所使用的终端装置T1。在由会议用摄像头40拍摄到的拍摄图像SK中,用户U3、U4的视线朝向会议用摄像头40的附近。观看该拍摄图像SK的用户U1、U2感觉到一边与用户U3、U4对准视线一边进行会议,能够辅助在线会议中的顺畅交流。
在本实施方式中,投射图像生成部284在用户U1的讲话中,将图像S1配置于与会议用摄像头40重叠的位置。即,投射图像生成部284以在显示面P的与会议用摄像头40重叠的位置显示图像S1的方式生成投射图像SG。由此,与在不与会议用摄像头40重叠的位置显示图像S1的情况相比,能够使用户U3、U4的视线朝向更接近会议用摄像头40的位置。
另一方面,当图像S1中的显现用户U1的面部的部分与会议用摄像头40重叠时,用户U1的面部的可视性降低,并且观看图像S1的用户U3、U4可能感觉到异常感。因此,投射图像生成部284以在用户U1的讲话中,图像S1中的与会议用摄像头40重叠的部分成为用户U1的面部以外的部分的方式生成投射图像SG。图像S1中的用户U1的面部的范围例如能够通过面部识别技术等确定。在本实施方式中,投射图像生成部284以会议用摄像头40与显现用户U1的下巴、即用户U1的脖子的部分重叠的方式配置图像S1。由此,能够在不降低用户U1的面部的可视性的情况下,使用户U3、U4的视线朝向更接近会议用摄像头40的位置。
此外,在图9中,在用户U1的讲话中,表示用户U1的图像S1显示得比表示其他用户U2~U4的图像S2~S4大。换言之,投射图像生成部284在用户U1的讲话中,使表示用户U1的图像S1显示得比用户U1未讲话的期间内的表示用户U1的图像S1大。由此,其他用户U2~U4更容易掌握作为讲话者的用户U1的表情。此外,容易确定多个用户U1~U4中的讲话者是谁。不限于此,投射图像生成部284也可以在用户U1的讲话中,使图像S1的大小与其他图像S2~S4的大小相同,仅变更图像S1的位置。
此外,在用户U1的讲话已结束的情况下,投射图像生成部284使投射图像SG恢复图8所示的基准状态M1的布局。
图10示出用户U3的讲话时M3的投射图像SG。关于用户U3是否正在讲话,例如根据由麦克风24收集到的声音数据的等级是否为规定值以上来判定。在由麦克风24收集到的声音数据的等级为规定值以上的情况下,投射图像生成部284判定为由会议用摄像头40拍摄到的拍摄图像SK中显现的用户U3、U4正在讲话。
投射图像生成部284在位于据点K3的用户U3正在讲话的期间内,在相对于会议用摄像头40的位置比显示图像S1的位置更近的位置不显示图像S3。例如图10中的图像S1~S4的配置与基准布局相同,会议用摄像头40与图像S1~S4之间的距离分别相同。
设为这样的配置是因为可认为讲话中的用户U3将眼睛朝向表示其他用户U1、U2、U4的图像S1、S2、S4。例如,在图9中的图像S1的位置配置有图像S3的情况下,其他图像S1、S2、S4配置于远离会议用摄像头40的位置。用户U3将眼睛朝向图像S1、S2、S4,因此,用户U3的视线朝向远离会议用摄像头40的位置。在该情况下,给其他据点K1、K2的用户U1、U2带来异常感。因此,在据点K3的用户U3讲话的情况下,投射图像生成部284不将表示用户U3的图像S3显示于比图像S1、S2更接近会议用摄像头40的位置。另外,在用户U4讲话的情况下,也同样地,不将图像S4显示在比图像S1、S2更接近会议用摄像头40的位置。
D-5:投射图像供给部285
投射图像供给部285向投影仪30供给由投射图像生成部284生成的投射图像SG的图像数据。接收到图像数据的供给的投影仪30根据图像数据,驱动光学装置34,使显示面P显示投射图像SG。
D-6:声音再现控制部286
声音再现控制部286控制来自扬声器23的声音输出。声音再现控制部286以输出由数据收发部283接收到的在其他据点K1、K2收集到的声音数据的方式控制扬声器23。
E:处理装置28的动作
图11是示出处理装置28依照控制程序270执行的显示方法的流程的流程图。当启动了显示系统10时,处理装置28作为摄像头位置信息取得部281发挥功能,由此,取得表示显示面P上的会议用摄像头40的位置的摄像头位置信息(步骤S100)。处理装置28作为投射图像生成部284发挥功能,由此,根据摄像头位置信息,确定投射图像SG中的摄像头重叠部分R,生成将摄像头重叠部分R设为黑色图像的掩模图像(步骤S102)。通过处理装置28作为投射图像供给部285发挥功能,将所生成的掩模图像供给到投影仪30。投影仪30在显示面P上显示掩模图像。
处理装置28等待直到开始在线会议(步骤S104:否)。当开始在线会议时(步骤S104:是),处理装置28作为用户图像生成部282发挥功能,由此,根据会议用摄像头40的拍摄图像SK生成与表示用户U3的图像S3对应的图像数据和与表示用户U4的图像S4对应的图像数据(步骤S106)。处理装置28作为数据收发部283发挥功能,由此,与会议服务器C连接而收发图像数据和声音数据(步骤S108)。更详细地说,处理装置28接收在其他据点K1、K2拍摄到的图像数据和在其他据点K1、K2收集到的声音数据,并且发送在据点K3拍摄到的图像数据和在据点K3收集到的声音数据。通过处理装置28作为声音再现控制部286发挥功能,从扬声器23输出在其他据点K1、K2收集到的声音数据。
处理装置28根据在据点K1~K3收集到的声音数据,判断在在线会议中是否存在讲话者(步骤S110)。在不存在讲话者的情况下(步骤S110:否),处理装置28作为投射图像生成部284发挥功能,由此,将图像S1~S4配置成基准布局,以与掩模图像重叠的方式生成投射图像SG(步骤S116)。处理装置28通过作为投射图像供给部285发挥功能,向投影仪30供给投射图像SG(步骤S118)。投影仪30在显示面P上显示投射图像SG。
另一方面,在步骤S110中存在讲话者的情况下(步骤S110:是),处理装置28判断讲话者是否是其他据点K1、K2的用户U1、U2(步骤S112)。在讲话者是其他据点K1、K2的用户U1、U2的情况下(步骤S112:是),处理装置28通过作为投射图像生成部284发挥功能,以讲话者的图像与会议用摄像头40重叠的方式配置图像S1~S4,以与掩模图像重叠的方式生成投射图像SG(步骤S114)。处理装置28通过作为投射图像供给部285发挥功能,向投影仪30供给投射图像SG(步骤S118)。投影仪30在显示面P上显示投射图像SG。
此外,在讲话者不是其他据点K1、K2的用户U1、U2的情况下(步骤S112:否)、即、是据点K3的用户U3、U4的情况下,处理装置28通过作为投射图像生成部284发挥功能,将图像S1~S4配置成基准布局,以与掩模图像重叠的方式生成投射图像SG(步骤S116)。处理装置28通过作为投射图像供给部285发挥功能,向投影仪30供给投射图像SG(步骤S118)。投影仪30在显示面P上显示投射图像SG。
处理装置28返回步骤S106并反复进行以下的处理,直到在线会议结束为止(步骤S120:否)。当在线会议结束时(步骤S120:是),处理装置28结束本流程图的处理。
F:实施方式的总结
如以上说明的那样,在实施方式的显示方法中,在输出用户U1的声音的期间内,在相对于会议用摄像头40的位置比显示表示用户U3的图像S3的位置更近的位置显示表示用户U1的图像S1。此外,在实施方式的显示方法中,向用户U1所使用的终端装置T1发送在输出用户U1的声音的期间内会议用摄像头40所取得的图像S3、S4。一般而言,观看显示面P的用户U3、U4在输出用户U1的声音的期间内,注视表示用户U1的图像S1,因此,通过将图像S1配置于上述的位置,用户U3、U4的视线朝向会议用摄像头40的附近。因此,接收到会议用摄像头40的拍摄图像SK的发送的用户U1识别出用户U3、U4的视线朝向自身的附近,能够减少因视线的偏移而引起的异常感。
此外,在实施方式的显示方法中,在输出用户U1的声音的期间内,在显示面P的与会议用摄像头40重叠的位置显示图像S1。由此,用户U3、U4的视线朝向更接近会议用摄像头40的位置。因此,接收到会议用摄像头40的拍摄图像SK的发送的用户U1识别出用户U3、U4的视线朝向更靠自身的附近,能够进一步减少因视线的偏移而引起的异常感。
此外,在实施方式的显示方法中,将图像S1中的与会议用摄像头40重叠的部分设为用户U1的面部以外的部分。是图像S1中的、用户U3、U4最注视的部分即用户U1的面部的部分。通过将与会议用摄像头40重叠的部分设为用户U1的面部以外的部分,能够避免用户U1的面部的可视性因会议用摄像头40而降低。
此外,在实施方式的显示方法中,将与会议用摄像头40重叠的图像S1的部分的亮度显示得比图像S1的其他部分的亮度低。由此,能够减少入射到会议用摄像头40的镜头L的投影仪30的投射光的亮度,能够防止会议用摄像头40的拍摄图像SK的摄像不良。
此外,在实施方式的显示方法中,在用户U3正在讲话的期间内,在相对于会议用摄像头40的位置比显示图像S1的位置更近的位置不显示图像S3。一般而言,用户U3在自身正在讲话时,观看自己以外的用户U1、U2、U4的图像S1、S2、S4。通过将图像S1、S2配置于上述的位置,能够避免用户U3的视线远离会议用摄像头40,减少接收会议用摄像头40的拍摄图像SK的发送的用户U1的因视线偏移而引起的异常感。
此外,实施方式的显示系统10在输出用户U1的声音的期间内,在相对于会议用摄像头40的位置比显示表示用户U3的图像S3的位置更近的位置显示表示用户U1的图像S1。此外,实施方式的显示系统10向用户U1所使用的终端装置T1发送在输出用户U1的声音的期间内会议用摄像头40所取得的图像S3、S4。一般而言,观看显示面P的用户U3、U4在输出用户U1的声音的期间内,注视表示用户U1的图像S1,因此,通过将图像S1配置于上述的位置,用户U3、U4的视线朝向会议用摄像头40的附近。因此,接收到会议用摄像头40的拍摄图像SK的发送的用户U1识别出用户U3、U4的视线朝向自身的附近,能够减少因视线偏移而引起的异常感。
此外,实施方式的程序在输出用户U1的声音的期间内,在相对于会议用摄像头40的位置比显示表示用户U3的图像S3的位置更近的位置显示表示用户U1的图像S1。此外,实施方式的程序向用户U1所使用的终端装置T1发送在输出用户U1的声音的期间内会议用摄像头40所取得的图像S3、S4。一般而言,观看显示面P的用户U3、U4在输出用户U1的声音的期间内,注视表示用户U1的图像S1,因此,通过将图像S1配置于上述的位置,用户U3、U4的视线朝向会议用摄像头40的附近。因此,接收到会议用摄像头40的拍摄图像SK的发送的用户U1识别出用户U3、U4的视线朝向自身的附近,能够减少因视线偏移而引起的异常感。
G:变形例
以下,示出上述的实施方式中的变形方式。可以在不相互矛盾的范围内适当地合并从以下的变形方式中任意地选择出的2个以上的方式。
G1:变形例1
在本实施方式中,对在显示系统10与终端装置T1、T2之间实施在线会议的情况进行了说明。不限于此,例如也可以在显示系统10与其他显示系统之间实施在线会议。在该情况下,其他显示系统中的投射图像SG的基准布局和讲话中的投射图像SG的布局是根据其他显示系统中的会议用摄像头的配置来决定的。
G2:变形例2
个人计算机20的处理装置28执行的各功能部的处理的至少一部分也可以由投影仪30的处理装置36、会议用摄像头40的处理装置或者会议服务器C的处理装置执行。此外,投影仪30的处理装置36执行的各功能部的处理的至少一部分也可以由个人计算机20的处理装置28、会议用摄像头40的处理装置或者会议服务器C的处理装置执行。例如,在实施使用多台投影仪30向巨大的屏幕投射图像的多投影的情况下,在会议服务器C中生成投射图像SG是有效的。在该情况下,会议服务器C按照各投影仪30的每个投射区域分割投射图像SG,向各个投影仪30发送与分割后的投射图像SG对应的图像数据。
G3:变形例3
在本实施方式中,显示系统10具有个人计算机20、投影仪30和会议用摄像头40。不限于此,例如,投影仪30也可以具有个人计算机20的功能。在该情况下,投影仪30能够与网络N连接,并且能够取得会议用摄像头40的拍摄图像。
G4:变形例4
在本实施方式中,将据点K3的用户U3设为了第2用户的一例。不限于此,例如,也可以将据点K2的用户U2设为第2用户。在该情况下,图像S2为第2图像的一例。此外,例如也可以将据点K3的用户U4设为第2用户。在该情况下,图像S4为第2图像的一例。另外,在第2图像是由会议用摄像头40拍摄到的图像的情况下,第2用户是用户U3或者用户U4中的任意一个。
G5:变形例5
在本实施方式中,假设在投射图像SG上显示表示据点K3的用户U3、U4的图像S3、S4。不限于此,表示据点K3的用户U3、U4的图像S3、S4也可以不显示在投射图像SG。这是因为,位于据点K3的用户U3、U4能够目视彼此的面部。此外,通过不显示图像S3、S4,能够增大投射图像SG中的其他图像的投射区域。
此外,在本实施方式中,根据会议用摄像头40的拍摄图像SK生成部分图像SB1、SB2,生成表示用户U3的图像S3和表示用户U4的图像S4。不限于此,也可以将显现多个用户U3、U4的拍摄图像SK直接作为表示据点K3的图像显示在投射图像SG上。
G6:变形例6
在本实施方式中,投影仪30是显示装置的一例。不限于此,作为显示装置,例如也可以使用至少1个平板显示器。例如,也可以将多个平板显示器排列在同一平面上,在其间隙配置会议用摄像头40。此外,例如也可以在平板显示器的表面配置会议用摄像头40。
Claims (7)
1.一种显示方法,包含:
在配置有摄像头的显示面上显示表示第1用户的第1图像和表示第2用户的第2图像;
取得表示所述显示面上的所述摄像头的位置的信息;
输出所述第1用户的声音;
在输出所述第1用户的声音的期间内,在比显示所述第2图像的位置更接近所述摄像头的位置的位置显示所述第1图像;以及
向所述第1用户使用的终端装置发送在输出所述第1用户的声音的期间内所述摄像头取得的图像。
2.根据权利要求1所述的显示方法,其中,
显示所述第1图像包含:
在所述显示面的与所述摄像头重叠的位置显示所述第1图像。
3.根据权利要求2所述的显示方法,其中,
所述第1图像是拍摄包含所述第1用户的面部的范围而得到的图像,
所述第1图像中的与所述摄像头重叠的部分是所述第1用户的面部以外的部分。
4.根据权利要求2或3所述的显示方法,其中,
显示所述第1图像包含:
将与所述摄像头重叠的所述第1图像的部分的亮度显示得比所述第1图像的其他部分的亮度低。
5.根据权利要求1至3中的任意一项所述的显示方法,其中,
所述第2图像是由所述摄像头拍摄的图像,
该显示方法还包含:
在所述第2用户正在讲话的期间内,在比显示所述第1图像的位置更接近所述摄像头的位置的位置不显示所述第2图像。
6.一种显示系统,其具有:
至少1个通信接口,其与配置于显示面的摄像头及第1用户的终端装置进行通信;
显示装置,其在所述显示面上显示图像;
扬声器;以及
至少1个处理装置,其控制所述通信接口、所述显示装置和所述扬声器,
所述至少1个处理装置通过所述显示装置在所述显示面上显示经由所述通信接口取得的表示所述第1用户的第1图像和表示与所述第1用户不同的第2用户的第2图像,
所述至少1个处理装置取得表示所述显示面上的所述摄像头的位置的信息,
所述至少1个处理装置从所述扬声器输出经由所述通信接口取得的来自所述终端装置的声音,
所述至少1个处理装置在输出所述声音的期间内,通过所述显示装置在比显示所述第2图像的位置更接近所述摄像头的位置的位置显示所述第1图像,
所述至少1个处理装置经由所述通信接口向所述终端装置发送在输出所述声音的期间内所述摄像头取得的图像。
7.一种记录有程序的记录介质,该程序使计算机执行:
在配置有摄像头的显示面上显示表示第1用户的第1图像和表示第2用户的第2图像;
取得表示所述显示面上的所述摄像头的位置的信息;
输出所述第1用户的声音;
在输出所述第1用户的声音的期间内,在比显示所述第2图像的位置更接近所述摄像头的位置的位置显示所述第1图像;以及
向所述第1用户使用的终端装置发送在输出所述第1用户的声音的期间内所述摄像头取得的图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-043558 | 2022-03-18 | ||
JP2022043558A JP7505518B2 (ja) | 2022-03-18 | 2022-03-18 | 表示方法、表示システムおよびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116781874A true CN116781874A (zh) | 2023-09-19 |
Family
ID=88008910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310266389.3A Pending CN116781874A (zh) | 2022-03-18 | 2023-03-16 | 显示方法、显示系统和记录有程序的记录介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11983381B2 (zh) |
JP (1) | JP7505518B2 (zh) |
CN (1) | CN116781874A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7505518B2 (ja) * | 2022-03-18 | 2024-06-25 | セイコーエプソン株式会社 | 表示方法、表示システムおよびプログラム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3175200B2 (ja) * | 1991-07-29 | 2001-06-11 | キヤノン株式会社 | 画像通信装置及びその制御方法 |
US5400069A (en) * | 1993-06-16 | 1995-03-21 | Bell Communications Research, Inc. | Eye contact video-conferencing system and screen |
JPH09107531A (ja) * | 1995-10-09 | 1997-04-22 | Matsushita Electric Ind Co Ltd | ビデオ会議システム |
JP3674474B2 (ja) | 2000-08-04 | 2005-07-20 | ヤマハ株式会社 | 映像システム |
US6507356B1 (en) * | 2000-10-13 | 2003-01-14 | At&T Corp. | Method for improving video conferencing and video calling |
AUPR807601A0 (en) * | 2001-10-04 | 2001-10-25 | Monash University | Flare elimination in video conferencing |
NO318883B1 (no) * | 2003-04-07 | 2005-05-18 | Tandberg Telecom As | Arrangement og fremgangsmate for forbedret kommunikasjon mellom deltakere i en videokonferanse |
US11317057B2 (en) * | 2006-03-18 | 2022-04-26 | Steve H MCNELLEY | Advanced telepresence environments |
US8643691B2 (en) * | 2008-05-12 | 2014-02-04 | Microsoft Corporation | Gaze accurate video conferencing |
JP2010114768A (ja) | 2008-11-07 | 2010-05-20 | Canon Inc | 映像処理装置、システム及びプログラム |
US9160966B2 (en) * | 2011-05-11 | 2015-10-13 | Microsoft Technology Licensing, Llc | Imaging through a display screen |
KR101864452B1 (ko) * | 2012-01-12 | 2018-06-04 | 삼성전자주식회사 | 이미지 촬영 및 화상 통화 장치와 방법 |
US9407871B2 (en) * | 2014-03-31 | 2016-08-02 | Electronics And Telecommunications Research Instit | Apparatus and method for controlling eye-to-eye contact function |
EP2953351B1 (en) * | 2014-06-02 | 2019-07-24 | Nokia Technologies OY | Method and apparatus for eye-line augmentation during a video conference |
US9819907B2 (en) * | 2014-09-25 | 2017-11-14 | Steve H. McNelley | Communication stage and related systems |
JP7532767B2 (ja) * | 2019-11-29 | 2024-08-14 | セイコーエプソン株式会社 | 撮影表示装置、撮影表示システムおよび撮影表示装置の制御方法 |
JP7387167B2 (ja) | 2020-05-01 | 2023-11-28 | tonari株式会社 | 仮想的空間接続装置、システム |
JP7505518B2 (ja) * | 2022-03-18 | 2024-06-25 | セイコーエプソン株式会社 | 表示方法、表示システムおよびプログラム |
JP7459890B2 (ja) * | 2022-03-23 | 2024-04-02 | セイコーエプソン株式会社 | 表示方法、表示システムおよびプログラム |
-
2022
- 2022-03-18 JP JP2022043558A patent/JP7505518B2/ja active Active
-
2023
- 2023-03-16 CN CN202310266389.3A patent/CN116781874A/zh active Pending
- 2023-03-17 US US18/122,798 patent/US11983381B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11983381B2 (en) | 2024-05-14 |
US20230297205A1 (en) | 2023-09-21 |
JP7505518B2 (ja) | 2024-06-25 |
JP2023137374A (ja) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8248485B2 (en) | Imaging apparatus and imaging method | |
CN102761702B (zh) | 用于移动通信设备中的图像重叠的方法以及成像系统 | |
US9426379B2 (en) | Photographing unit, cooperative photographing method, and recording medium having recorded program | |
US8384660B2 (en) | Display system, display device and display method | |
JP2019030007A (ja) | 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法 | |
KR102318013B1 (ko) | 복수의 이미지들을 합성하는 전자장치 및 방법 | |
US20050197578A1 (en) | Image display method, program, image display apparatus and image display system | |
US10924718B2 (en) | Image processing device and method | |
JP2011134221A (ja) | 撮像装置、3dモデリングデータ生成方法、および、プログラム | |
JP7205386B2 (ja) | 撮像装置、画像処理方法、プログラム | |
US11626447B2 (en) | Electronic device comprising image sensor for identifying an operation setting and an external environmental condition and method of operation thereof | |
CN106851234A (zh) | 投影仪以及投影仪的控制方法 | |
CN112887654B (zh) | 一种会议设备、会议系统及数据处理方法 | |
JP2009071478A (ja) | 情報通信端末および情報通信システム | |
CN116781874A (zh) | 显示方法、显示系统和记录有程序的记录介质 | |
KR20200016559A (ko) | 복수의 구간 영상들을 포함하는 동영상 데이터를 생성하는 전자 장치 및 방법 | |
KR102512839B1 (ko) | 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법 | |
CN116805962A (zh) | 显示方法、显示系统和记录有程序的记录介质 | |
KR20190098583A (ko) | 이미지 표시를 제어하는 전자 장치 및 방법 | |
US20120127280A1 (en) | Apparatus and method for generating three dimensional image in portable terminal | |
JP4595313B2 (ja) | 撮像表示装置及び方法、画像送受信システム | |
JP7416231B2 (ja) | 設置支援装置、設置支援方法、およびプログラム | |
JP2018159835A (ja) | 投影装置 | |
US12096161B2 (en) | Projection system, and control method for projection system | |
KR20190065736A (ko) | 3d 이미지를 생성하기 위한 전자 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |