CN117857770A - 终端装置 - Google Patents
终端装置 Download PDFInfo
- Publication number
- CN117857770A CN117857770A CN202311282336.7A CN202311282336A CN117857770A CN 117857770 A CN117857770 A CN 117857770A CN 202311282336 A CN202311282336 A CN 202311282336A CN 117857770 A CN117857770 A CN 117857770A
- Authority
- CN
- China
- Prior art keywords
- image
- terminal device
- user
- control unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 claims abstract description 41
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 description 16
- 230000015654 memory Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- 230000010365 information processing Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000000245 forearm Anatomy 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/11—Hand-related biometrics; Hand pose recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提高虚拟的面对面交流中的真实性。本发明为一种终端装置,具有:通信部;透射式面板,其显示图像,且受理描绘;显示部,其与上述透射式面板重叠;拍摄部,其配置于上述显示部附近,对用户进行拍摄;以及控制部,其通过上述通信部进行通信,其中,上述控制部从其他终端装置接受用于显示基于使用该其他终端装置的其他用户的拍摄图像来表示该其他用户的模型图像的信息、和该其他用户通过描绘工具在该其他终端装置的透射式面板上描绘而成的描绘图像的信息,并将上述模型图像显示于该终端装置的上述显示部,并且将上述其他用户的保持上述描绘工具的手的手图像和上述描绘图像显示于该终端装置的上述透射式面板。
Description
技术领域
本公开涉及终端装置。
背景技术
公知有将图像等显示于透射式的触摸面板来向用户输出各种信息,并且受理各种信息的输入的装置。提出了将该装置用作能够经由网络进行影像通话的可视电话终端的技术。例如,在专利文献1中,公开了向大画面的全息屏幕投射影像光而映出全彩或单色的动态图像或静止图像且具有作为信息终端的功能的可视电话装置。
专利文献1:日本特开2003-005617号公报
在用户彼此使用具有透射式触摸面板的终端装置来相互交换彼此的拍摄图像、描绘等而进行交流的技术中,仍有余地使交流的真实性提高。
发明内容
本公开提供能够提高使用了透射式触摸面板的交流中的真实性的终端装置等。
本公开中的终端装置具有:通信部;透射式面板,其显示图像,且受理描绘;显示部,其与可视透射式面板重叠;拍摄部,其配置于可视显示部附近,对用户进行拍摄;以及控制部,其通过可视通信部进行通信,其中,可视控制部从其他终端装置接受用于显示基于使用该其他终端装置的其他用户的拍摄图像来表示该其他用户的模型图像的信息、和该其他用户通过描绘工具在该其他终端装置的透射式面板上描绘而成的描绘图像的信息,并将可视模型图像显示于该终端装置的可视显示部,并且将可视其他用户的保持可视描绘工具的手的手图像和可视描绘图像显示于该终端装置的可视透射式面板。
根据本公开中的终端装置等,能够提高使用了透射式面板的交流中的真实性。
附图说明
图1是表示通话系统的结构例的图。
图2是表示使用终端装置的用户的形态的图。
图3A是表示由终端装置进行的显示的例子的图。
图3B是表示由终端装置进行的显示的例子的图。
图4是表示通话系统的动作例的顺序图。
图5A是表示终端装置的动作例的流程图。
图5B是表示终端装置的动作例的流程图。
图6A是表示由终端装置进行的显示的例子的图。
图6B是表示由终端装置进行的显示的例子的图。
附图标记说明:
1…通话系统;10…服务器装置;11…网络;12…终端装置;101、111…通信部;102、112…存储部;103、113…控制部;105…输入部;106…输出部;115…输入输出部;117…拍摄部。
具体实施方式
以下,对实施方式进行说明。
图1是表示1个实施方式中的通话系统1的结构例的图。通话系统1具有以经由网络11相互能够进行信息通信的方式连接的服务器装置10和多个终端装置12。通话系统1是用于用户使用终端装置12收发图像、声音等而能够相互进行虚拟的面对面交流(以下称为虚拟面对面交流)的系统。
服务器装置10例如属于云计算系统或其他计算系统,是作为安装各种功能的服务器而发挥功能的服务器计算机。服务器装置10也可以由以能够进行信息通信的方式连接来进行协作动作的2个以上的服务器计算机构成。服务器装置10执行提供虚拟面对面交流而所需的信息的收发以及信息处理。
终端装置12是具备通信功能和图像、声音等的输入输出功能的信息处理装置,由用户使用。终端装置12具备信息处理装置和透射式触摸面板,其中,信息处理装置具有通信功能以及图像等的显示功能。终端装置12也可以是虚拟面对面交流专用的装置,例如也可以将智能手机、平板终端、个人计算机、数字标牌等与透射式触摸面板组合起来而构成。
网络11例如是因特网,但包括自组织网络、LAN(Local Area Network:局域网)、MAN(MetropolitanArea Network:城域网)或其他网络或这些网络的任意组合。
在本实施方式中,终端装置12从其他终端装置12接受用于显示基于使用其他终端装置12的其他用户的拍摄图像来表示其他用户的模型图像的信息、和其他用户利用描绘工具在其他终端装置12的透射式触摸面板上描绘而成的描绘图像的信息,并使模型图像显示于自身的显示部,并且使保持描绘工具的手的手图像和描绘图像显示于自身的透射式触摸面板。即使在因对拍摄图像进行拍摄的拍摄部的位置以及视角而导致其他用户的保持描绘工具的手未映现在拍摄图像中的情况下,也能够通过对手图像进行补充来提高所显示的模型图像的真实性。
对服务器装置10与终端装置12各自的结构进行详述。
服务器装置10具有通信部101、存储部102、控制部103、输入部105以及输出部106。在服务器装置10由2个以上的服务器计算机构成的情况下,这些结构适当地被配置于2个以上的计算机中。
通信部101包括1个以上的通信用接口。通信用接口例如是LAN接口。通信部101接收在服务器装置10的动作中所使用的信息,另外发送由服务器装置10的动作而得到的信息。服务器装置10通过通信部101与网络11连接,并经由网络11与终端装置12进行信息通信。
存储部102例如包括作为主存储装置、辅助存储装置或高速缓冲存储器而发挥功能的1个以上的半导体存储器、1个以上的磁存储器、1个以上的光存储器或它们中的至少2种的组合。半导体存储器例如是RAM(Random Access Memory:随机存取存储器)或ROM(ReadOnly Memory:只读存储器)。RAM例如是SRAM(Static RAM:静态随机存取存储器)或DRAM(Dynamic RAM:动态随机存取存储器)。ROM例如是EEPROM(Electrically ErasableProgrammable ROM:电可擦除可编程只读存储器)。存储部102储存在服务器装置10的动作中所使用的信息和通过服务器装置10的动作而得到的信息。
控制部103包括1个以上的处理器、1个以上的专用电路、或它们的组合。处理器例如是CPU(Central Processing Unit:中央处理器)等通用处理器,或专用于特定的处理的GPU(Graphics Processing Unit:图形处理器)等专用处理器。专用电路例如是FPGA(Field-Programmable Gate Array:现场可编程门阵列)、ASIC(ApplicationSpecificIntegrated Circuit:专用集成电路)等。控制部103一边对服务器装置10的各部进行控制,一边执行服务器装置10的动作所涉及的信息处理。
输入部105包括1个以上的输入用接口。输入用接口例如是物理按键、静电电容按键、指示设备、与显示器设置为一体的触摸面板、或受理声音输入的麦克风。输入部105受理对在服务器装置10的动作中所使用的信息进行输入的操作,并将所输入的信息发送至控制部103。
输出部106包括1个以上的输出用接口。输出用接口例如是显示器或扬声器。显示器例如是LCD(Liquid Crystal Display:液晶显示器)或有机EL(Electro-Luminescence:电致发光)显示器。输出部106输出通过服务器装置10的动作而得到的信息。
服务器装置10的功能通过控制部103所包含的处理器执行控制程序来实现。控制程序是用于使计算机作为服务器装置10而发挥功能的程序。另外,服务器装置10的一部分或全部功能也可以通过控制部103所包含的专用电路来实现。另外,控制程序也可以储存于服务器装置10能够读取的非暂时性的记录、存储介质,从而服务器装置10从介质来读取控制程序。
终端装置12具有通信部111、存储部112、控制部113、输入输出部115以及拍摄部117。
通信部111具有与有线或无线LAN标准对应的通信模块、与LTE、4G、5G等移动体通信标准对应的模块等。终端装置12通过通信部111经由附近的路由器装置或移动体通信的基站与网络11连接,并经由网络11与服务器装置10等进行信息通信。
存储部112包括1个以上的半导体存储器、1个以上的磁存储器、1个以上的光存储器、或这些存储器中的至少2种的组合。半导体存储器例如是RAM或ROM。RAM例如是SRAM或DRAM。ROM例如是EEPROM。存储部112例如作为主存储装置、辅助存储装置或高速缓冲存储器而发挥功能。存储部112储存在控制部113的动作中所使用的信息、以及通过控制部113的动作而得到的信息。
控制部113具有例如CPU、MPU(Micro Processing Unit:微处理器)等1个以上的通用处理器、或专用于特定的处理的GPU等1个以上的专用处理器。或者,控制部113也可以具有1个以上的FPGA、ASIC等专用电路。控制部113通过按照控制、处理程序进行动作,或按照作为电路安装的动作顺序进行动作,对终端装置12的动作统一进行控制。而且,控制部113经由通信部111与服务器装置10等进行各种信息的收发,执行本实施方式所涉及的动作。
控制部113的功能通过控制部113所包含的处理器执行控制程序来实现。控制程序是用于使处理器作为控制部113而发挥功能的程序。另外,控制部113的一部分或全部功能也可以通过控制部113所包含的专用电路来实现。另外,控制程序也可以储存于终端装置12能够读取的非暂时性的记录、存储介质,从而终端装置12从介质来读取控制程序。
输入输出部115包括透射式触摸面板、显示器以及1个以上的输入用及输出用接口。输入输出部115基于手指、指示设备等相对于透射式触摸面板的接触位置的位移来检测描绘图像的输入,并将检测出的信息发送至控制部113。另外,透射式触摸面板构成为包括透射式显示器,显示从控制部113送来的图像、以及与指示设备等的接触对应的图像等的信息。显示器例如是LCD或有机EL显示器,显示从控制部113送来的图像等的信息。输入用接口例如包括物理按键、静电电容按键、指示设备。另外,输入用接口包括受理声音输入的麦克风。并且,输入用接口也可以包括扫描图像码的扫描仪或照相机、IC卡读取器。输出用接口例如包括扬声器。输入输出部115受理对在控制部113的动作中使用的信息进行输入的操作,并将所输入的信息发送至控制部113,另外,输出通过控制部113的动作而得到的信息。
拍摄部117包括拍摄被拍摄体的基于可见光的拍摄图像的照相机、和测定至被拍摄体为止的距离来取得距离图像的测距传感器。照相机例如以每秒15~30帧拍摄被拍摄体来生成由连续的拍摄图像构成的动态图像。测距传感器包括ToF(Time Of Flight:飞行时间)照相机、LiDAR(Light DetectionAnd Ranging:光探测与测距)、立体照相机,并生成被拍摄体的包含距离信息的距离图像。拍摄部117将拍摄图像和距离图像发送至控制部113。
图2表示输入输出部115的透射式触摸面板、显示器以及拍摄部117的照相机的配置的例子。透射式触摸面板21位于显示器22与用户23之间。用户23能够经由透射式触摸面板21看到显示于显示器22的其他用户的模型图像,且通过描绘工具24在透射式触摸面板21上描绘图像。通过从用户23隔着透射式触摸面板21设置显示器22,并在显示器22上显示其他用户的模型图像,能够提高宛如与其他用户一边经由透射式触摸面板21进行描绘一边进行交流那样的用户体验的真实性。通过该结构,例如,与在透射式触摸面板21上显示其他用户的模型图像的情况相比,能够产生伴有深度的真实性。照相机20设置于显示器22的附近,例如设置于上方。若将照相机20设置于与显示器22重叠的位置,则照相机20有可能遮挡显示于显示器22的图像,或者在透射式触摸面板21上描绘的描绘图像有可能遮挡照相机20对用户23的拍摄。关于这一点,通过将照相机20设置于显示器22的上方,能够不遮挡图像的显示或不遮挡拍摄而透过透射式触摸面板21对用户23进行拍摄。
在如上述那样构成的终端装置12中,控制部113通过拍摄部117取得用户23的拍摄图像和距离图像。另外,控制部113通过输入输出部115的麦克风收集用户23发出的声音。并且,控制部113从输入输出部115取得用户23在输入输出部115的透射式触摸面板21上描绘的描绘图像的信息。控制部113对用于生成用户23的模型图像的用户23的拍摄图像和距离图像、用户23描绘出的描绘图像、以及用于再现用户23的声音的声音信息进行编码来生成编码信息。模型图像例如是3D模型、2D模型等,但以下将3D模型作为例子。在编码时,控制部113也可以对拍摄图像等进行任意的加工处理(例如分辨率变更、修剪)。这里,存在因照相机20位于显示器22而导致用户23的保持描绘工具24的手25无法进入照相机20的视角的范围26的情况。因此,控制部113从3D模型中省略手25。另外,控制部113基于用户23的拍摄图像导出描绘图像相对于用户23的位置。例如,基于照相机20与透射式触摸面板21的位置关系、用户23相对于照相机20的位置关系、以及透射式触摸面板21中的描绘图像的位置,导出描绘图像相对于用户23的位置。然后,控制部113以与导出的位置对应的方式决定相对于用户23的3D模型显示描绘图像的位置。该位置的信息也包含在编码信息中。控制部113通过通信部111经由服务器装置10将编码信息发送至其他终端装置12。
另外,控制部113通过通信部111接受从其他终端装置12经由服务器装置10发送来的编码信息。控制部113若对从其他终端装置12收到的编码信息进行解码,则使用解码后的信息,生成表示使用其他终端装置12的其他用户的3D模型。在生成3D模型时,控制部113使用其他用户的距离图像生成多边形模型,并对多边形模型实施使用了其他用户的拍摄图像的纹理映射,由此生成其他用户的3D模型。但是,对于3D模型的生成,不限于这里所示的例子,可以采用任意的方法。控制部113生成从虚拟的视点观察包含3D模型的虚拟空间而得的构思图像。虚拟的视点例如是用户23的眼睛的位置。控制部113根据用户23的拍摄图像导出眼睛相对于任意基准的空间坐标,并与虚拟空间内的空间坐标建立对应。任意的基准例如是照相机20的位置。其他用户的3D模型配置于相对于虚拟的视点例如能够取得目光接触的位置、角度。此时,其他用户的手25的模型被省略。控制部113使构思图像显示于显示器22,且使保持描绘工具的手的手图像和描绘图像显示于透射式触摸面板21。手图像是包含描绘工具的图像在内的保持描绘工具的手的图像,预先储存于存储部112。控制部113通过输入输出部115显示显示用图像,且输出基于其他用户的声音信息的其他用户发出的声音。
图3A表示显示其他用户的3D模型的例子。在位于透射式触摸面板21的后方的显示器22上显示有其他用户的3D模型30。另一方面,在透射式触摸面板21上显示手图像33和描绘图像32。如在图3B中放大所示那样,手图像33是表示从描绘工具的前端侧或手掌侧观察描绘工具和保持有描绘工具的手腕的前方部分的形态的图像。通过将手图像33和描绘图像32显示于近前的透射式触摸面板21,对其他用户的3D模型30赋予进一步的立体感。因此,能够提高所显示的3D模型的真实性。
图4是用于说明通话系统1的动作顺序的顺序图。该顺序图表示服务器装置10以及多个终端装置12(在对各个进行区别时,为了方便,称为终端装置12A及12B)的协同动作所涉及的顺序。该顺序是终端装置12A呼叫终端装置12B时的顺序。在多个终端装置12B被呼叫的情况下,这里所示的终端装置12B所涉及的动作顺序由多个终端装置12B的每一个执行,或者由多个终端装置12B的每一个和服务器装置10执行。
图4中的涉及服务器装置10以及终端装置12的各种信息处理的步骤由各个控制部103及113来执行。另外,涉及服务器装置10以及终端装置12的各种信息的收发的步骤通过各个控制部103及113分别经由通信部101及111相互收发信息来执行。在服务器装置10以及终端装置12中,各个控制部103及113将分别收发的信息适当地储存于存储部102及112。并且,终端装置12的控制部113通过输入输出部115受理各种信息的输入,并通过输入输出部115输出各种信息。
在步骤S400中,终端装置12A受理来自该用户对设定信息的输入。设定信息包括通话的时间表、通话对象的清单等。清单包括通话对象的用户名和各用户的邮件地址。然后,在步骤S401中,终端装置12A将设定信息发送至服务器装置10。服务器装置10接受从终端装置12A发送来的信息。例如,终端装置12A从服务器装置10取得设定信息的输入画面,并将输入画面显示给用户。然后,通过用户在输入画面中输入设定信息,将设定信息发送至服务器装置10。
在步骤S402中,服务器装置10基于设定信息来确定通话对象。控制部103将设定信息与通话对象的信息以建立对应的方式储存于存储部102。
在步骤S403中,服务器装置10将认证信息发送至终端装置12B。认证信息是用于确定并认证使用终端装置12B的通话对象的ID、密码等信息。这些信息例如附加在电子邮件中被送来。终端装置12B接受从服务器装置10送来的信息。
在步骤S405中,终端装置12B将已从服务器装置10接受的认证信息和认证申请的信息发送至服务器装置10。通话对象对终端装置12B进行操作,使用从服务器装置10送来的认证信息来申请认证。例如,终端装置12B访问服务器装置10提供的用于通话的网站来取得认证信息和用于认证申请的信息的输入画面,并将输入画面显示给通话对象。然后,终端装置12B受理通话对象输入的信息并将其发送至服务器装置10。
在步骤S406中,服务器装置10进行通话对象的认证。在存储部102中,将终端装置12B的识别信息与通话对象的识别信息以建立对应的方式进行储存。
在步骤S408及S409中,服务器装置10将通话的开始通知分别发送至终端装置12A及12B。若终端装置12A及12B分别接受了从服务器装置10送来的信息,则分别开始对用户的拍摄和对发出声音的收集。
在步骤S410中,经由服务器装置10,通过终端装置12A及12B执行包含用户间的通话在内的虚拟面对面交流。终端装置12A及12B经由服务器装置10相互收发用于显示表示各用户的3D模型的信息、描绘图像以及发出声音的信息。另外,终端装置12A及12B向各用户输出包含表示其他用户的3D模型在内的图像和其他用户发出的声音。
图5A、5B是对涉及虚拟面对面交流的执行的终端装置12的动作顺序进行说明的流程图。这里所示的顺序是在终端装置12A及12B中共通的顺序,不对终端装置12A及12B进行区别地来说明。
图5A涉及各终端装置12送出用于显示使用该终端装置12的本用户的3D模型的信息时的控制部113的动作顺序。
在步骤S502中,控制部113进行可见光图像及距离图像的取得、描绘图像的取得以及声音的收集。控制部113通过拍摄部117进行任意设定的帧速率下的本用户的可见光图像的拍摄以及距离图像的取得。另外,控制部113通过输入输出部115取得描绘图像。并且,控制部113通过输入输出部115收集本用户发出的声音。
在步骤S503中,控制部113决定手图像。控制部113对拍摄图像进行包含图案匹配在内的任意的图像处理,来推断本用户的属性。属性是惯用手、性别、年龄等。惯用手即是把持描绘工具的手的左右的区别。在存储部112中,预先储存左手及右手的手图像。手图像包括不同性别或每个年龄段的手图像。该手图像基于性别或年龄段不同的模型的手的图像而预先制成。控制部113选择并决定与推断出的属性对应的手图像。或者,控制部113也可以从过去的拍摄图像中提取手图像。在本用户的描绘动作中,由于在照相机20的视角的范围包含描绘工具和保持该描绘工具的手的部分,所以存在在拍摄图像中包含保持描绘工具的手的图像的情况。控制部113也可以对该拍摄图像进行检测,并从拍摄图像中提取手图像。
在步骤S504中,控制部113对拍摄图像、距离图像、手图像、描绘图像以及声音信息进行编码,并生成编码信息。
在步骤S506中,控制部113通过通信部111将编码信息分组化,并以其他终端装置12为目标向服务器装置10送出。
若取得用于中断拍摄、声音收集或用于退出虚拟面对面交流的与本用户的操作对应地被输入的信息(S508的是),则控制部113结束图5A的处理顺序,在未取得与用于中断或退出的操作对应的信息的期间(S508的否),执行步骤S502~S506,以其他终端装置12为目标向服务器装置送出用于显示表示本用户的3D模型的信息、描绘图像以及用于输出声音的信息。此外,步骤S503中的手图像的决定可以在步骤S502~S506的每个处理循环中执行,也可以在每几个循环等中在任意时机执行。
图5B涉及终端装置12输出其他用户的3D模型的图像、手图像、描绘图像以及声音时的控制部113的动作顺序。控制部113若经由服务器装置10接受通过其他终端装置12执行图5A的顺序而送出的信息包,则执行步骤S510~S513。
在步骤S510中,控制部113对从其他终端装置12接受了的信息包所含的编码信息进行解码来取得拍摄图像、距离图像、手图像、描绘图像以及声音信息。
在步骤S511中,控制部113设定显示其他用户的3D模型时的手图像。控制部113将从其他终端装置12送来的手图像设定为用于显示的图像。
在步骤S512中,控制部113基于拍摄图像以及距离图像生成表示其他终端装置12的本用户的3D模型。在从多个其他终端装置12接受信息的情况下,控制部113针对其他终端装置12的每一个而执行步骤S510~S512,从而生成各本用户的3D模型。
在步骤S513中,控制部113将表示其他用户的3D模型配置于虚拟空间。在存储部112中,预先储存有虚拟空间的坐标信息、和每个其他用户的例如根据已认证的顺序应配置3D模型的坐标的信息。控制部113将已生成的3D模型配置于虚拟空间内的坐标上。
在步骤S514中,控制部113生成显示用图像。控制部113生成从虚拟的视点拍摄配置于虚拟空间的3D模型而得的构思图像。
在步骤S516中,控制部113通过输入输出部115来显示显示用图像、手图像以及描绘图像,并输出声音。控制部113将显示用图像显示于显示器22,将手图像和描绘图像显示于透射式触摸面板21。此时,控制部使手图像的显示位置与显示用图像所包含的3D模型的手的位置对应。另外,控制部113使手图像的角度旋转以使其与3D模型的前臂部的角度一致。例如,如图6A所示,控制部113使手图像33相对于水平方向的倾斜的角度θ与3D模型的前臂部60相对于水平方向的角度θ一致。另外,如图6B所示,在前臂部60的倾斜的角度θ伴随其他用户的动作变化为不同角度θ′的情况下,控制部113使手图像33旋转,以使手图像33相对于水平方向的倾斜成为角度θ′。这样的话,本用户能够视觉上看到更自然的3D模型和手图像。
通过控制部113反复执行步骤S510~S516,本用户能够一边看到包含其他用户的3D模型和该3D模型所描绘的描绘图像在内的动画,一边听到其他用户发出的声音。此外,由于步骤S511中的手图像的设定可以在步骤S510~S516的每个处理循环中执行,也可以在每几个循环等中在任意时机来执行。
在变形例中,代替在图5A的步骤S503中决定手图像,而在图5B的步骤S511中决定并设定手图像。例如,控制部113取得在其他终端装置12中在步骤S503中推断出的其他用户的属性,在步骤S512中,从预先储存于存储部112的手图像中提取与其他用户的属性一致的手图像,由此决定手图像。并且,控制部113能够设定所决定的手图像。
如上所述,根据本实施方式,能够提高使用了透射式触摸面板的交流中的真实性。
在上述例子中,终端装置12从其他终端装置12接受用于生成其他用户的3D模型的信息即拍摄图像、距离图像等,之后生成3D模型,从而生成在虚拟空间配置有3D模型的构思图像。然而,3D模型的生成、构思图像的生成等处理也可以适当地在终端装置12间分散进行。例如,也可以由其他终端装置12基于拍摄图像等生成其他用户的3D模型,接受了3D模型的信息的终端装置12使用该3D模型来生成构思图像。
在上述例子中,对模型图像是3D模型的情况进行了说明。然而,模型图像也可以是2D模型。通过在显示器上显示其他用户的2D模型并在其近前的透射式触摸面板上显示其他用户的手图像这样的立体构造,能够通过比较简易的结构来表现深度。
在上述中,基于各附图及实施例对实施方式进行了说明,但如果是本领域技术人员,应注意的是,基于本公开进行各种变形及修正是容易的。因此,应注意的是,这些变形及修正包含在本公开的范围内。例如,各部分、各步骤等所包含的功能等能够以逻辑上不矛盾的方式进行再配置,能够将多个部分、步骤等组合为1个或进行分割。
Claims (5)
1.一种终端装置,具有:
通信部;
透射式面板,其显示图像,且受理描绘;
显示部,其与所述透射式面板重叠;
拍摄部,其配置于所述显示部附近,对用户进行拍摄;以及
控制部,其通过所述通信部进行通信,其中,
所述控制部从其他终端装置接受用于显示基于使用该其他终端装置的其他用户的拍摄图像来表示该其他用户的模型图像的信息、和该其他用户通过描绘工具在该其他终端装置的透射式面板上描绘而成的描绘图像的信息,并将所述模型图像显示于该终端装置的所述显示部,并且将所述其他用户的保持所述描绘工具的手的手图像和所述描绘图像显示于该终端装置的所述透射式面板。
2.根据权利要求1所述的终端装置,其中,
所述控制部使所述手图像与所述模型图像的臂的角度对应。
3.根据权利要求1所述的终端装置,其中,
所述控制部使用与所述模型图像中的所述其他用户的惯用手对应的所述手图像。
4.根据权利要求1所述的终端装置,其中,
所述控制部使用与所述模型图像中的所述其他用户的属性对应的所述手图像。
5.根据权利要求1所述的终端装置,其中,
所述控制部从所述其他终端装置接受从所述拍摄图像提取的所述手图像,并使用该手图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022162659A JP2024055596A (ja) | 2022-10-07 | 2022-10-07 | 端末装置 |
JP2022-162659 | 2022-10-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117857770A true CN117857770A (zh) | 2024-04-09 |
Family
ID=90529383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311282336.7A Pending CN117857770A (zh) | 2022-10-07 | 2023-09-28 | 终端装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240121359A1 (zh) |
JP (1) | JP2024055596A (zh) |
CN (1) | CN117857770A (zh) |
-
2022
- 2022-10-07 JP JP2022162659A patent/JP2024055596A/ja active Pending
-
2023
- 2023-09-28 CN CN202311282336.7A patent/CN117857770A/zh active Pending
- 2023-10-05 US US18/481,233 patent/US20240121359A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2024055596A (ja) | 2024-04-18 |
US20240121359A1 (en) | 2024-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10460512B2 (en) | 3D skeletonization using truncated epipolar lines | |
CN109743626B (zh) | 一种图像显示方法、图像处理方法和相关设备 | |
JP6976395B1 (ja) | 配信装置、配信システム、配信方法及び配信プログラム | |
WO2024169314A1 (zh) | 一种可形变神经辐射场网络的构建方法和装置 | |
CN117857770A (zh) | 终端装置 | |
US20240129439A1 (en) | Terminal apparatus | |
CN117857771A (zh) | 终端装置 | |
US20230386096A1 (en) | Server apparatus, system, and operating method of system | |
US20240127769A1 (en) | Terminal apparatus | |
US20240220176A1 (en) | Terminal apparatus | |
US20230247383A1 (en) | Information processing apparatus, operating method of information processing apparatus, and non-transitory computer readable medium | |
US20240221549A1 (en) | Terminal apparatus | |
CN116893764A (zh) | 终端装置、终端装置的动作方法及非暂时性计算机可读取介质 | |
US20230196703A1 (en) | Terminal apparatus, method of operating terminal apparatus, and system | |
US20230247127A1 (en) | Call system, terminal apparatus, and operating method of call system | |
JP2024095387A (ja) | 端末装置及び端末装置の動作方法 | |
JP2024095409A (ja) | 端末装置 | |
WO2022181379A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20230186581A1 (en) | Terminal apparatus, method of operating terminal apparatus, and system | |
US20240202944A1 (en) | Aligning scanned environments for multi-user communication sessions | |
JP2024101886A (ja) | 端末装置 | |
CN117768599A (zh) | 处理图像的方法、装置、系统、电子设备和存储介质 | |
JP2024109394A (ja) | 端末装置 | |
JP2024044908A (ja) | 方法、プログラム、及び端末装置 | |
CN116193246A (zh) | 用于拍摄视频的提示方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |