CN112540739A - 一种投屏方法及系统 - Google Patents

一种投屏方法及系统 Download PDF

Info

Publication number
CN112540739A
CN112540739A CN201910902574.0A CN201910902574A CN112540739A CN 112540739 A CN112540739 A CN 112540739A CN 201910902574 A CN201910902574 A CN 201910902574A CN 112540739 A CN112540739 A CN 112540739A
Authority
CN
China
Prior art keywords
display screen
screen
hand
target display
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910902574.0A
Other languages
English (en)
Other versions
CN112540739B (zh
Inventor
马瑞
刘刚
黄为
于海
黄晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN202311343439.XA priority Critical patent/CN117539420A/zh
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910902574.0A priority patent/CN112540739B/zh
Priority to JP2022506256A priority patent/JP7419495B2/ja
Priority to KR1020227012657A priority patent/KR20220062400A/ko
Priority to PCT/CN2020/104918 priority patent/WO2021052008A1/zh
Priority to EP20866475.5A priority patent/EP3979065A4/en
Priority to BR112022005155A priority patent/BR112022005155A2/pt
Publication of CN112540739A publication Critical patent/CN112540739A/zh
Priority to US17/699,506 priority patent/US20220214855A1/en
Application granted granted Critical
Publication of CN112540739B publication Critical patent/CN112540739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/577—Mirror link with mobile devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2129—Authenticate client device independently of the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00—Detection of the display position w.r.t. other display screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Abstract

本申请涉及人工智能领域，提供了一种投屏方法或系统。所述投屏方法包括，通过传感器获取的图像信息确定手持设备的显示屏朝向；当确定所述手持设备的显示屏朝向满足预设朝向时，通过目标显示屏显示所述手持设备的屏幕内容或通知所述手持设备将屏幕内容通过目标显示屏显示。本方案可应用于智能驾驶或自动驾驶领域车内环境中手持设备等智能设备的投屏操作，也可以用于家庭或办公场景下的投屏操作，通过对用户行为和/或手持终端等智能设备状态的检测确定是否进行投屏，实现了更加方便高效的投屏操作。

Description

一种投屏方法及系统
技术领域
本申请涉及用户行为识别技术领域，尤其涉及通过对用户行为进行分析来实现更高效快捷的投屏方法及系统。
背景技术
众所周知，手持智能终端投屏技术的应用已非常普遍，主要应用于通过特定操作使电视等视频播放设备能够显示手持智能终端设备的屏幕相关信息，通常为显示手持智能终端的当前屏幕显示内容或者终端的菜单界面。
近年来随着自动驾驶技术的发展，车内智能座舱相关技术研究的发展，旨在利用车内的智能环境在驾驶过程中为用户提供更加智能化的服务。其中如何更好的将手持设备的屏幕显示投屏到车内显示装置上也是用户在乘坐或者驾驶车辆过程中的重要需求之一。
现有的车内的手持终端投屏技术，主要有插线式和无线式两种方式，虽然现有的车内投屏方案极大地丰富了用户在车内娱乐、通讯等领域的用户体验，但在具体的手持终端投屏的启动手段上，这两种启动方式均存在操作繁琐、投屏内容不实时同步的问题。
插线式的车内投屏启动方式，通常为插线后寻找相应的投屏按钮并进行点击，根据用户的点击操作启动投屏，主要缺点为通过插线的方式实现手持终端和车机连接，需随身携带一根USB线，使用起来并不方便；无线式的车内投屏启动方式通常为，手持终端与车机进行蓝牙连接后寻找相应的投屏按钮并进行点击，根据用户的点击操作启动投屏，在此类方案中虽然通过无线的方式实现手持终端和车机连接，但是仍然需要用户在中控界面中寻找对应的启动按钮，操作层级较深，步骤复杂。
如何更加方便的实现手持设备的投屏操作，且在用户需要投屏时准确的判断出用户的投屏意图，在提升操作方便性的同时减少误操作误识别的可能性，提升用户投屏体验是本方案所关注的重点。
发明内容
本申请实施例提供了一种投屏方法及系统，能够应用于智能驾驶，智能家居，智能电视，智慧大屏等多种应用场景，通过分析用户的行为意图，手持终端的当前状态从而实现准确便捷的投屏操作，使得用户想要进行投屏时不再需要进行繁复的点击操作，同时由于能够对用户行为进行综合的分析来考量用户的意图，也避免了在简化操作的同时带来误操作情况增加的可能性，确保了用户意图判断的准确性。
第一方面，本发明实施例提供了一种投屏方法，基于传感器获取的图像信息确定第一设备的显示屏朝向；当确定所述第一设备的显示屏朝向满足预设朝向时，通过目标显示屏显示所述第一设备的屏幕内容或通知所述第一设备将屏幕内容通过目标显示屏显示。
通过判断第一设备的屏幕朝向来确定是否进行投屏，简化了用户的投屏操作。
其中，当确定所述第一设备的显示屏朝向满足预设朝向时，通知所述第一设备将屏幕内容通过目标显示屏显示，具体实现可以是：当确定所述第一设备的显示屏朝向为朝向所述目标显示屏时，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
通过显示屏朝向目标显示屏作为判断是否投屏的触发条件，在简化投屏操作的同时，可以有效避免误操作，因为通常正常的使用状态下手持设备的显示屏是朝向用户的。
当确定所述第一设备的显示屏朝向满足预设朝向时，通过目标显示屏显示所述第一设备的屏幕内容，具体实现时可以是：当确定所述第一设备的显示屏朝向为朝向所述目标显示屏时，确认获得所述第一设备的授权信息则通过所述目标显示屏显示所述第一设备的屏幕内容。
通过确认是否授权，然后进行投屏操作，可以在简化投屏操作的同时保证用户是允许投屏操作的，避免出现未经许可而进行投屏操作，例如，可以有效防止其他人在未经许可的情况下使用用户的手持设备投放其屏幕内容。
第一方面的投屏方法还可以包括：基于传感器获取的视频或者多帧图像信息确定存在有手部靠近目标显示屏的动作；当确定存在有手部靠近目标显示屏的动作，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
第一方面的投屏方法还可以包括：基于传感器获取的手部到所述传感装置的距离信息，确定所述手部到所述目标显示屏的距离小于预设值；当确定所述手部到所述目标显示屏的距离小于预设值，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
第一方面的投屏方法还可以包括：基于传感器获取的图像信息确定手部持有所述第一设备；当确定手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
第一方面的投屏方法还可以包括：基于传感器获取的视频或者多帧图像信息确定存在有手部靠近目标显示屏的动作；基于传感器获取的图像信息确定手部持有所述第一设备；当确定存在有手部靠近目标显示屏的动作，且所述手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
上述确定动作发生的先后顺序不做限定。
第一方面的投屏方法还可以包括：基于传感器获取手部到所述传感装置的距离信息，确定所述手部到所述目标显示屏的距离小于预设值；基于传感器获取的图像信息确定手部持有所述第一设备；当确定所述手部到所述目标显示屏的距离小于预设值，且所述手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
通过增加其他的判断条件，共同来判断用户的投屏意图，可以进一步降低误操作的风险，同时手部靠近和判断是否手持也是用户进行投屏时的简单易实施的动作。
其中，所述基于传感器获取的图像信息确定手部持有所述第一设备，包括：根据所述传感器获取的图像信息中所述手部和所述第一设备的交叠面积占比来确定所述手部持有所述第一设备。
通过判断交叠面积来判断是否手持有手持设备，能够有效识别出用户的手部动作是否持握有手持设备。
第一方面的投屏方法还可以包括：基于传感器获取的图像信息确定所述第一设备的姿态；根据所述第一设备的姿态确定所述目标显示屏的投屏显示方式。
通过增加位姿的判断来确定投屏的方式，在简化投屏操作的同时可以使得投屏的功能更加丰富，满足用户的多样化的需求。
第一方面的投屏方法，在具体实现时还可以通过训练一个神经网络来输出两个判断结果的结论。即，第一方面的投屏方法中，确定手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，具体实现时可以是：基于传感器获取的图像信息，根据同一神经网络模型判断所述用户是否手持有第一设备，以及判断所述第一设备的显示屏朝向。
第二方面，本发明实施例还公开了一种投屏系统，所述系统包括目标显示屏，至少一个处理器；所述至少一个处理器基于传感器获取的图像信息确定第一设备的显示屏朝向；当所述至少一个处理器确定所述第一设备的显示屏朝向满足预设朝向时，通过目标显示屏显示所述第一设备的屏幕内容或通知所述第一设备将屏幕内容通过目标显示屏显示。
其中，当所述至少一个处理器确定所述第一设备的显示屏朝向满足预设朝向时，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示，具体实现方式可以是：当所述至少一个处理器确定所述第一设备的显示屏朝向为朝向所述目标显示屏时，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
其中，当所述至少一个处理器确定所述第一设备的显示屏朝向满足预设朝向时，通过目标显示屏显示所述第一设备的屏幕内容可以具体实现可以为：当确定所述第一设备的显示屏朝向为朝向所述目标显示屏时，确认获得所述第一设备的授权信息则通过所述目标显示屏显示所述第一设备的屏幕内容。
其中，所述至少一个处理器还可以基于传感器获取的视频或者多帧图像信息确定存在有手部靠近目标显示屏的动作；
当所述至少一个处理器确定存在有手部靠近目标显示屏的动作，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
其中，所述至少一个处理器还可以基于传感器获取的手部到所述传感装置的距离信息，确定所述手部到所述目标显示屏的距离小于预设值；当所述至少一个处理器确定所述手部到所述目标显示屏的距离小于预设值，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
其中，所述至少一个处理器还可以基于传感器获取的图像信息确定手部持有所述第一设备；当所述至少一个处理器确定手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
其中，所述至少一个处理器还可以基于传感器获取的视频或者多帧图像信息确定存在有手部靠近目标显示屏的动作；基于传感器获取的图像信息确定手部持有所述第一设备；当所述至少一个处理器确定存在有手部靠近目标显示屏的动作，且所述手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
所述至少一个处理器还可以基于传感器获取手部到所述传感装置的距离信息，确定所述手部到所述目标显示屏的距离小于预设值；所述至少一个处理器基于传感器获取的图像信息确定手部持有所述第一设备；当所述至少一个处理器确定所述手部到所述目标显示屏的距离小于预设值，且所述手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
所述至少一个处理器基于传感器获取的图像信息确定手部持有所述第一设备，具体实现可以是：所述至少一个处理器根据所述传感器获取的图像信息中所述手部和所述第一设备的交叠面积占比来确定所述手部持有所述第一设备。
第二方面的投屏系统还可以包括，所述至少一个处理器还基于传感器获取的图像信息确定所述第一设备的姿态；所述至少一个处理器根据所述第一设备的姿态确定所述目标显示屏的投屏显示方式。
所述至少一个处理器确定手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，具体可以为：所述至少一个处理器基于传感器获取的图像信息，根据神经网络模型判断所述用户是否手持有第一设备，以及判断所述第一设备的显示屏朝向。
第三方面，本发明实施例还公开了一种投屏系统，所述系统包括图像采集单元，显示单元和确定单元；所述图像采集单元用于获取图像信息，发送给确定单元；所述确定单元用于基于图像采集单元获取的图像信息确定第一设备的显示屏朝向，当确定所述第一设备的显示屏朝向满足预设朝向时指示投屏；显示单元显示所述第一设备的屏幕内容。
所述确定单元指示投屏，具体实现可以是，通知第一设备，以使得第一设备将屏幕内容发送给目标显示屏。
其中，确定单元确定所述第一设备的显示屏朝向满足预设朝向时，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示，具体实现方式可以是：当确定单元确定所述第一设备的显示屏朝向为朝向所述目标显示屏时，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
其中，当确定单元确定所述第一设备的显示屏朝向满足预设朝向时，通过目标显示屏显示所述第一设备的屏幕内容可以具体实现可以为：当确定单元确定所述第一设备的显示屏朝向为朝向所述目标显示屏时，确认获得所述第一设备的授权信息则通过所述目标显示屏显示所述第一设备的屏幕内容。
其中，确定单元还可以基于其中一个图像采集单元获取的视频或者多帧图像信息确定存在有手部靠近目标显示屏的动作；当确定单元确定存在有手部靠近目标显示屏的动作，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
其中，投屏系统还可以包括距离获取单元，确定单元还可以基于距离获取单元获取的手部到所述传感装置的距离信息，确定所述手部到所述目标显示屏的距离小于预设值；当确定单元确定所述手部到所述目标显示屏的距离小于预设值，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
其中，确定单元还可以基于其中一个图像采集单元获取的图像信息确定手部持有所述第一设备；当确定单元确定手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
其中，确定单元还可以基于图像采集单元获取的视频或者多帧图像信息确定存在有手部靠近目标显示屏的动作；基于传感器获取的图像信息确定手部持有所述第一设备；当确定单元确定存在有手部靠近目标显示屏的动作，且所述手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
确定单元还可以基于图像采集单元获取手部到所述传感装置的距离信息，确定所述手部到所述目标显示屏的距离小于预设值；确定单元基于传感器获取的图像信息确定手部持有所述第一设备；当确定单元确定所述手部到所述目标显示屏的距离小于预设值，且所述手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
确定单元基于图像采集单元获取的图像信息确定手部持有所述第一设备，具体实现可以是：确定单元根据所述传感器获取的图像信息中所述手部和所述第一设备的交叠面积占比来确定所述手部持有所述第一设备。
第二方面的投屏系统还可以包括，确定单元还基于图像采集单元获取的图像信息确定所述第一设备的姿态；确定单元根据所述第一设备的姿态确定所述目标显示屏的投屏显示方式。
确定单元确定手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，具体可以为：确定单元基于传感器获取的图像信息，根据神经网络模型判断所述用户是否手持有第一设备，以及判断所述第一设备的显示屏朝向。
其中上述不同条件中所涉及的图像采集单元采集的图像信息可以是相同也可以是不同的。
图像采集单元可以包括多个采集子单元，不同的图像信息可以是来自相同的或者不同的图像采集子单元。
第四方面，本申请实施例提供一种投屏方法，包括：基于传感器获取信息判断是否存在有手部靠近目标显示屏的动作；当判断存在手部靠近目标显示屏的动作，基于传感器获取的图像信息判断是否存在手持有待投屏设备；当判断为存在手部持有待投屏设备，基于传感器获取的图像信息判断所述待投屏设备的显示屏朝向；当所述待投屏设备的显示屏朝向满足预设朝向通过目标显示屏显示所述待投屏设备的屏幕内容或通知所述第一设备将屏幕内容通过目标显示屏显示。
上述方法中通过用户行为信息确定用户动作，以及是否手持优待投屏设备，以及投屏设备的朝向，然后综合判断确定用户的意图，然后进行投屏操作。简化了投屏步骤，使得用户可以单手进行投屏，同时通过行为检测，图像识别等的综合分析，确保了投屏意图识别的准确性。
可选的，第四方面中的基于传感器获取信息判断是否存在手部靠近目标显示屏的动作，其中的传感器获取信息可以是图像信息也可以是距离信息。
相应的，上述传感器可以是摄像头，也可以是深度相机或者雷达。
第四方面中的是否存在手部靠近目标显示屏的动作可以通过神经网络模型，例如3D卷积神经网络模型来进行用户的行为识别，识别用户的用户行为趋势。
第四方面中的上述行为识别模型的输入为视频或者具有时间顺序的多帧图像，输出结果为识别用户手部动为靠近目标显示屏的概率，或者输出结果为识别用户手部动是否为靠近目标显示屏的结论。
上述方法中通过神经网络模型能够实现用户行为行为的准确识别。保证最终用户意图行为分析结论的准确性。
进一步的，第四方面的投屏方法还可以基于传感器获取的图像信息确定所述第一设备的姿态；根据所述第一设备的姿态确定所述目标显示屏的投屏显示方式。
通过位姿的判断来识别用户想要的投屏方式，通过上述方式可以避免了用户手动选择或者设定投屏显示方式。
第五方面，本申请实施例提供一种投屏系统，包括至少一个处理器，所述至少一个处理器基于传感器获取信息判断是否存在有手部靠近目标显示屏的动作；当判断存在手部靠近目标显示屏的动作，基于传感器获取的图像信息判断是否存在手持有待投屏设备；当判断为存在手部持有待投屏设备，基于传感器获取的图像信息判断所述待投屏设备的显示屏朝向；当所述待投屏设备的显示屏朝向满足预设朝向通过目标显示屏显示所述待投屏设备的屏幕内容或通知所述第一设备将屏幕内容通过目标显示屏显示。
第六方面，本申请实施例提供一种投屏系统，包括至少一个确定单元，一个显示单元所述至少一个处理器基于传感器获取信息判断是否存在有手部靠近目标显示屏的动作；当判断存在手部靠近目标显示屏的动作，基于传感器获取的图像信息判断是否存在手持有待投屏设备；当判断为存在手部持有待投屏设备，基于传感器获取的图像信息判断所述待投屏设备的显示屏朝向；当所述待投屏设备的显示屏朝向满足预设朝向通过目标显示屏显示所述待投屏设备的屏幕内容或通知所述第一设备将屏幕内容通过目标显示屏显示。
第七方面，本申请实施例还提供一种计算机程序产品，可以用于执行本发明实施例中第一方面和第四方面的方法。
第八方面，本申请实施例还提供一种计算机可读存储介质，存储有计算机指令，通过运行计算机指令来执行本发明实施中第一方面和第四方面的方法。
可以看到，实施本申请实施例的技术方案，能够解决当前投屏操作复杂不方便的缺点，充分利用现有的车内环境，以及智能电视的显示设备上的传感器装置，通过获取用户行为信息，以及通过进行智能的用户行为分析来判断用户是否需要发起投屏操作，从而确定是否进行投屏，实现了准确便捷的投屏操作，同时能够有效避免在简化操作的同时带来误操作情况增加的可能性。同时提出适配各种横竖屏幕的投屏逻辑，通过识别手持终端状态准确判断横屏投屏或竖屏投屏，本发明的投屏方案不仅实现对车内显示屏的快捷投屏，也可延伸至电视、笔记本电脑、平板电脑、显示器等部属有传感装置如摄像头的智能电子设备。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1示出了本发明实施例的示例性的应用场景之一；
图2示出了本发明实施例的其他应用场景；
图3示出了本发明实施例中的投屏的方法的一种实现方式；
图4示出了本发明实施例的一种示例性的传感装置的部署图；
图5示出了本发明实施例的一种基于3DCNN的手部行为识别的实现方式；
图6示出了本发明实施例的一种基于2DCNN的手部行为识别的实现方式；
图7示出了本申请实施例的一种手部行为识别的实现方式；
图8示出了本申请实施例的一种手部行为识别的实现方式；
图9示出了本申请实施例的一种手持设备屏幕朝向的实现方式；
图10示出了本申请实施例的一种手持设备位姿识别的实现方式
图11示出了本发明实施例中的投屏的方法的一种实现方式；
图12示出了本发明实施例中的投屏的方法的一种实现方式；
图13示出了本发明实施例中的投屏系统的一种结构示意图；
图14示出了本发明实施例中的投屏系统的一种结构示意图；
图15示出了本发明实施例的一种手部行为和屏幕朝向的识别的实现方式。
具体实施方式
下面结合本申请实施例中的附图对本申请的具体实现方式进行举例描述。然而本申请的实现方式还可以包括在不脱离本申请的精神或范围的前提下将这些实施例组合，比如采用其它实施例和做出结构性改变。因此以下实施例的详细描述不应从限制性的意义上去理解。本申请的实施例部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
本申请的具体实施例中所提到的功能、模块、特征、单元等的一个或多个结构组成可以理解为由任何物理的或有形的组件(例如，由在计算机设备上运行的软件、硬件(例如，处理器或芯片实现的逻辑功能)等、和/或其它任何组合)以任何方式来实现。在某些实施例中，所示出的将附图中的将各种设备分成不同的模块或单元可以反映在实际实现中使用对应的不同的物理和有形的组件。可选的，本申请实施例附图中的单个模块也可以由多个实际物理组件来实现。同样，在附图中描绘的任何两个或更多个模块也可以反映由单个实际物理组件所执行的不同的功能。
关于本申请实施例的方法流程图，将某些操作描述为以一定顺序执行的不同的步骤。这样的流程图属于说明性的而非限制性的。可以将在本文中所描述的某些步骤分组在一起并且在单个操作中执行、可以将某些步骤分割成多个子步骤、并且可以以不同于在本文中所示出的顺序来执行某些步骤。可以由任何电路结构和/或有形机制(例如，由在计算机设备上运行的软件、硬件(例如，处理器或芯片实现的逻辑功能)等、和/或其任何组合)以任何方式来实现在流程图中所示出的各个步骤。
以下的说明可以将一个或多个特征标识为“可选的”。该类型的声明不应当被解释为对可以被认为是可选的特征的详尽的指示；即，尽管没有在文本中明确地标识，但其他特征可以被认为是可选的。此外，对单个实体的任何描述不旨在排除对多个这样的实体的使用；类似地，对多个实体的描述不旨在排除对单个实体的使用。最后，术语“示例性的”是指在潜在的许多实现中的一个实现。
本申请实施例主要为一种投屏方法，通过分析手持终端的当前状态和/或用户的行为意图从而分析判断用户是否有发起投屏的动机，基于用户投屏动机的判断来决定是否执行投屏操作，从而实现准确便捷的投屏操作，使得用户想要进行投屏时不再需要进行繁复的点击、选择、界面切换等操作。
本发明的方案不仅可以实现对车内中控屏的快捷准确的投屏，也可延伸至电视、笔记本电脑、平板电脑、显示器等带有如摄像头等传感装置的其它智能电子设备。
图1为本发明实施例的示例性的应用场景之一，车内投屏场景。通过车内处理器装置(图1未示出)对传感装置103，其中传感装置为车内自带或者外接的传感器设备，获取的当前用户手持设备的状态信息和/或用户手部行为信息，从而进行用户手持设备101的状态和/或用户行为的识别，从而确定用户意图判断是否进行投屏操作。
传感装置103获取用户手持设备的状态信息和/或用户手部行为信息，车内的车载控制系统如处理器装置基于传感装置103获取到的用户手持设备的状态信息和/或用户手部行为信息判断用户的意图，如是否为手部正在靠近车载显示屏102，如识别行为信息中手持设备101的状态，如是否是用户手握手持设备101，如手持设备101的屏幕朝向是否为朝向车载显示屏102基于上述识别的信息中的一种或多种判断是否将用户手持设备的屏幕内容进行投屏操作投屏到车内的车载显示装置102上进行显示。
更具体的场景，可以是，在用车过程中，用户用手持设备查找了一个目的地并开始导航，但是用手持设备屏幕查看导航信息有时会不方便，或者当用户希望通过车载显示屏来观看手持设备上的视频或者图像，或者希望将手持设备101上的APP投屏到车载显示装置102上进行操作，此时用户可以通过一个或多个约定的条件即可进行投屏操作，所述条件为可以触发系统识别出用户具有投屏意图的用户手持设备的状态信息和/或用户手部行为信息。例如用户可以通过传感器获取的图像信息识别手持设备101的状态为朝向车载显示装置102来判断用户此时具有投屏意图。然后系统触发投屏操作。
有些应用场景中，为了避免了在简化操作的同时带来误操作情况增加的可能性，确保了用户意图判断的准确性，还可以选择对用户行为进行综合的分析来考量用户的意图。此时所述条件可以是多个条件的组合，例如当约定条件为：识别用户手部靠近车载显示装置102，用户手持有手持设备101，识别手持设备101的状态为朝向车载显示装置102，则当三个条件均满足时，则分析识别为用户的意图为启动投屏，从而发出投屏指令触发投屏，将手持设备显示屏上当前的目的地导航界面根据用户的动作指示横向或者纵向投射在车载显示屏上，导航接续或者视频的播放。上述三个条件在实现时也可以为其中的任意两个。
有些应用场景中，为了避免基于多个条件对用户意图的持续检测，节省系统的运算量，当实施多个条件综合判断的方案时，可以选择多个条件为相继触发的关系，一旦其中一个条件不满足则重新回到第一个条件进行检测判断，当多个条件都相继满足时，执行投屏操作。例如，三个条件分别顺序为，识别用户手部靠近车载显示装置102，用户手持有手持设备101，识别手持设备101的状态为朝向车载显示装置102；具体判断为：判断用户手部是否靠近车载显示装置102，如果为否则继续判断用户手部是否靠近车载显示装置102，当判断为是则进一步识别用户是否手持有手持设备101，同样如果是判断为否则回到第一步继续继续判断用户手部是否靠近车载显示装置102，如果判断为是则继续判断手持设备101的状态是否为朝向车载显示装置102，如果判断为否则回到第一步继续继续判断用户手部是否靠近车载显示装置102，如果判断为是则确定触发投屏。上述顺序触发条件的排列顺序仅为示例，还可以为其他的排列顺序，同样判断条件也可以为其中任意的两个。
进一步的，上述场景中，由于用户可能有多种屏幕显示方式的需要，还可以通过判断手持设备101的位姿为水平还是垂直来判断所述投屏显示方式是将当前手持设备101的屏幕内容横屏显示还是竖屏显示。所以位姿的判断发生在投屏操作实施之前的任意时间。
除上述车内投屏场景，本发明的投屏方案还适用于各种自带传感装置或者可连接传感装置的显示设备，其他类型显示设备的应用场景如图2所示，可以应用于家庭或者办公场景下的投屏操作。本发明的投屏方案适用的设备还可以有，带有摄像头的显示器，电视，笔记本电脑，PAD平板进行投屏操作。上述方案的具体实现细节会在下面的实施例中详细介绍。
本发明中提到的手持设备可以是手持终端，pad，可穿戴设备等便携智能设备，后续示例中仅以手持终端为示例，但可以理解为可替换为任意其他的便携智能设备。车内传感装置可以是摄像头，雷达等传感装置，用于感知用户动作信息或用户的距离信息，本发明中所提到的摄像头指代任何的可以获取用户图像信息的传感装置，所述图像信息可以是视频信息或图像信息，所述摄像头可以是传统摄像头，单目摄像头，双目摄像头，鱼眼摄像头，深度相机等；本发明中所提到的雷达为利用电磁波探测目标的电子设备，具体可以包括：激光测距仪，红外测距仪，超声波测距仪。用户行为信息可以是摄像头所获取的图像信息，和或雷达所获取的用户的某个特定目标部位的距离信息，其中本发明中所提到视频信息，也可以指代时间上连续的多帧图像信息，图1中所示出的车内传感装置103可以是同一类传感器中的一个或多个，也可以是不同类传感器的不同数量的组合。本发明中所提到车载显示屏，可以是车内设置的任何可以用于显示的显示屏，本文中所提到中控屏，仅为车载显示屏的一个具体示例，不作为特别限定。
通过摄像头对用户行为和手持设备状态进行获取，行为识别和图像识别，可以是通过深度学习的方法，如采用卷积神经网络模型，深度神经网络模型，或其他任意的可以用于行为识别或图像识别的模型进行行为识别和图像识别，基于获取的用户行为，分析是否存在能够指示用户想要进行投屏的动作和状态，示例性的，可以是判断是否存在用户手表靠近车内显示屏和图像中是否存在手持设备或者是否为用户手握手持设备，以及手持设备的显示屏朝向是否朝向车内显示屏来判断用户是否要进行投屏操作，从而确定进行投屏操作，也可以是其他预设动作，识别用户执行上述动作则启动投屏操作。
当在本发明的实施例中进行具体实施方式的描述时为了方便理解，会采用具体的装置名称或者技术手段来进行方案的说明，但是所提到的具体装置和技术手段并不作为对所描述的实施方式的限定，可以理解为该方案依然可以采用和该装置或者手段具有相似功能的其他装置或手段来实现。
图3是本发明的投屏的方法的一种具体实现方式。本发明的具体实现方式的描述中都以车为示例性的应用场景，但并不作为方案适用场景的限定，将车载显示屏替换为智能电视等显示设备，车载摄像头替换为智能电视自带或者外接摄像头本发明技术方案同样适用。
S101，基于传感器获取的图像信息确定第一设备的显示屏朝向；
所述传感器可以是车载或者外接摄像头，图像信息为传感器获取的当前用户车内的视图，可以是视频或者图片。第一设备可以是手持设备，基于当前用户的车内视图判断所述手持设备朝向，可以有多种实现方式。包括有，基于深度神经网络来实现。
手持设备朝向检测网络检测出的手持设备图像集X＝{x0，x1，x2…xn}，以及对应的标签{0}或者{1}分别代表手持设备朝向向前以及手持设备朝向向后，进而训练一个二分类网络，用于根据输入的图像信息得到手持设备的朝向信息。
手持设备朝向分类基于深度神经网络来实现，其原理图如下图9所示，手持设备朝向检测网络的输入是：第三用户行为信息。需要预测的是手持设备正对(Front)和手持设备背对(Back)两个类别。基于深度神经网络模型预测正对和背对的具体原理为：通过在输入图像上不断应用卷积操作，将特征度的尺寸不断减小，并得到代表手持设备朝向的特性向量，最后接全连接层直接输出手持设备朝向的预测值。
S102，当确定所述第一设备的显示屏朝向满足预设朝向时，向所述第一设备发送消息，通过目标显示屏显示所述第一设备的屏幕内容或通知所述第一设备将屏幕内容通过目标显示屏显示。
预设朝向可以是手持设备的显示屏朝向目标显示屏，也可以是显示屏朝向其他方向，当分析检测结果为满足上述条件则确定发起投屏操作。
此处的目标显示屏为用于显示手持设备的屏幕内容的显示屏，可以是中控屏，也可以是其他的车载显示屏，或者在非车内的环境下可以是任意的其他显示投屏内容的显示屏。
图11是本发明投屏方法的另一实施例。
S201：基于传感器获取的视频或者多帧图像信息确定存在有手部靠近目标显示屏的动作；或者基于传感器获取的手部到所述传感装置的距离信息，确定所述手部到所述目标显示屏的距离小于预设值。
利用摄像头，雷达等，对用户的行为信息进行获取，所述用户行为信息可以为图像信息(其中图像信息可以是视频或图片)或距离信息，基于获取的行为信息进行用户行为检测判断是否有预设动作出现，其中所述预设动作可以是一个约定的特殊动作，也可以是系统预设的认为代表用户具体有投屏意图的动作，或者是判断出有遮挡物靠近目标显示屏时，本发明中示例性的认为手靠近目标显示屏(目标显示屏可以是车内的中控屏或其他车载显示装置，或其他显示装置)为用户具有投屏意图的动作之一。
以传感装置为摄像头，用户行为数据为图像数据，具体可以为视频信息，或者有时间关系的多帧图片信息，当根据图像数据识别出用户行为为手部逐渐靠近目标显示屏时认为用户存在进行投屏操作的意图(即预设动作为用户手部逐渐靠近中控屏)为例，更具体的实现方式，可以是当车内摄像头和处理器处于开启状态，车内摄像头会持续性的捕捉用户的图像数据，并传输给处理器单元，处理器单元收到图像数据后，会进行行为检测操作，判断用户是否存在手部靠近车载显示屏的动作，通常有2种常见的方式来实现这个功能，我们将在分别进行阐述。
·基于3DCNN的行为识别网络
由于行为识别是一系列时间相关的动作，因此可以使用3DCNN直接将时间信息作为一个维度的输入，从而得到是否存在手部靠近中控屏幕的行为，具体步骤如图5所示：
a)获取视频流：为了检测用户是否存在手部靠近车载显示屏这一动作，需用多帧图像完成判断。因此，摄像头捕捉的用户舱内视频流数据，用于后续的行为检测分析；
b)行为识别模型：用于基于获取的视频流数据分析判断用户是否存在某种行为，目前主流的手段是利用一些深度学习方法，对包含用户信息的视频流(多帧图像)进行分析，最终得出具体行为分类结果。在中央处理单元中，可以运行一些卷积网络(如3DCNN等)，来分析用户是否存在手部靠近中控屏这一动作。
整个基于3DCNN的行为识别网络其训练过程如下：
训练：假设有视频流{F0F1…Fn}，Fi为摄像头获取的视频流帧图像，i∈[1，n]，在进行分析数据选取时，可以选取连续的视频流帧图像，为了防止取得的视频帧过于相似，也可以设置每隔预定时间间隔finterval取或者每间隔预定帧数j取一帧，累计取t帧，j、t为正整数，将其t帧图像x＝{F0，F1*finterval...Ft*finterval}或x＝{F0，Fj，F2j，F3j，...，Ftj}作为一个训练样本的输入。这t帧图像x的标签y为{0，1}或者{1，0}，分别代表未靠近中控屏的动作以及靠近中控屏的动作，也可以是其他的标签设置方式，此处仅为示例。利用多个视频段，得到整个训练样本集X＝{x0x1…xm}，m代表样本集中的样本个数。对应的训练标签为Y＝{y0y1…ym}。以训练样本集为输入，训练标签为已知输出结果对3DCNN模型进行训练，获得行为识别模型。
行为识别过程：对一段视频流按照每隔预定时间间隔finterval取或者每间隔预定帧数j取一帧，累计取t帧，上述方式取决于训练时样本的获取方式，通常和样本的获取方式一致，如，样本是采用等间隔时间获取获取t帧图像，则行为识别过程中对需要分析的视频流也按照等时间间隔获取t帧图像，将这t帧图像作为网络的输入，得到预测值{p1，p2}。若p1＞p2则代表有靠近中控屏的动作，否则表示没有，也可以是其他的判断规则，如p1＞0.8则代表有靠近中控屏的动作，否则表示没有，在此不做限定。
·基于2DCNN的行为识别网络
如图6所示，除了3DCNN，本发明还可以使用2DCNN进行特征提取以及判断，从而得到是否手部靠近中控屏的概率，最后基于规则算法将连续帧的概率值进行统计得到最后是否手部靠近中控屏的结果。
训练：假设有视频流{F0F1…Fn}，Fi为摄像头获取的视频流帧图像，i∈[1，n]，并且有其对应标签{y0y1…yn}，采用这批数据训练行为识别网络。网络的输入为单帧图像Fi，经过行为识别网络后得到手在中控屏前的概率。
行为识别过程：输入一段视频{F0F1…Fn}，得到手在中控屏前的概率{p0p1…pn}，选择时间窗的大小为t帧，将这t帧图像的概率进行统计，若概率呈现递增的趋势，并且最大的概率值大于阈值threshold，则认为存在靠近中控屏的动作，否则表示没有。
以传感装置为深度摄像头或雷达为例，用户行为数据为用户到传感器的距离为例，当根据深度摄像头和或雷达识别出用户到传感器的距离信息，基于深度图像的分析可以获得用户手部到传感器的距离信息，然后基于用户手部到传感器的距离信息以及车内结构信息，估算出用户手部到目标显示屏(车载显示屏)的距离信息，当估算出的距离信息为小于预设值时认为用户存在进行投屏操作的意图(即预设条件为用户手部到目标显示屏(车载显示屏)的距离信息小于预设值)，更具体的实现方式，可以是当车内深度摄像头和或雷达，和处理器处于开启状态，车内深度摄像头和/或雷达会持续性的捕捉用户的深度图像数据，并传输给处理器单元，处理器单元收到深度图像数据后，会进行分析处理，估算出用户手部到目标显示屏(车载显示屏)的距离信息。
S202：基于传感器获取的图像信息确定手部持有所述第一设备；
其中S201和S202中的传感器可以是相同传感器也可以是不同传感器，如分别是不同类型的摄像头，或者是相同类型但布置于不同位置的摄像头，或者分别是雷达和摄像头。当S201获取的是图像信息时所述图像信息可以是相同信息也可以是不同信息，S202的图像信息可以是和S201的图像信息相同的视频信息，或者从S201的视频或多帧图片信息中提取的图片信息，不用再额外去单独获取，也可以是基于和S201的图像信息来源相同或不同的传感装置获取的新的图像信息。
基于传感器获取的图像信息确定手部持有所述第一设备，可以有多种实现方式。包括有，基于多物体检测网络的待投屏设备持有判断方式和基于单物体检测网络的手持设备持有的判断方式，下面详细介绍。
·基于多物体检测网络的待投屏设备持有判断
基于多物体检测网络的检测方法，判断用户手中是否持有手持设备，可以先检测图像中手持设备边框与手部边框，本发明利用了深度学习方法，对第二用户行为图像进行分析，得出检测结果。即通过处理器运行物体检测网络(深度学习模型)，来给出待投屏设备与手部的边框位置；判断用户是否握持待投屏设备，在通过物体检测器获得了手部与待投屏设备边框的位置信息后，可计算二者之间的交叠面积占比(intersection over union，IOU)：
Figure BDA0002210178470000121
当IOU手_手持终端＞TIOU时，可认为用户在握持待投屏设备，反之，认为用户没有握持待投屏设备。TIOU取值范围在0-1之间，这里可以取0.5，也可以取其他取值。
图7以待投屏设备为手持终端为例示例性的示出了本方案的识别方法，物体检测网络可以同时检测手持设备如手持终端和手两个物体。然后计算手和手持终端(也可以是其他手持设备)的交叠面积占比(IOU)，并判断IOU是否大于设定的阈值，若大于阈值，则持有手持设备，否则不持有手持设备。
训练：假设有样本图像{F0F1…Fn}，并且有其对应标签{y0y1…yn}，这里标签yi是一个结构体，yi＝{phand，，xhand，yhand，widthhand，heighthand，Pphone，xphone，yphone，widthphone，heightphone}，phand表示物体是手的概率，xhand，yhand，widthhand，heighthand指示手部的位置信息，pphone表示物体为手持终端的概率，xphone，yphone，widthphone，heightphone指示手持终端的位置信息。采用这批数据训练物体检测网络。最终得到物体检测网络，用于根据输入图像输出图像中是否有手和手持设备，以及手持设备和用户手部的位置。然后基于上述输出数据计算IOU，并判断是否用户手持有手持设备。
上述位置信息仅为示例，除了宽和高，也可以通过训练获取手持设备以及手的左上角点P1(xleft，ytop)和右下角顶点P2(xright，ybottom)的位置，手持设备顶点位置示意图如图10所示。然后基于左上角点P1(xleft，ytop)和右下角顶点P2(xright，ybottom)分别获知手持设备和手的长(height)和宽(width)并计算IOU。
可选的，也可以仅通过判断如果图像中存在手和手持设备，则认为是手持有手持设备，则进行进一步的判断。具体实现方式可以是：
训练：假设有样本图像{F0F1…Fn}，并且有其对应标签{y0y1…yn}，这里标签yi是一个结构体，yi＝{phand，，pphone}，通上述实现方式一样phand是手的概率，pphone为手持设备的概率。采用这批数据训练物体检测网络。最终得到物体检测网络，用于根据输入图像输出图像中是否有手和手持终端，也可以是其他手持设备，如果是则认为用户手持有手持设备。
·基于单物体检测网络的手持终端持有判断
由于通常持有手持终端的为手，因此无需训练一个同时检测手和手持设备的网络。本方法训练单物体检测网络，该网络只检测手持设备，如图8所示，若该网络检测到手持设备则认为持有手持设备，否则不持有手持设备。
假设有样本图像{F0F1…Fn}，并且有其对应标签{y0y1…yn}，这里标签yi为{0，1}或者{1，0}，分别代表图像中存在手持设备以及图像中不存在手持设备，也可以是其他的标签设置方式，此处仅为示例。采用这批数据训练物体检测网络。最终得到单物体检测网络(深度学习模型)能够用于检测图像中是否有手持设备。如果有，结合S201的判断结果则可以推断此时的状态为用户手持有手持设备靠近目标显示屏。
S203：基于传感器获取的图片或视频信息确定第一设备的显示屏朝向；
其中S203和另两步骤中的传感器可以是相同传感器也可以是不同传感器，如分别是不同类型的摄像头，或者是相同类型但布置于不同位置的摄像头，或者分别是雷达和摄像头。当S201、S202获取的是图像信息时三个步骤的所述图像信息可以是相同信息也可以是不同信息，S203和S202的图像信息一样可以是和S201的图像信息相同的视频信息，或者从S201的视频或多帧图片信息中提取的图片信息，不用再额外去单独获取，也可以是基于和S201的图像信息来源相同或不同的传感装置获取的新的图像信息。或者S203可以是和S202一样的图像信息，也可以是基于和S202的图像信息来源相同或不同的传感装置获取的新的图像信息。
基于当前用户的车内视图判断所述手持设备朝向，可以有多种实现方式，在上文的S101步骤的介绍中已经详细描述过，在此不再赘述。
S204，当确定存在有手部靠近目标显示屏的动作，且所述手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向预设方向，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
上述确定存在有手部靠近目标显示屏的动作，且所述手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，三个判断动作可以是同时进行的，也可以是顺序进行的，具体实现时可以是三个判断步骤都进行，即判断是否存在有手部靠近目标显示屏的动作，判断是否手部持有所述第一设备，判断第一设备的显示屏朝向是否为朝向预设方向，然后当结果均为是时，则确定进行投屏。三个步骤也可以是有顺序并且相继触发的关系，如判断是否存在有手部靠近目标显示屏的动作，如若判断为是，则继续判断是否手部持有所述第一设备，如若判断为否，则继续检测是否存在有手部靠近目标显示屏的动作，同样当判断手部持有所述第一设备，则进一步判断第一设备的显示屏朝向是否为朝向预设方向，若判断用户手部没有持有所述第一设备，则回到第一步继续检测是否存在有手部靠近目标显示屏的动作，同样当检测到第一设备显示屏的朝向不满足预设方向则回到第一步继续检测是否存在手部靠近目标显示屏的动作，当检测到第一设备显示屏的朝向满足预设方向则触发投屏操作。上述先后触发判断步骤的先后顺序仅为示例，也可以发生调换，任何一个步骤的判断为否则回到第一个判断步骤从头进行检测判断。
在其他的实施例中也可以仅执行步骤S201-S203中的任意两个判断步骤，如：
基于传感器获取的视频或者多帧图像信息确定存在有手部靠近目标显示屏的动作；基于传感器获取的图片或视频信息确定第一设备的显示屏朝向；当确定存在有手部靠近目标显示屏的动作，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
基于传感器获取的手部到所述传感装置的距离信息，确定所述手部到所述目标显示屏的距离小于预设值；基于传感器获取的图片或视频信息确定第一设备的显示屏朝向；当确定所述手部到所述目标显示屏的距离小于预设值，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
基于传感器获取的图片或视频信息确定第一设备的显示屏朝向，基于传感器获取的图像信息确定手部持有所述第一设备；当确定手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
同样上述两个判断步骤可以同时判断也可以是分别判断，且判断先后顺序不做限定。或者也可以是相继触发的关系。
图3和图11的实施例还可以进一步包括一个待投屏设备的位姿判断步骤S203a：
S203a：基于传感器获取的图像信息确定所述第一设备的姿态；根据所述第一设备的姿态确定所述目标显示屏的投屏显示方式；
所述S203a可以发生在S203之后以及S204之前，即判断待投屏设备的屏幕朝向满足预设条件后判断待投屏设备的位姿，然后基于位姿判断确定横屏或者竖屏进行投屏操作；也可以发生在发送投屏通知之前；即判断待投屏设备的屏幕朝向满足预设条件后确定进行投屏操作，此时进一步判断待投屏设备的位姿，然后基于位姿确定横屏或者竖屏进行投屏操作；或者S203a的位姿判断也可以发生在本方案的执行投屏操作之前的任意时刻。
若不存在S203a，则S204为按照默认的投屏显示方式进行投屏。
同样，对于图3，S203a也可以发生在图3的实施例执行投屏操作之前的任意时刻。
其中在S203a中，同样传感器可以是和其他需要进行图像信息获取的步骤的传感器相同或不同，图像信息也可以是采用其他需要进行图像信息获取步骤的图像信息，或者独立获取。
待投屏设备位姿的判断主要依赖待投屏设备的摆放位置信息的获取。
·待投屏设备的摆放位姿信息可以是基于历史的判断步骤获取：
即，若S202采用的是基于多物体检测网络的待投屏设备持有判断，通过物体检测网络，根据输入图像输出图像中是否有手和手持设备，以及手持设备和用户手部的位置yi＝{phand，，xhand，yhand，widthhand，heighthand，pphone，xphone，yphone，widthphone，heightphone}，可以得手持设备的长(heightphone)和宽(widthphone)，比较手持设备的长和宽的大小，如果width大于height则认为是横屏状态，进行横屏投屏；如果height大于width则认为是竖屏状态，进行竖屏投屏。
若S202采用的是获取手持设备的左上角点P1(xleft，ytop)和右下角顶点P2(xright，ybottom)，则手持终端的长(height)和宽(width)我们可以利用以下公式计算得到：
width＝xright-xleft (2)
height＝ybottom-ytop (3)
经过公式(2)和公式(3)的计算后，我们将比较手持终端的长和宽的大小，如果width大于height则认为是横屏状态，进行横屏投屏。
同样如果height大于width则认为是竖屏状态，进行竖屏投屏。
·待投屏设备的摆放位姿信息可以是基于专门的位姿检测网络获取：
如果历史步骤中都不涉及获取手持设备的位置坐标信息或者长宽信息，如S202中仅判断是否存在手持设备和、或手，则S203a中需要根据位姿检测网络进行手持设备位姿的获取。
如根据样本图像{F0F1…Fn}，及其其对应标签{y0y1…yn}，这里标签yi可以是一个结构体，yi＝{pphone，xphone，yphone，widthphone，heightphone}，pphone，为手持终端的概率，xphone，yphone，widthphone，heightphone是手持终端的位置信息，也可以是yi＝{pphone，xphone，yphone，widthphone，heightphone}，P1(xleft，ytop)是手持设备左上角的顶点位置，P2(xright，ybottom)是手持设备右下角顶点的位置。据此来对位姿检测网络进行训练，获得位姿识别网络。所得到的物体检测网络，用于根据输入图像输出手持设备的位置坐标信息或长宽信息。然后基于上述输出数据判断手持设备位姿，确定投屏显示方式。
同样，图3中的手持设备位姿判断可以是基于S202中提到的基于多物体检测网络的方式，或者是基于专门的位姿检测网络获取。
图12是本发明投屏方法的另一种实现方式。具体为：
S301：基于传感器获取的视频或者多帧图像信息确定存在有手部靠近目标显示屏的动作；或者基于传感器获取的手部到所述传感装置的距离信息，确定所述手部到所述目标显示屏的距离小于预设值。
S301步骤的实现方式和S201相同，都是利用传感装置，如车内摄像头，雷达等，对用户的行为信息进行获取，所述第一用户行为信息可以为视频信息或距离信息，并基于获取的图像信息或距离信息进行用户行为检测判断是否有预设动作出现，其具体行为信息获取以及用户行为检测判断方式均可以参照S201的相关描述，在此不再赘述。
S302：基于传感器获取的图像信息，判断所述用户是否手持有第一设备，以及判断所述第一设备的显示屏朝向；
具体为基于传感器获取的图像信息，基于一个神经网络模型判断所述用户是否手持有第一设备，以及判断所述第一设备的显示屏朝向。
和前述实施例一样S301和S302可以同时进行或者分别进行，也可以是触发的关系，如根据S301判断结果可以判断是否继续执行后续判断步骤S302，如若判断存在手部靠近中控屏的动作，则执行S302，进一步判断用户是否存在手握手持设备的行为，以及判断所述待投屏设备的显示屏朝向；若不存在手部靠近中控屏的动作，则继续检测用户是否存在手部靠近中控屏的动作。
当S301是通过摄像头获取图像信息，S302中的图像信息可以是S301中的全部或部分相同信息，或者是相同摄像头获取的不同信息，也可以是不同摄像头获取的不同信息。
其中在S302中，基于传感器获取的图像信息判断所述用户是否手持有待投屏设备以及显示屏朝向，可以有多种实现方式。包括有，基于多物体检测网络的待投屏设备持有判断方式和基于单物体检测网络的手持设备持有的判断方式，下面详细介绍。
·基于多物体检测网络的待投屏设备持有判断
基于多物体检测网络的检测方法，判断用户手中是否持有手持设备，可以先检测图像中手持设备边框与手部边框，本发明利用了深度学习方法，对第二用户行为图像进行分析，得出检测结果。即通过处理器运行物体检测网络(深度学习模型)，来给出待投屏设备与手部的边框位置；判断用户是否握持待投屏设备，在通过物体检测器获得了手部与待投屏设备边框的位置信息后，可计算二者之间的交叠面积占比(intersection over union，IOU)：
Figure BDA0002210178470000161
当IOU手_手持终端＞TIOU时，可认为用户在握持待投屏设备，反之，认为用户没有握持待投屏设备。TIOU取值范围在0-1之间，这里可以取0.5，也可以取其他取值。
图15以待投屏设备为手持终端为例示例性的示出了本方案的判断是否持有手持设备的识别方法之一，物体检测网络可以同时检测手持设备如手持终端和手两个物体，以及手持终端朝向。然后计算手和手持终端(也可以是其他手持设备)的交叠面积占比(IOU)，并判断IOU是否大于设定的阈值，若大于阈值，则持有手持设备，否则不持有手持设备。
训练：假设有样本图像{F0F1…Fn}，并且有其对应标签{y0y1…yn}，这里标签yi是一个结构体，yi＝{phand，，xhand，yhand，widthhand，heighthand，pphone，xphone，yphone，widthphone，heightphone，p}，phand是手的概率，xhand，yhand，widthhand，heighthand是手部的位置信息，同样的pphone，为手持终端的概率，xphone，yphone，widthphone，heightphone是手持终端的位置信息，p是朝向为朝向目标显示屏的概率。采用这批数据训练物体检测网络。最终得到物体检测网络，用于根据输入图像输出图像中是否有手和手持设备，以及手持设备和用户手部的位置，以及目标显示屏朝向。然后基于上述输出数据计算IOU，并判断是否用户手持有手持设备。
上述位置信息仅为示例，除了宽和高，也可以通过训练获取手持设备以及手的左上角点P1(xleft，ytop)和右下角顶点P2(xright，ybottom)的位置，手持设备顶点位置示意图如图10所示。然后基于左上角点P1(xleft，ytop)和右下角顶点P2(xright，ybottom)分别获知手持设备和手的长(height)和宽(width)并计算IOU。
可选的，也可以仅通过判断如果图像中存在手和手持设备，则认为是手持有手持设备，并判断屏幕朝向。具体实现方式可以是：
训练：假设有样本图像{F0F1…Fn}，并且有其对应标签{y0y1…yn}，这里标签yi是一个结构体，yi＝{phand，pphone，p}，通上述实现方式一样phand是手的概率，pphone，为手持设备的概率，p是朝向为朝向目标显示屏的概率。采用这批数据训练物体检测网络。最终得到物体检测网络，用于根据输入图像输出图像中是否有手和手持终端，以及手持终端显示屏朝向。
·基于单物体检测网络的手持终端持有判断
由于通常持有手持终端的为手，因此无需训练一个同时检测手和手持设备的网络。本方法训练单物体检测网络，该网络只检测手持设备，若该网络检测到手持设备则认为持有手持设备，否则不持有手持设备。
假设有样本图像{F0F1…Fn}，并且有其对应标签{y0y1…yn}，这里标签yi为{pphone，p}，pphone，为手持设备的概率，p是朝向为朝向目标显示屏的概率，也可以是其他的标签设置方式，此处仅为示例。采用这批数据训练物体检测网络。最终得到单物体检测网络(深度学习模型)能够用于检测图像中是否有手持设备，以及手持设备屏幕朝向。如果有，结合S101的判断结果则可以推断此时的状态为用户手持有手持设备靠近目标显示屏，且待投屏设备显示屏朝向是否为朝向目标显示屏。
当本文其他的实施例中涉及上述两个条件的判断时，如果不是相互触发的关系，则均可以采用上述基于综合模型统一判断的实现方式，也可以采用两个独立的模型分别判断的实现方式。
S303：当确定存在有手部靠近目标显示屏的动作，且所述手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向预设方向，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
在执行投屏操作之前，还可以进一步包括一个待投屏设备的位姿判断步骤S303a：
S302a：基于传感器获取的图像信息确定所述第一设备的姿态；根据所述第一设备的姿态确定所述目标显示屏的投屏显示方式；
所述S302a可以发生在S302之后以及S303之前，即判断用户手否手持待投屏设备和待投屏设备的屏幕朝向后判断待投屏设备的位姿，然后在根据所述用户是否手持有待投屏设备，所述待投屏设备的显示屏朝向确定通过目标显示屏显示所述待投屏设备的屏幕内容后，基于位姿判断确定横屏或者竖屏进行投屏操作；也可以发生在S303的同时；即判断确定进行投屏操作，此时进一步判断待投屏设备的位姿，然后基于位姿确定横屏或者竖屏进行投屏操作；或者S302a的位姿判断也可以发生在本方案的执行投屏操作之前的任意时刻。
若不存在S302a，则S303为按照默认的投屏显示方式进行投屏。
其中在S302a中，同样传感器可以是和其他需要进行图像信息获取的步骤的传感器相同或不同，图像信息也可以是采用其他需要进行图像信息获取步骤的图像信息，或者独立获取。
待投屏设备位姿的判断和S203a相同，可以是基于历史的判断步骤获取，也可以是基于专门的位姿检测网络获取。
上述方案中车内传感装置可以部署在能够清楚的观察到用户投屏相关行为动作的位置，本发明示例性的给出了几个可选的传感装置的部署的位置，如图4的相机图标所示的位置，可以安装一个，也可以安装多个，可以安装一种也可以安装多种不同类型的传感装置。例如可以同时安装雷达和传统摄像头，基于雷达获取的信息分析用户是否有手部靠近目标显示屏的行为，基于传统摄像头获取的视频或图像用于判断用户是否手握有手持设备，手持设备的显示屏的朝向，手持设备的位姿，是水平还是垂直状态。部署的原则是能够探测到用户手部行为为准。
具体的投屏方式在上述各投屏方法不做限定，可以是手持设备预先和车机系统进行无线连接，其连接方式可以是蓝牙，WiFi等多种无线连接方式，所述无线连接可以是预先建立的，也可以是当需要投屏是发起建立的，当确定进行投屏时，手持终端根据车机处理器发送的通知将手持设备的屏幕界面显示到目标车载显示屏上，所显示的界面可以是当前手持终端的显示界面，或者是菜单界面，也可以是其他预先约定的界面。具体的投屏方式可以有：
当车机处理器确定需要进行投屏时，通知手持设备要进行投屏操作，所述通知行为可以是多种消息形式，手持设备收到通知消息后呈现提示界面给用户，问用户是否确认投屏，用户确认后手持设备将屏幕信息发送给目标显示屏进行呈现。
还可以是手持设备和车机之间建立认证关系，授权给车机获取其屏幕信息。当车机处理器确定需要进行投屏时，通知手持设备要进行投屏操作，手持设备收到通知消息后将其屏幕信息发送给目标显示屏进行呈现。
所述投屏操作还可以包括，出于用户隐私的保护，当车机接收到手持设备发送的屏幕信息时，需确实获得所述手持设备的授权信息则通过目标显示屏显示所述手持设备的屏幕信息。所述获取手持设备的授权信息可以是查询是否有用户的历史授权信息，或者是否有用户对于此次投屏的确认信息。
所述投屏的具体连接和屏幕内容发送过程在本发明的实施例中均不进行限定，可以为上述任一的方式，也可以为其他方式。
此外根据需要，本发明实施例中的投屏方法在实现时也可以为屏幕锁屏和开启状态时均可以进行投屏意图检测，或者还可以是先识别屏幕是否是锁屏状态，是锁屏状态则继续监测屏幕状态，当屏幕状态判断为开启状态时正式进入检测投屏意图阶段。上述何时检测投屏意图，以及在什么条件下检测投屏意图在本发明的实施例中也不做限定，方案在具体实现时可以根据具体的需要进行灵活的设计。
图13，是对应于是本申请图3，图11，图12对应的投屏方法的一种投屏系统结构示意图。
如图13所示本发明的投屏系统1300可以包括显示单元1302，确定单元1303，以及根据需要可选的配置有图像采集单元1301或距离获取单元1304，或同时配置图像采集单元和距离获取单元。例如当投屏系统需要根据距离信息来判断手部是否靠近目标显示屏，则投屏系统需要配备有距离获取单元1304，而当投屏系统是通过图像信息来判断用户是否具有投屏意图时，则可以不需要配备有距离获取单元1304。
同样，如果投屏系统仅需要根据距离信息来判断手部是否靠近目标显示屏来触发启动投屏，则投屏系统也可以不必需要配备有图像采集单元。
图像采集单元1301，用于采集图像信息。
距离获取单元1304，用于获取距离信息。
确定单元1303用于对图像采集单元1301采集的图像信息和/或距离获取单元1304获取的距离信息进行分析和识别，基于分析和识别的结果来确定是否进行投屏操作。
显示单元1302，用于在确定单元1303确定需要进行投屏操作后，显示待投屏设备的屏幕内容。
本领域技术人员可以理解，本申请实施例中投屏系统可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。上述图像采集单元，和距离获取单元还可以包括多个子单元，不同判断条件中的图像信息可以是相同也可以是不同的，当图像信息为不同时，上述图像信息可以是来自相同图像采集子单元也可以是来自不同的图像采集子单元。
当投屏系统1300用于执行图3，11，12所对应的投屏方法时，确定单元1303可以是基于一个或多个条件来确定是否执行后续的投屏操作。在存在多个条件的情况下，所述确定单元1303根据方案的具体设计可以是顺序执行多个判断条件也可以是并行执行多个条件的检测，或者是相继触发的执行多个条件的检测。
图14，是对应于是本申请图3，图11，图12对应的投屏方法的投屏系统结构示意图。
如图14所示本发明的投屏系统1400可以包括一个或者多个处理器1401、一个或多个存储器1402，一个或多个传感装置1403，一个或多个显示屏1404，通信模块1405。处理器1406可通过总线分别连接存储器1402，传感装置1403，显示屏1404，通信模块1405等部件。分别描述如下：
存储器1402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1402还可以包括存储器控制器，以提供处理器1401对存储器1402的访问。存储器1402可具体用于存储软件程序(指令)、以及传感器采集的图像信息和/或距离信息。
传感装置1403，用于采集图像信息和/或距离信息；传感装置1403在具体实现的过程中，可以是包括多种传感器装置，如摄像头，雷达等用于拍摄图像信息，以及测量距离的传感装置，可以是一种或多种，也可是同一种类的部署有多个。
显示屏1404，用于在处理器1401确定需要进行投屏操作后，显示待投屏设备的屏幕内容。
通信模块1405用于通过无线或有线通信技术和待投屏设备之间进行通信连接，如蜂窝移动通信技术，WLAN，蓝牙等，需要时根据接收到的指令传输待投屏设备的屏幕数据。
处理器1406用于用户行为信息的分析和识别，以及当需要进行投屏操作时，投屏指令的下发，在可能实施例中，处理器1401还可包括一个或多个处理核心。处理器1401可通过执行程序指令来进行用户行为信息的分析和识别。处理器1401可以为专用处理器也可以为通用处理器，当处理器1401为通用处理器时，处理器1401通过运行或执行存储在存储器1402内的软件程序(指令)和/或模块。处理器1401还可以采用一个或多个集成电路，用于执行相关程序。处理器1401还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的投屏方法中用户意图分析的各个步骤可以通过处理器1401中的硬件的集成逻辑电路或者软件形式的指令完成。
本领域技术人员可以理解，本申请实施例中投屏系统可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，投屏设备还可以进一步包括扬声器、麦克风等，在此不再赘述。
当投屏系统1400用于执行图3所对应的方法时，具体包括：
所述传感装置1403，用于获取图像信息；所述传感装置1403可以是车内摄像头，雷达等的一个或多个。
处理器1401基于传感器获取的图像或视频信息确定手持设备的显示屏朝向；当所述至少一个处理器确定所述手持设备的显示屏朝向满足预设朝向时，通过目标显示屏显示所述第一设备的屏幕内容或通知所述手持设备将屏幕内容通过目标显示屏显示。上述判断步骤的具体实现方式参照图3中的细节描述。
当需要有多种屏幕显示方式时，处理器1401还可以通过判断手持设备的位姿为水平还是垂直来确定所述投屏显示方式是为将当前手持设备的屏幕内容横屏显示还是竖屏显示。所以处理器1401对手持设备位姿的判断发生在投屏操作实施之前的任意时间。手持设备位姿的判断方式参见步骤203a中的具体实现细节描述。
当投屏系统1400用于执行图11所对应的方法时，具体包括：
所述传感装置1403，用于根据方案设定的需要获取图像信息和/或距离信息；所述传感装置1403可以是车内摄像头，雷达等的一个或多个，使用什么传感器，以及使用相同传感器还是不同传感器取决于所要获取的信息的内容。如当不同的判断条件需要获取的图像的角度不一样或者需要获取不同位置的图像时，则需要使用到不同的摄像头。
处理器1401基于传感器获取的视频或者多帧图像信息确定存在有手部靠近目标显示屏的动作；或者基于传感器获取的手部到所述传感装置的距离信息，确定所述手部到所述目标显示屏的距离小于预设值。
处理器1401基于传感器获取的图像信息确定手部持有所述手持设备。
处理器1401基于传感器获取的图片或视频信息确定手持设备的显示屏朝向。
上述判断步骤的具体实现方式参照图11中的细节描述。
当处理器1401确定存在有手部靠近目标显示屏的动作，且所述手部持有所述手持设备，且所述手持设备的显示屏朝向为朝向预设方向，向所述手持设备发送消息，通知所述手持设备将屏幕内容通过目标显示屏显示。
车载系统可以具备一个或多个处理器1401，上述处理器1401在确定存在有手部靠近目标显示屏的动作，且所述手部持有所述手持设备，且所述手持设备的显示屏朝向为朝向所述目标显示屏时，三个判断可以是同时进行的，也可以是顺序进行的，具体实现时可以是三个判断都进行，即处理器1401判断是否存在有手部靠近目标显示屏的动作，判断是否手部持有所述手持设备，判断手持设备的显示屏朝向是否为朝向预设方向，然后当结果均为是时，则处理器1401确定进行投屏。处理器1401也可以是有顺序执行上述判断，且上述判断过程是相继触发，如处理器1401判断是否存在有手部靠近目标显示屏的动作，如若判断为是，则处理器1401继续判断是否手部持有所述手持设备，如若判断为否，则处理器1401继续检测是否存在有手部靠近目标显示屏的动作，同样当判断手部持有所述手持设备，则处理器1401进一步判断手持设备的显示屏朝向是否为朝向预设方向，若判断用户手部没有持有所述手持设备，则回到第一步继续检测是否存在有手部靠近目标显示屏的动作，同样当检测到手持设备显示屏的朝向不满足预设方向则回到第一步继续检测是否存在手部靠近目标显示屏的动作，当处理器1401检测到手持设备显示屏的朝向满足预设方向则触发投屏操作。处理器1401对上述判断的先后触发顺序仅为示例，方案在实施时上述判断的先后顺序也可以调换，处理器1401在执行任何一个判断为否时则不再进行后续的判断而是回到第一个判断从新进行检测判断。
投屏系统1400其他的实现方式中也可以仅执行上述判断中的任意两个判断步骤
同样，当需要有多种屏幕显示方式时，处理器1401还可以通过判断手持设备的位姿为水平还是垂直来确定所述投屏显示方式是为将当前手持设备的屏幕内容横屏显示还是竖屏显示。所以处理器1401对手持设备位姿的判断发生在投屏操作实施之前的任意时间。手持设备位姿的判断方式参见步骤203a中的具体实现细节描述。
当投屏系统1400用于执行图12所对应的方法时，具体包括：
所述传感装置1403，用于根据方案设定的需要获取图像信息和/或距离信息；所述传感装置1403可以是车内摄像头，雷达等的一个或多个，使用什么传感器，以及使用相同传感器还是不同传感器取决于所要获取的信息的内容。如当不同的判断条件需要获取的图像的角度不一样或者需要获取不同位置的图像时，则需要使用到不同的摄像头。
处理器1401基于传感器获取的视频或者多帧图像信息确定存在有手部靠近目标显示屏的动作；或者基于传感器获取的手部到所述传感装置的距离信息，确定所述手部到所述目标显示屏的距离小于预设值。
处理器1401基于传感器获取的图像信息，通过一个综合训练的神经网络模型判断所述用户是否手持有第一设备，以及判断所述第一设备的显示屏朝向
上述判断步骤的具体实现方式参照图12中的细节描述。
投屏系统的其他的实施例中涉及上述两个条件的判断时，如果不是相互触发的关系，则处理器1401也可以基于综合模型进行统一判断，或者可以基于两个独立的模型分别判断。
同样，当需要有多种屏幕显示方式时，处理器1401还可以通过判断手持设备的位姿为水平还是垂直来确定所述投屏显示方式是为将当前手持设备的屏幕内容横屏显示还是竖屏显示。所以处理器1401对手持设备位姿的判断发生在投屏操作实施之前的任意时间。手持设备位姿的判断方式参见步骤203a中的具体实现细节描述。
在上述实施例中，其中条件判断步骤和确定执行投屏操作可以全部或部分地通过软件、硬件、固件或者任意组合来实现。当使用软件实现时，可以全部或者部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令，在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请方法实施例所述的流程或功能。所述处理器可以是通用处理器或者专用处理器。所述计算机指令可存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网络站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、微波等)方式向另一个网络站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，也可以是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD等)、或者半导体介质(例如固态硬盘)等等。
示例性的，本申请实施例的方案，执行主体可选的可以为ASIC、FPGA、CPU、GPU等，通过硬件或软件方式实现，存储器可选的可以为DDR、SRAM、HDD、SSD等易失或非易失性的存储设备。其中ASIC、FPGA属于硬件实现，即在硬件设计时通过硬件描述语言的方式将本申请的方法落地；CPU、GPU属于软件实现，即在软件设计时通过软件程序代码的方式将本申请的方法落地。
在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

Claims (22)

1.一种投屏方法，其特征在于，包括：
基于传感器获取的图像信息确定第一设备的显示屏朝向；
当确定所述第一设备的显示屏朝向满足预设朝向时，通过目标显示屏显示所述第一设备的屏幕内容或通知所述第一设备将屏幕内容通过目标显示屏显示。
2.如权利要求l所述的方法，其特征在于，所述当确定所述第一设备的显示屏朝向满足预设朝向时，通知所述第一设备将屏幕内容通过目标显示屏显示，具体为：
当确定所述第一设备的显示屏朝向为朝向所述目标显示屏时，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
3.如权利要求1所述的方法，其特征在于，所述当确定所述第一设备的显示屏朝向满足预设朝向时，通过目标显示屏显示所述第一设备的屏幕内容包括：当确定所述第一设备的显示屏朝向为朝向所述目标显示屏时，确认获得所述第一设备的授权信息则通过所述目标显示屏显示所述第一设备的屏幕内容。
4.如权利要求1所述的方法，其特征在于，所述投屏方法还包括：基于传感器获取的视频或者多帧图像信息确定存在有手部靠近目标显示屏的动作；
当确定存在有手部靠近目标显示屏的动作，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
5.如权利要求1所述的方法，其特征在于，所述投屏方法还包括：基于传感器获取的手部到所述传感装置的距离信息，确定所述手部到所述目标显示屏的距离小于预设值；
当确定所述手部到所述目标显示屏的距离小于预设值，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
6.如权利要求1所述的方法，其特征在于，所述投屏方法还包括：基于传感器获取的图像信息确定手部持有所述第一设备；
当确定手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
7.如权利要求1所述的方法，其特征在于，所述投屏方法还包括：基于传感器获取的视频或者多帧图像信息确定存在有手部靠近目标显示屏的动作；
基于传感器获取的图像信息确定手部持有所述第一设备；
当确定存在有手部靠近目标显示屏的动作，且所述手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
8.如权利要求1所述的方法，其特征在于，所述投屏方法还包括：基于传感器获取手部到所述传感装置的距离信息，确定所述手部到所述目标显示屏的距离小于预设值；
基于传感器获取的图像信息确定手部持有所述第一设备；
当确定所述手部到所述目标显示屏的距离小于预设值，且所述手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
9.如权利要求6-8任一所述的方法，其特征在于，所述基于传感器获取的图像信息确定手部持有所述第一设备，包括：
根据所述传感器获取的图像信息中所述手部和所述第一设备的交叠面积占比来确定所述手部持有所述第一设备。
10.如权利要求1-9所述的投屏方法，所述方法还包括：
基于传感器获取的图像信息确定所述第一设备的姿态；
根据所述第一设备的姿态确定所述目标显示屏的投屏显示方式。
11.如权利要求6-8任一所述的方法，其中，所述确定手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，具体为：
基于传感器获取的图像信息，根据同一神经网络模型判断所述用户是否手持有第一设备，以及判断所述第一设备的显示屏朝向。
12.一种投屏系统，其特征在于，所述系统包括目标显示屏，至少一个处理器；
所述至少一个处理器基于传感器获取的图像信息确定第一设备的显示屏朝向；
当所述至少一个处理器确定所述第一设备的显示屏朝向满足预设朝向时，通过目标显示屏显示所述第一设备的屏幕内容或通知所述第一设备将屏幕内容通过目标显示屏显示。
13.如权利要求12所述的系统，其特征在于，当所述至少一个处理器确定所述第一设备的显示屏朝向满足预设朝向时，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示，具体为：
当所述至少一个处理器确定所述第一设备的显示屏朝向为朝向所述目标显示屏时，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
14.如权利要求12所述的系统，其特征在于，当所述至少一个处理器确定所述第一设备的显示屏朝向满足预设朝向时，通过目标显示屏显示所述第一设备的屏幕内容包括：当确定所述第一设备的显示屏朝向为朝向所述目标显示屏时，确认获得所述第一设备的授权信息则通过所述目标显示屏显示所述第一设备的屏幕内容。
15.如权利要求12所述的系统，其特征在于，所述至少一个处理器还基于传感器获取的视频或者多帧图像信息确定存在有手部靠近目标显示屏的动作；
当所述至少一个处理器确定存在有手部靠近目标显示屏的动作，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
16.如权利要求12所述的系统，其特征在于，所述至少一个处理器还基于传感器获取的手部到所述传感装置的距离信息，确定所述手部到所述目标显示屏的距离小于预设值；
当所述至少一个处理器确定所述手部到所述目标显示屏的距离小于预设值，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
17.如权利要求12所述的系统，其特征在于，所述至少一个处理器还基于传感器获取的图像信息确定手部持有所述第一设备；
当所述至少一个处理器确定手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
18.如权利要求12所述的系统，其特征在于，所述至少一个处理器还基于传感器获取的视频或者多帧图像信息确定存在有手部靠近目标显示屏的动作；
所述至少一个处理器基于传感器获取的图像信息确定手部持有所述第一设备；
当所述至少一个处理器确定存在有手部靠近目标显示屏的动作，且所述手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
19.如权利要求12所述的系统，其特征在于，所述至少一个处理器还基于传感器获取手部到所述传感装置的距离信息，确定所述手部到所述目标显示屏的距离小于预设值；
所述至少一个处理器基于传感器获取的图像信息确定手部持有所述第一设备；
当所述至少一个处理器确定所述手部到所述目标显示屏的距离小于预设值，且所述手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，向所述第一设备发送消息，通知所述第一设备将屏幕内容通过目标显示屏显示。
20.如权利要求17-19任一所述的系统，其特征在于，所述至少一个处理器基于传感器获取的图像信息确定手部持有所述第一设备，包括：
所述至少一个处理器根据所述传感器获取的图像信息中所述手部和所述第一设备的交叠面积占比来确定所述手部持有所述第一设备。
21.如权利要求12-19所述的投屏系统，所述系统还包括：
所述至少一个处理器还基于传感器获取的图像信息确定所述第一设备的姿态；
所述至少一个处理器根据所述第一设备的姿态确定所述目标显示屏的投屏显示方式。
22.如权利要求17-19任一所述的系统，其中，所述至少一个处理器确定手部持有所述第一设备，且所述第一设备的显示屏朝向为朝向所述目标显示屏，具体为：
所述至少一个处理器基于传感器获取的图像信息，根据神经网络模型判断所述用户是否手持有第一设备，以及判断所述第一设备的显示屏朝向。
CN201910902574.0A 2019-09-21 2019-09-21 一种投屏方法及系统 Active CN112540739B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201910902574.0A CN112540739B (zh) 2019-09-21 2019-09-21 一种投屏方法及系统
CN202311343439.XA CN117539420A (zh) 2019-09-21 2019-09-21 一种投屏方法及系统
KR1020227012657A KR20220062400A (ko) 2019-09-21 2020-07-27 투사 방법 및 시스템
PCT/CN2020/104918 WO2021052008A1 (zh) 2019-09-21 2020-07-27 一种投屏方法及系统
JP2022506256A JP7419495B2 (ja) 2019-09-21 2020-07-27 投影方法および投影システム
EP20866475.5A EP3979065A4 (en) 2019-09-21 2020-07-27 METHOD AND SYSTEM FOR SCREEN PROJECTION
BR112022005155A BR112022005155A2 (pt) 2019-09-21 2020-07-27 Método e sistema de projeção
US17/699,506 US20220214855A1 (en) 2019-09-21 2022-03-21 Projection Method and System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910902574.0A CN112540739B (zh) 2019-09-21 2019-09-21 一种投屏方法及系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311343439.XA Division CN117539420A (zh) 2019-09-21 2019-09-21 一种投屏方法及系统

Publications (2)

Publication Number Publication Date
CN112540739A true CN112540739A (zh) 2021-03-23
CN112540739B CN112540739B (zh) 2023-11-03

Family

ID=74883981

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311343439.XA Pending CN117539420A (zh) 2019-09-21 2019-09-21 一种投屏方法及系统
CN201910902574.0A Active CN112540739B (zh) 2019-09-21 2019-09-21 一种投屏方法及系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311343439.XA Pending CN117539420A (zh) 2019-09-21 2019-09-21 一种投屏方法及系统

Country Status (7)

Country Link
US (1) US20220214855A1 (zh)
EP (1) EP3979065A4 (zh)
JP (1) JP7419495B2 (zh)
KR (1) KR20220062400A (zh)
CN (2) CN117539420A (zh)
BR (1) BR112022005155A2 (zh)
WO (1) WO2021052008A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434846A (zh) * 2021-06-22 2021-09-24 青岛海尔科技有限公司 投屏数据的处理方法及装置
CN113507694A (zh) * 2021-06-18 2021-10-15 厦门亿联网络技术股份有限公司 一种基于无线辅流设备的投屏方法及装置
CN113721877A (zh) * 2021-09-09 2021-11-30 天津智融创新科技发展有限公司 推屏方法、装置、设备和存储介质
CN114339183A (zh) * 2021-12-30 2022-04-12 深圳迈瑞动物医疗科技有限公司 一种内窥镜系统及其投屏方法
WO2022257822A1 (zh) * 2021-06-08 2022-12-15 华为技术有限公司 一种应用界面的分布式显示方法及终端

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120208466A1 (en) * 2011-02-15 2012-08-16 Lg Electronics Inc. Method of transmitting and receiving data, display device and mobile terminal using the same
EP2631827A1 (en) * 2012-02-24 2013-08-28 Samsung Electronics Co., Ltd Method of Sharing Content and Mobile Terminal
CN103379221A (zh) * 2012-04-23 2013-10-30 Lg电子株式会社 移动终端及其控制方法
US20130321329A1 (en) * 2012-05-29 2013-12-05 Sony Mobile Communications, Inc. Terminal apparatus, display method and recording medium
US20140063269A1 (en) * 2012-09-05 2014-03-06 Scott A. Krig Protocol for Communications Between Platforms and Image Devices
US20140104141A1 (en) * 2012-10-15 2014-04-17 Lg Electronics Inc. Mobile terminal
CN104854537A (zh) * 2013-01-04 2015-08-19 英特尔公司 与计算设备的多距离、多模态自然用户交互
CN104902078A (zh) * 2015-04-29 2015-09-09 深圳市万普拉斯科技有限公司 移动终端中屏幕旋转的控制方法和系统及移动终端
CN205028278U (zh) * 2015-07-28 2016-02-10 东莞市大宗数码科技有限公司 背投式互动显示装置
CN105792004A (zh) * 2014-12-22 2016-07-20 Tcl集团股份有限公司 一种触发传屏的方法及系统
US20170018248A1 (en) * 2014-03-04 2017-01-19 Samsung Electronics Co., Ltd. Method and electronic device for displaying content
CN106843786A (zh) * 2017-01-23 2017-06-13 宇龙计算机通信科技(深圳)有限公司 显示屏的开启方法、显示屏的开启装置和终端
CN107071156A (zh) * 2017-03-28 2017-08-18 努比亚技术有限公司 一种文档投影方法、终端设备及系统
US20180267769A1 (en) * 2017-03-17 2018-09-20 Konica Minolta, Inc. Information processing system, method of controlling information processing system, and portable terminal
CN109960449A (zh) * 2019-03-22 2019-07-02 深圳前海达闼云端智能科技有限公司 一种投屏显示方法及相关装置
CN109961522A (zh) * 2019-04-02 2019-07-02 百度国际科技（深圳）有限公司 图像投射方法、装置、设备和存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1897010A1 (en) * 2005-06-30 2008-03-12 Nokia Corporation Camera control means to allow operating of a destined location of the information surface of a presentation and information system
US20070113207A1 (en) * 2005-11-16 2007-05-17 Hillcrest Laboratories, Inc. Methods and systems for gesture classification in 3D pointing devices
US8325214B2 (en) * 2007-09-24 2012-12-04 Qualcomm Incorporated Enhanced interface for voice and video communications
JP2013254044A (ja) * 2012-06-06 2013-12-19 Funai Electric Co Ltd 端末装置、表示装置および表示システム
JP2014153782A (ja) * 2013-02-05 2014-08-25 Toshiba Corp 表示処理装置、及び表示処理方法
KR102097640B1 (ko) * 2013-03-08 2020-04-06 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9703472B2 (en) * 2015-03-18 2017-07-11 Alpine Electronics, Inc. Method and system for operating console with touch screen
US10216289B2 (en) * 2016-04-29 2019-02-26 International Business Machines Corporation Laser pointer emulation via a mobile device
JP6394669B2 (ja) * 2016-09-30 2018-09-26 トヨタ自動車株式会社 車両用操作装置
CN106598524B (zh) * 2016-12-16 2019-06-04 广州视源电子科技股份有限公司 多显示设备环境中控制显示内容的方法和系统及移动终端
US10585637B2 (en) * 2017-03-27 2020-03-10 Lenovo (Beijing) Co., Ltd. Information processing method and electronic device
CN108736981A (zh) * 2017-04-19 2018-11-02 阿里巴巴集团控股有限公司 一种无线投屏方法、装置及系统
CN110007886B (zh) * 2019-04-10 2021-10-22 广州视源电子科技股份有限公司 传屏超时时间动态设置方法、装置、无线传屏器及接收端
US11947933B2 (en) * 2021-01-08 2024-04-02 Microsoft Technology Licensing, Llc Contextual assistance and interactive documentation

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120208466A1 (en) * 2011-02-15 2012-08-16 Lg Electronics Inc. Method of transmitting and receiving data, display device and mobile terminal using the same
EP2631827A1 (en) * 2012-02-24 2013-08-28 Samsung Electronics Co., Ltd Method of Sharing Content and Mobile Terminal
CN103379221A (zh) * 2012-04-23 2013-10-30 Lg电子株式会社 移动终端及其控制方法
US20130321329A1 (en) * 2012-05-29 2013-12-05 Sony Mobile Communications, Inc. Terminal apparatus, display method and recording medium
US20140063269A1 (en) * 2012-09-05 2014-03-06 Scott A. Krig Protocol for Communications Between Platforms and Image Devices
US20140104141A1 (en) * 2012-10-15 2014-04-17 Lg Electronics Inc. Mobile terminal
CN104854537A (zh) * 2013-01-04 2015-08-19 英特尔公司 与计算设备的多距离、多模态自然用户交互
US20170018248A1 (en) * 2014-03-04 2017-01-19 Samsung Electronics Co., Ltd. Method and electronic device for displaying content
CN105792004A (zh) * 2014-12-22 2016-07-20 Tcl集团股份有限公司 一种触发传屏的方法及系统
CN104902078A (zh) * 2015-04-29 2015-09-09 深圳市万普拉斯科技有限公司 移动终端中屏幕旋转的控制方法和系统及移动终端
CN205028278U (zh) * 2015-07-28 2016-02-10 东莞市大宗数码科技有限公司 背投式互动显示装置
CN106843786A (zh) * 2017-01-23 2017-06-13 宇龙计算机通信科技(深圳)有限公司 显示屏的开启方法、显示屏的开启装置和终端
US20180267769A1 (en) * 2017-03-17 2018-09-20 Konica Minolta, Inc. Information processing system, method of controlling information processing system, and portable terminal
CN107071156A (zh) * 2017-03-28 2017-08-18 努比亚技术有限公司 一种文档投影方法、终端设备及系统
CN109960449A (zh) * 2019-03-22 2019-07-02 深圳前海达闼云端智能科技有限公司 一种投屏显示方法及相关装置
CN109961522A (zh) * 2019-04-02 2019-07-02 百度国际科技（深圳）有限公司 图像投射方法、装置、设备和存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257822A1 (zh) * 2021-06-08 2022-12-15 华为技术有限公司 一种应用界面的分布式显示方法及终端
CN113507694A (zh) * 2021-06-18 2021-10-15 厦门亿联网络技术股份有限公司 一种基于无线辅流设备的投屏方法及装置
CN113507694B (zh) * 2021-06-18 2024-02-23 厦门亿联网络技术股份有限公司 一种基于无线辅流设备的投屏方法及装置
CN113434846A (zh) * 2021-06-22 2021-09-24 青岛海尔科技有限公司 投屏数据的处理方法及装置
CN113434846B (zh) * 2021-06-22 2023-06-09 青岛海尔科技有限公司 投屏数据的处理方法及装置
CN113721877A (zh) * 2021-09-09 2021-11-30 天津智融创新科技发展有限公司 推屏方法、装置、设备和存储介质
CN113721877B (zh) * 2021-09-09 2024-02-06 天津智融创新科技发展有限公司 推屏方法、装置、设备和存储介质
CN114339183A (zh) * 2021-12-30 2022-04-12 深圳迈瑞动物医疗科技有限公司 一种内窥镜系统及其投屏方法

Also Published As

Publication number Publication date
JP7419495B2 (ja) 2024-01-22
US20220214855A1 (en) 2022-07-07
CN112540739B (zh) 2023-11-03
BR112022005155A2 (pt) 2022-06-14
CN117539420A (zh) 2024-02-09
EP3979065A1 (en) 2022-04-06
EP3979065A4 (en) 2022-08-10
JP2022542413A (ja) 2022-10-03
KR20220062400A (ko) 2022-05-16
WO2021052008A1 (zh) 2021-03-25

Similar Documents

Publication Publication Date Title
CN112540739B (zh) 一种投屏方法及系统
EP3232343A1 (en) Method and apparatus for managing video data, terminal, and server
EP3163498B1 (en) Alarming method and device
WO2019206270A1 (zh) 测距方法、智能控制方法及装置、电子设备和存储介质
CN110418112A (zh) 一种视频处理方法及装置、电子设备和存储介质
CN104867324A (zh) 打车服务中识别乘客上车的方法及相关装置
JP6210234B2 (ja) 画像処理システム、画像処理方法及びプログラム
CN104503888A (zh) 告警提示的方法及装置
CN105095881A (zh) 人脸识别方法、装置及终端
CN104537837A (zh) 交通标志的获取、确定交通路线的方法、装置及系统
CN105718056A (zh) 手势识别方法及装置
CN108734967A (zh) 违章车辆监控方法、装置及系统
WO2022052451A1 (zh) 一种影像信息的处理方法及装置、电子设备和存储介质
WO2022160616A1 (zh) 通行检测方法及装置、电子设备和计算机可读存储介质
CN113330395A (zh) 一种多屏交互的方法、装置、终端设备和车辆
CN109508725A (zh) 运输车辆的盖板开合检测方法、装置及终端
CN105260743A (zh) 图形分类方法和装置
CN111723124B (zh) 数据碰撞分析的方法、装置、电子设备和存储介质
CN108957460A (zh) 车辆距离的检测方法、设备及计算机可读存储介质
CN106445376A (zh) 一种网页的操作方法及装置
CN111832338A (zh) 对象检测方法及装置、电子设备和存储介质
CN109919126A (zh) 一种移动物体探测方法、装置及存储介质
CN111385410B (zh) 终端设备的控制方法、装置及存储介质
CN115734085A (zh) 一种视频处理方法，终端和相关设备
KR101976493B1 (ko) 영상 감시장치에서 객체영역을 설정하는 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant