CN111078183A - 音视频信息控制方法、装置、智能设备和计算机可读存储介质 - Google Patents

音视频信息控制方法、装置、智能设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111078183A
CN111078183A CN201911291448.2A CN201911291448A CN111078183A CN 111078183 A CN111078183 A CN 111078183A CN 201911291448 A CN201911291448 A CN 201911291448A CN 111078183 A CN111078183 A CN 111078183A
Authority
CN
China
Prior art keywords
information
audio
video
output information
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911291448.2A
Other languages
English (en)
Inventor
赵梓宏
周荣刚
谭北平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Beijing Mininglamp Software System Co ltd
Original Assignee
Beihang University
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, Beijing Mininglamp Software System Co ltd filed Critical Beihang University
Priority to CN201911291448.2A priority Critical patent/CN111078183A/zh
Publication of CN111078183A publication Critical patent/CN111078183A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供一种音视频信息控制方法、装置、智能设备和计算机可读存储介质，通过智能设备的图像采集设备采集图像，并检测图像中是否包含目标对象，再根据检测结果分别对智能设备的音频输出信息和视频输出信息进行控制。如此，可根据用户相对于智能设备的实际使用情况，相应地控制智能设备的音频输出信息和视频输出信息，使音频输出信息和视频输出信息更加符合用户实际所需。

Description

音视频信息控制方法、装置、智能设备和计算机可读存储介质
技术领域
本申请涉及智能设备技术领域，具体而言，涉及一种音视频信息控制方法、装置、智能设备和计算机可读存储介质。
背景技术
智能音箱，是一种音箱升级的产物，是家庭消费者用语音进行上网的一个工具，例如实现点播歌曲、上网购物，或者了解天气预报等。此外，通过智能音箱还可以对智能家居设备进行控制，例如打开窗帘、设置冰箱温度、提前让热水器升温等。由于交互上的便捷性，智能音箱已越来越受到消费者的喜爱。一般地，智能音箱可结合视频输出和音频输出的方式进行信息展示，但是，目前的智能音箱中，无论用户相对于智能音响是何种状态，视频输出和音频输出都按固定的预设模式进行信息输出，在视频输出和音频输出的方式上缺乏灵活性，不能根据用户的实际使用情况进行调整，难以实现合理化的信息展示。
发明内容
本申请的目的包括，例如，提供了一种音视频信息控制方法、装置、智能设备和计算机可读存储介质，其根据用户实际使用情况对音视频信息进行控制。
本申请的实施例可以这样实现：
第一方面，本申请实施例提供一种音视频信息控制方法，应用于智能设备，所述智能设备包括图像采集设备，所述方法包括：
获取所述图像采集设备采集到的图像；
检测所述图像中是否包含目标对象，获取检测结果；
根据所述检测结果分别对所述智能设备的音频输出信息和视频输出信息进行控制。
在可选的实施方式中，所述根据检测结果分别对所述智能设备的音频输出信息和视频输出信息进行控制的步骤，包括：
若所述检测结果表明未识别到所述目标对象，则按第一音频输出策略对所述智能设备的音频输出信息进行控制，并按第一视频输出策略对视频输出信息进行控制；
若所述检测结果表明识别到所述目标对象，则按第二音频输出策略对所述智能设备的音频输出信息进行控制，并获得所述目标对象与所述智能设备之间的距离值，根据所述距离值按第二视频输出策略对视频输出信息进行控制。
在可选的实施方式中，所述智能设备还包括音频输出设备，所述按第一音频输出策略对所述智能设备的音频输出信息进行控制，并按第一视频输出策略对视频输出信息进行控制的步骤，包括：
关闭所述智能设备的显示屏幕，以停止视频输出信息的输出；
在获取查询信息后，获得所述查询信息对应的输出内容；
将所述输出内容对应的音频输出信息，通过所述智能设备的音频输出设备进行音频输出。
在可选的实施方式中，所述智能设备还包括音频输出设备，所述按第二音频输出策略对所述智能设备的音频输出信息进行控制的步骤，包括：
在获取查询信息后，获得所述查询信息对应的输出内容；
获得所述输出内容中部分内容对应的音频输出信息，将获得的音频输出信息通过所述智能设备的音频输出设备进行音频输出。
在可选的实施方式中，所述根据所述距离值按第二视频输出策略对视频输出信息进行控制的步骤，包括：
在获取查询信息后，获得所述查询信息对应的输出内容；
在所述距离值小于第一预设阈值时，将所述输出内容对应的视频输出信息通过所述智能设备的显示屏幕进行输出；
在所述距离值大于所述第一预设阈值且小于第二预设阈值时，将所述输出内容对应的视频输出信息通过所述智能设备的显示屏幕进行输出，并对所述显示屏幕上的视频输出信息进行简化设置；
在所述距离值大于所述第二预设阈值时，关闭所述智能设备的显示屏幕，以停止所述视频输出信息的输出。
在可选的实施方式中，所述对所述显示屏幕上的视频输出信息进行简化设置的步骤，包括：
将所述显示屏幕上视频输出信息中的触控按键进行隐藏；
增大所述视频输出信息包含的文字信息的字体大小。
在可选的实施方式中，所述图像采集设备包括红外设备，所述获得所述目标对象与所述智能设备之间的距离值的步骤，包括：
通过所述红外设备发出红外发射光，并获取经由所述目标对象反射后的红外接收光；
根据所述红外发射光的发射时间点以及接收所述红外接收光的接收时间点，计算获得所述目标对象与所述智能设备之间的距离值。
第二方面，本申请实施例提供一种音视频信息控制装置，应用于智能设备，所述智能设备包括图像采集设备，所述装置包括：
获取模块，用于获取所述图像采集设备采集到的图像；
检测模块，用于检测所述图像中是否包含目标对象，获取检测结果；
控制模块，用于根据所述检测结果分别对所述智能设备的音频输出信息和视频输出信息进行控制。
第三方面，本申请实施例提供一种智能设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一项所述的音视频信息控制方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，实现上述任意一项所述的音视频信息控制方法。
本申请实施例的有益效果包括，例如：
本申请实施例提供的音视频信息控制方法、装置、智能设备和计算机可读存储介质，通过智能设备的图像采集设备采集图像，并检测图像中是否包含目标对象，再根据检测结果分别对智能设备的音频输出信息和视频输出信息进行控制。如此，可根据用户相对于智能设备的实际使用情况，相应地控制智能设备的音频输出信息和视频输出信息，使音频输出信息和视频输出信息更加符合用户实际所需。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的智能设备的结构框图；
图2为本申请实施例提供的音视频信息控制方法的流程示意图；
图3为图2中步骤S220的子步骤的流程图；
图4为图3中步骤S231的子步骤的流程图；
图5为图3中步骤S232的子步骤的流程图；
图6为图3中步骤S232的子步骤的另一流程图；
图7为本申请实施例提供的完整视频输出信息展示的示意图；
图8为本申请实施例提供的简化设置的视频输出信息展示的示意图；
图9为本申请实施例提供的音视频信息控制方法的另一流程示意图；
图10为本申请实施例提供的音视频信息控制装置的功能模块框图。
图标：100-智能设备；110-处理器；120-存储器；130-通信模块；140-显示屏幕；150-音频采集设备；160-音频输出设备；170-图像采集设备；180-音视频信息控制装置；181-获取模块；182-检测模块；183-控制模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
请参考图1，本申请实施例提供一种智能设备100，该智能设备100可以是配置有显示屏幕140、音频输出设备160、音频采集设备150、图像采集设备170等的电子设备，例如智能音箱。
此外，所述智能设备100还可包括存储器120、处理器110及通信模块130。所述音频输出设备160、音频采集设备150、显示屏幕140、存储器120、处理器110以及通信模块130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器120用于存储程序或者数据。所述存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器120(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
处理器110用于读/写存储器120中存储的数据或程序，并执行本申请任意实施例提供的音视频信息控制方法。
通信模块130用于通过网络建立智能设备100与其它通信终端之间的通信连接，并用于通过网络收发数据。
显示屏幕140在终端设备与用户之间同时提供一个输出及输入界面。具体地，该屏幕可以向用户显示页面及视频输出，这些输出的内容可包括文字、图形、视频、及其任意组合。一些输出结果是对应于一些用户界面对象。该显示屏幕140可以为触控屏幕，用于接收用户的输入，例如用户的点击、滑动等手势操作，以便用户界面对象对这些用户的输入做出响应。检测用户输入的技术可以是基于电阻式、电容式或者其他任意可能的触控检测技术。屏幕的显示单元的具体实例包括但并不限于液晶显示器或发光聚合物显示器。
应当理解的是，图1所示的结构仅为智能设备100的结构示意图，所述智能设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参阅图2，图2示出了本申请实施例提供的音视频信息控制方法的流程示意图，该音视频信息控制方法可由图1中所示的智能设备100执行。应当理解，在其它实施例中，本实施例的音视频信息控制方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该音视频信息控制方法的详细步骤介绍如下。
步骤S210，获取所述图像采集设备170采集到的图像。
步骤S220，检测所述图像中是否包含目标对象，获取检测结果。
步骤S230，根据所述检测结果分别对所述智能设备100的音频输出信息和视频输出信息进行控制。
传统的智能设备100中，在具有视频通道和语音通道的情况下，一般采用的方式是，同时通过屏幕展示信息和并将展示信息通过语音通道进行语音输出。用户在与智能设备100交互时，语音会实时反馈信息，同时屏幕信息会作出相应的展示。无论用户距离智能设备100的位置有多远、能否看见显示屏幕140，视觉交互与语音交互的方式都会存在，同时屏幕信息的展示方式始终不会改变。
传统的智能设备100中，这种生硬地将视觉和语音两种方式结合在一起，不分场合的使用，往往会造成用户的认知负担，而产生烦躁的使用感受。并且，在不区分使用场景下，屏幕无法被很好的利用以展示合适信息量的信息。
基于上述现有技术中存在的缺陷，在本实施例中，在开启智能设备100时，同时开启智能设备100的图像采集设备170。其中，该图像采集设备170可以包括摄像设备以采集图像，还可以包括红外设备，以通过红外探测的方式探测与物体之间的相对距离。
图像采集设备170在开启后，将采集智能设备100附近的、可视范围内的图像，对图像采集设备170采集到的图像进行识别，以检测是否能够识别到目标对象。其中，该目标对象可以是人体的各个部位，例如面部、头部、身体等。
本实施例中，可以通过对采集到的图像进行运动检测，从而确定图像中是否存在目标对象，或者可以对采集到的图像进行面部识别，以确定是否采集到人脸图像，或者也可以采用其他的可实现人体检测或人脸检测的方式，本实施例对此不作具体限制。
根据检测的结果来相应地对智能设备100的视频输出信息和音频输出信息进行控制。也就是说，可根据智能设备100附近是否有用户、或者是用户相对于智能设备100的位置情况，以相应控制智能设备100的视频输出信息和音频输出信息。根据用户的实际使用情况合理地对视频输出信息和音频输出信息进行控制。
本实施例中，智能设备100的信息输出通道包括音频输出通道和视频输出通道，其中，音频输出通道通过音频输出设备160实现音频信息输出，该音频输出设备160可以是例如喇叭等。而视频输出通道通过显示屏幕140实现视频信息输出，该视频信息可以是静态页面，也可以是视频流，本实施例对此不作具体限制。
请参阅图3，上述根据检测结果分别对智能设备100的音频输出信息和视频输出信息进行控制的步骤，可以包括以下过程：
步骤S231，若所述检测结果表明未识别到所述目标对象，则按第一音频输出策略对所述智能设备100的音频输出信息进行控制，并按第一视频输出策略对视频输出信息进行控制。
步骤S232，若所述检测结果表明识别到所述目标对象，则按第二音频输出策略对所述智能设备100的音频输出信息进行控制，并获得所述目标对象与所述智能设备100之间的距离值，根据所述距离值按第二视频输出策略对视频输出信息进行控制。
在本实施中，若检测结果表明未识别到目标对象，说明在相对于智能设备100的图像采集设备170的可视范围内没有用户。此种情形下，表明用户无法与智能设备100之间实现视觉交互，即智能设备100的显示屏幕140输出的内容此时无实际意义。此时，应当重点采用音频输出的方式，以向用户播放相关信息。
可选地，此时可按第一音频输出策略对智能设备100的音频输出信息进行控制，并按第一视频输出策略对视频输出信息进行控制，具体地，请参阅图4，可采用以下方式：
步骤S2311，关闭所述智能设备100的显示屏幕140，以停止视频输出信息的输出。
步骤S2312，在获取查询信息后，获得所述查询信息对应的输出内容。
步骤S2313，将所述输出内容对应的音频输出信息，通过所述智能设备100的音频输出设备160进行音频输出。
在图像采集设备170采集到的图像中未识别到目标对象时，表明用户并未在智能设备100的显示屏幕140前方，若此时还通过显示屏幕140进行信息展示，则无实际意义。因此，为了节省设备的功耗，可关闭智能设备100的显示屏幕140，以停止视频输出信息的输出。
同时，在这种情况下，应着重进行语音输出，用户可通过语音输入的方式与智能设备100实现交互。例如，用户可输入查询信息，该查询信息可以是语音信息，智能设备100的音频采集设备150可获取用户的查询信息。其中，音频采集设备150可以是麦克风等。音频采集设备150将获得的查询信息传输至处理设备，通过处理设备的分析可获得该查询信息对应的输出内容。
需要将该输出内容通过语音通道输出给用户时，可获得该输出内容对应的音频输出信息，并通过智能设备100的音频输出设备160进行音频输出。
在这种情况下，由于显示屏幕140已关闭，因此，在进行音频输出时，应尽量将完整的信息进行输出，即将全部的输出内容所对应的音频输出信息输出。以使用户在无法看到显示屏幕140的情况下，可根据智能设备100输出的音频输出信息获得完整的查询内容。
此外，若图像采集设备170采集到的图像中检测到目标对象，则表明当前有用户位于智能设备100的前方，此时，应结合视频通道和音频通道向用户展示相关信息。
为了避免视频通道和音频通道两种交互方式共存而对用户造成认知负荷，因合理地对视频通道和音频通道的输出信息进行设置，合理化展示信息。
在这种情况下，可按第二音频输出策略对智能设备100的音频输出信息进行控制，而对于视频输出，则可根据目标对象与智能设备100之间的距离值，并按第二视频输出策略对视频输出信息进行控制。
可选地，请参阅图5，按第二音频输出策略对智能设备100的音频输出信息进行控制时，可通过以下方式实现：
步骤S2321，在获取查询信息后，获得所述查询信息对应的输出内容。
步骤S2322，获得所述输出内容中部分内容对应的音频输出信息，将获得的音频输出信息通过所述智能设备100的音频输出设备160进行音频输出。
在能够识别到目标对象的情况下，在用户需要查询获得相应内容时，智能设备100的显示屏幕140会进行内容展示，因此，为了避免同时进行视频输出和音频输出时，过多输出信息对用户造成负担，音频输出通道可不必将所有的输出内容对应的音频输出信息进行输出。
可获得输出内容中部分内容对应的音频输出信息，例如，获取输出内容中包含的部分较为重要的内容，或者是挑选输出内容中与用户关联度较高的部分内容。如在输出内容为餐厅排名时，则可挑选出分析获得的餐厅中与用户当前位置较近的部分餐厅。
然后，将该部分内容对应的音频输出信息通过智能设备100的音频输出设备160进行音频输出。
本实施例中，在能够识别到目标对象的情况下，由于目标对象相对于智能设备100之间的距离的远近影响到目标对象对智能设备100的操控，以及目标对象对于智能设备100的显示屏幕140上所展示信息的观看体验，因此，可基于目标对象与智能设备100之间的距离值，并按第二视频输出策略对视频输出信息进行控制。
在本实施例中，图像采集设备170包括红外设备，该红外设备可为红外激光摄像头。可通过红外设备对目标对象的探测以获得目标对象与智能设备100之间的距离值。
可选地，在图像采集设备170采集到的图像中检测识别到目标对象时，可利用红外设备发出红外发射光，红外发射光在遇到目标对象时，将被目标对象反射回来，因此，可通过红外设备获取经由目标对象反射后的红外接收光。再根据红外发射光的发射时间点以及接收红外接收光的接收时间点，计算获得目标对象与智能设备100之间的距离值。
可选地，可根据红外光线在空气中的传输速度，以及发射时间点和接收时间点之间的时间差值，计算得到目标对象与智能设备100之间的距离值。
请参阅图6，本实施例中，在根据目标对象与智能设备100之间的距离值对视频输出信息进行控制时，可通过以下方式实现：
步骤S2323，在获取查询信息后，获得所述查询信息对应的输出内容。
步骤S2324，在所述距离值小于第一预设阈值时，将所述输出内容对应的视频输出信息通过所述智能设备100的显示屏幕140进行输出。
步骤S2325，在所述距离值大于所述第一预设阈值且小于第二预设阈值时，将所述输出内容对应的视频输出信息通过所述智能设备100的显示屏幕140进行输出，并对所述显示屏幕140上的视频输出信息进行简化设置。
步骤S2326，在所述距离值大于所述第二预设阈值时，则关闭所述智能设备100的显示屏幕140，以停止所述视频输出信息的输出。
在这种情况下，同样地，用户可通过语音输入的方式进行信息查询，智能设备100在对查询信息进行分析处理之后，获得查询信息对应的输出内容。
在图像采集设备170能够识别到目标对象时，若目标对象距离智能设备100较近，例如小于第一预设阈值，其中，该第一预设阈值可为人体手臂最大作业范围。即在目标对象与智能设备100之间的距离小于第一预设阈值的情况下，用户可对智能设备100的显示屏幕140上的内容进行操控。因此，在这种情形下，可将输出内容对应的视频输出信息完整的输出显示在显示屏幕140上。如包括视频输出信息中的主要展示信息、一些添加的附加信息、一些链接入口、信息按钮等。如此，以便于用户在有需求时，可对显示屏幕140上的相关内容进行操作，以满足用户所需。
而若目标对象距离智能设备100的距离较远时，例如大于第一预设阈值且小于第二预设阈值，其中，该第二预设阈值可为人眼正常可视距离(例如，视力1.0时可视距离为5米)。在目标对象与智能设备100之间的距离大于人体手臂最大作业范围但小于人眼正常可视距离时，表明此时用户无法对智能设备100的显示屏幕140上的显示内容进行操控，但可观看到显示屏幕140上的显示内容。
此时，显示屏幕140上的例如按钮、链接等操作内容对于用户而言无实际意义，反而造成用户观看上的障碍。并且，在这种情况下，由于用户与智能设备100之间的距离较远，因此，为了便于用户能够更好地观看展示内容，可相应地对显示屏幕140上的视频输出信息进行简化设置。
可选地，可对显示屏幕140上视频输出信息中的触控按键进行隐藏，例如上述的按钮、链接等操作内容。并且，可将视频输出信息中的主要输出信息放大，将一些不重要的信息隐藏。此外，还可增大视频输出信息包含的文字信息的字体大小。如此，在用户无法操控显示屏幕140但可观看到显示内容的情况下，将一些不必要的操作内容隐藏，着重显示出重要的显示内容，并且增大显示字体，以便于更好地满足用户所需，图7和图8分别示意性示出了显示屏幕140进行完整视频输出信息展示和简化设置后的视频输出信息的展示效果。
此外，若图像采集设备170能够识别到目标对象，而目标对象与智能设备100之间的距离大于第二预设阈值时，即虽然用户在智能设备100附近，但是用户所处的位置基本无法观看到显示屏幕140上的显示内容。此种情形下，显示屏幕140上的显示信息对于用户而言无实际意义，此时，为了降低设备的功耗，可关闭智能设备100的显示屏幕140，以停止视频输出信息的输出。这种情况下，通过语音通道，利用音频输出信息与用户实现信息交互即可。
在实施时，例如，智能设备100接收到用户输入的如“给我推荐附近的餐厅”的查询信息时，通过智能设备100的分析处理后，可获得对应的例如排名前10的餐厅信息。
在能够识别到目标对象的情况下，若用户与智能设备100之间的距离小于人体手臂最大作业范围，即小于第一预设阈值，则可将该排名前10的餐厅信息完整显示在显示屏幕140上。并且可在每个餐厅的显示内容旁增加查看更详细的相关信息的按键(例如商家评价、商家菜品等入口按键)，如此，在用户可观看且可操控的情况下，以满足用户的观看和操控所需。同时，在显示屏幕140已完整显示相关的查询内容的情况下，语音通道不必将该排名前10的餐厅信息全部语音输出，例如，可只语音输出排名前3的餐厅信息即可，以避免造成语音输出、视频输出共存时，过多输出信息对用户造成的负担。
而若此时，用户与智能设备100之间的距离大于人体手臂最大作业范围但小于人眼正常可视范围时，即大于第一预设阈值且小于第二预设阈值时，则可将上述显示屏幕140上的例如按键等信息隐藏，仅将排名前10的餐厅信息进行展示即可，并且，可将显示屏幕140上的字体大小增大。以便于用户在距离智能设备100较远时，也能看清显示屏幕140上的显示内容。
若不能识别到目标对象，或者目标对象与智能设备100之间的距离值大于人眼正常可视距离，即大于第二预设阈值时。则可将智能设备100的显示屏幕140关闭，以停止视频输出信息的输出。此时，可将获得的排名前10的餐厅信息通过语音通道，以完整地利用语音输出信息进行输出。以便于用户在无法观看到显示屏幕140的情况下，可通过语音信息将查询内容反馈给用户。
又如，在另一种场景下，智能设备100在获得用户输入的“如何做宫保鸡丁”的查询信息时，智能设备100对该查询信息进行分析处理后，获得对应的输出内容。
若此时能够识别到目标对象且目标对象与智能设备100之间的距离小于人眼正常可视距离，即用户可观看到显示屏幕140上的内容。此时，可将获得的宫保鸡丁的具体做法通过显示屏幕140展示给用户，语音通道可简单输出“为您搜到宫保鸡丁的做法如下”，而无需将宫保鸡丁的具体做法转换为语音输出。
若此时不能识别到目标对象或者目标对象与智能设备100之间的距离大于人眼正常可视距离时，则可关闭显示屏幕140，并通过音频输出设备160将宫保鸡丁的详细做法通过语音输出。
请参阅图9，以下将对本实施例提供的音视频信息控制方法的整体流程进行介绍。
步骤S901，开启智能设备100；
步骤S902，开启摄像设备，以进行目标对象检测；
步骤S903，开启红外设备，以探测目标对象与智能设备100之间的距离值；
步骤S904，检测摄像设备采集到的图像中是否识别到目标对象，若识别到，则执行步骤S905，若未识别到，则执行步骤S909；
步骤S905，根据目标对象与智能设备100之间的距离值，确定采用步骤S906、步骤S907或步骤S908对音频输出信息和视频输出信息进行控制；
步骤S906，在目标对象与智能设备100之间的距离值小于第一预设阈值时，通过显示屏幕140将视频输出信息完整输出，通过音频输出设备160将部分音频输出信息输出；
步骤S907，在目标对象与智能设备100之间的距离值大于第一预设阈值且小于第二预设阈值时，通过显示屏幕140将简化设置后的视频输出信息输出，通过音频输出设备160将完整音频输出信息输出；
步骤S908，在目标对象与智能设备100之间的距离值大于第二预设阈值时，执行步骤S909；
步骤S909，关闭显示屏幕140，并通过音频输出设备160将完整音频输出信息输出。
综上，本实施例中，考虑到用户在与多通道的智能设备100交互进行任务交互过程时，对通道的选择与用户和智能设备100之间的距离是强相关的。当用户与智能设备100之间的距离处于可触及的范围时，用户通常会使用图像交互(Graphical User Interface，GUI)，而不是语音交互(Voice User Interface，VUI)。当用户与智能设备100之间的距离较远时，通过GUI来展示任务结果也是不合理的。因此，基于用户位置来选择交互通道的输出方式，可以有效避免任务失败场景、通道展示过度带来的用户使用认知负荷。
因此，本实施例中，采用了视频输出、音频输出以及音视频结合输出的方式来适应实际情况下用户的不同状态。通过检测用户与智能设备100之间的距离，可以有效避免由于用户距离过远，而不适用于屏幕交互而导致的任务失败。且在显示屏幕140完整显示视频输出信息时，通过简化音频输出信息，以避免两种通道公共展示时，造成用户使用认知负荷，甚至使用户产生负面情绪的问题。并且，在对于用户无法与屏幕操作而在可观看的距离内的情况，通过隐藏显示屏幕140上的例如按键等操作内容，以更好的进行信息展示，减少用户对显示屏幕140上的复杂功能认知带来的负荷。
如此，本实施例结合图像识别与红外距离探测的方式，判断用户与智能设备100之间的交互距离，基于该交互距离的差异从而改进智能识别的交互通道输出策略，能够有效减轻用户的认知负担，带来更好的使用体验。
请参阅图10，为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种音视频信息控制装置180的实现方式，可选地，该音视频信息控制装置180可以采用上述图1所示的电子设备的器件结构。进一步地，图10为本申请实施例提供的一种音视频信息控制装置180的功能模块图。需要说明的是，本实施例所提供的音视频信息控制装置180，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该音视频信息控制装置180包括获取模块181、检测模块182以及控制模块183。
获取模块181，用于获取所述图像采集设备170采集到的图像。可以理解，该获取模块181可以用于执行上述步骤S210，关于该获取模块181的详细实现方式可以参照上述对步骤S210有关的内容。
检测模块182，用于检测所述图像中是否包含目标对象，获取检测结果。可以理解，该检测模块182可以用于执行上述步骤S220，关于该检测模块182的详细实现方式可以参照上述对步骤S220有关的内容。
控制模块183，用于根据所述检测结果分别对所述智能设备100的音频输出信息和视频输出信息进行控制。可以理解，该控制模块183可以用于执行上述步骤S230，关于该控制模块183的详细实现方式可以参照上述对步骤S230有关的内容。
本申请实施例所提供的音视频信息控制装置180可执行本申请任意实施例所提供的视音频信息控制方法，具备执行方法相应的功能模块和有益效果。
可选地，上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器120中或固化于该电子设备的操作系统(Operating System，OS)中，并可由图1中的处理器110执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器120中。
本申请实施例还提供一种包含机器可执行指令的计算机可读存储介质，所述机器可执行指令在由计算机处理器110执行时用于执行本申请任意实施例所提供的音视频信息控制方法的相关操作。
综上所述，本申请实施例提供的音视频信息控制方法、装置、智能设备100和计算机可读存储介质，通过智能设备100的图像采集设备170采集图像，并检测图像中是否包含目标对象，再根据检测结果分别对智能设备100的音频输出信息和视频输出信息进行控制。如此，可根据用户相对于智能设备100的实际使用情况，相应地控制智能设备100的音频输出信息和视频输出信息，使音频输出信息和视频输出信息更加符合用户实际所需。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种音视频信息控制方法，其特征在于，应用于智能设备，所述智能设备包括图像采集设备，所述方法包括：
获取所述图像采集设备采集到的图像；
检测所述图像中是否包含目标对象，获取检测结果；
根据所述检测结果分别对所述智能设备的音频输出信息和视频输出信息进行控制。
2.根据权利要求1所述的音视频信息控制方法，其特征在于，所述根据所述检测结果分别对所述智能设备的音频输出信息和视频输出信息进行控制的步骤，包括：
若所述检测结果表明未识别到所述目标对象，则按第一音频输出策略对所述智能设备的音频输出信息进行控制，并按第一视频输出策略对视频输出信息进行控制；
若所述检测结果表明识别到所述目标对象，则按第二音频输出策略对所述智能设备的音频输出信息进行控制，并获得所述目标对象与所述智能设备之间的距离值，根据所述距离值按第二视频输出策略对视频输出信息进行控制。
3.根据权利要求2所述的音视频信息控制方法，其特征在于，所述智能设备还包括音频输出设备，所述按第一音频输出策略对所述智能设备的音频输出信息进行控制，并按第一视频输出策略对视频输出信息进行控制的步骤，包括：
关闭所述智能设备的显示屏幕，以停止视频输出信息的输出；
在获取查询信息后，获得所述查询信息对应的输出内容；
将所述输出内容对应的音频输出信息，通过所述智能设备的音频输出设备进行音频输出。
4.根据权利要求2所述的音视频信息控制方法，其特征在于，所述智能设备还包括音频输出设备，所述按第二音频输出策略对所述智能设备的音频输出信息进行控制的步骤，包括：
在获取查询信息后，获得所述查询信息对应的输出内容；
获得所述输出内容中部分内容对应的音频输出信息，将获得的音频输出信息通过所述智能设备的音频输出设备进行音频输出。
5.根据权利要求2所述的音视频信息控制方法，其特征在于，所述根据所述距离值按第二视频输出策略对视频输出信息进行控制的步骤，包括：
在获取查询信息后，获得所述查询信息对应的输出内容；
在所述距离值小于第一预设阈值时，将所述输出内容对应的视频输出信息通过所述智能设备的显示屏幕进行输出；
在所述距离值大于所述第一预设阈值且小于第二预设阈值时，将所述输出内容对应的视频输出信息通过所述智能设备的显示屏幕进行输出，并对所述显示屏幕上的视频输出信息进行简化设置；
在所述距离值大于所述第二预设阈值时，关闭所述智能设备的显示屏幕，以停止所述视频输出信息的输出。
6.根据权利要求5所述的音视频信息控制方法，其特征在于，所述对所述显示屏幕上的视频输出信息进行简化设置的步骤，包括：
将所述显示屏幕上视频输出信息中的触控按键进行隐藏；
增大所述视频输出信息包含的文字信息的字体大小。
7.根据权利要求2所述的音视频信息控制方法，其特征在于，所述图像采集设备包括红外设备，所述获得所述目标对象与所述智能设备之间的距离值的步骤，包括：
通过所述红外设备发出红外发射光，并获取经由所述目标对象反射后的红外接收光；
根据所述红外发射光的发射时间点以及接收所述红外接收光的接收时间点，计算获得所述目标对象与所述智能设备之间的距离值。
8.一种音视频信息控制装置，其特征在于，应用于智能设备，所述智能设备包括图像采集设备，所述装置包括：
获取模块，用于获取所述图像采集设备采集到的图像；
检测模块，用于检测所述图像中是否包含目标对象，获取检测结果；
控制模块，用于根据所述检测结果分别对所述智能设备的音频输出信息和视频输出信息进行控制。
9.一种智能设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任意一项所述的音视频信息控制方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，实现权利要求1-7中任意一项所述的音视频信息控制方法。
CN201911291448.2A 2019-12-16 2019-12-16 音视频信息控制方法、装置、智能设备和计算机可读存储介质 Pending CN111078183A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911291448.2A CN111078183A (zh) 2019-12-16 2019-12-16 音视频信息控制方法、装置、智能设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911291448.2A CN111078183A (zh) 2019-12-16 2019-12-16 音视频信息控制方法、装置、智能设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111078183A true CN111078183A (zh) 2020-04-28

Family

ID=70314675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911291448.2A Pending CN111078183A (zh) 2019-12-16 2019-12-16 音视频信息控制方法、装置、智能设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111078183A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111479172A (zh) * 2020-04-30 2020-07-31 广东艾诗凯奇智能科技有限公司 一种信息传输方法、电子设备及可读存储介质
CN113362869A (zh) * 2021-05-19 2021-09-07 北京明略软件系统有限公司 一种录音设备
CN113569646A (zh) * 2021-06-28 2021-10-29 青岛海尔科技有限公司 冰箱的异常物品提示方法、装置、存储介质及电子装置
CN113949805A (zh) * 2020-07-17 2022-01-18 美的智慧家居科技有限公司 智能设备的控制方法、控制装置、智能设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060026318A1 (en) * 2004-07-30 2006-02-02 Samsung Electronics Co., Ltd. Apparatus, medium, and method controlling audio/video output
CN107291416A (zh) * 2017-06-20 2017-10-24 广东小天才科技有限公司 一种音频播放方法、系统及终端设备
CN108235084A (zh) * 2018-02-09 2018-06-29 维沃移动通信有限公司 一种视频播放方法及移动终端
CN109166575A (zh) * 2018-07-27 2019-01-08 百度在线网络技术（北京）有限公司 智能设备的交互方法、装置、智能设备和存储介质
CN109743630A (zh) * 2018-12-15 2019-05-10 深圳壹账通智能科技有限公司 基于人脸识别的视频控制方法、装置、电子设备及介质
CN110213663A (zh) * 2019-05-22 2019-09-06 深圳壹账通智能科技有限公司 音视频播放方法、计算机设备及计算机可读存储介质
CN110334629A (zh) * 2019-06-26 2019-10-15 湖北秉正讯腾科技有限公司 可多方位检测距离的方法、装置及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060026318A1 (en) * 2004-07-30 2006-02-02 Samsung Electronics Co., Ltd. Apparatus, medium, and method controlling audio/video output
CN107291416A (zh) * 2017-06-20 2017-10-24 广东小天才科技有限公司 一种音频播放方法、系统及终端设备
CN108235084A (zh) * 2018-02-09 2018-06-29 维沃移动通信有限公司 一种视频播放方法及移动终端
CN109166575A (zh) * 2018-07-27 2019-01-08 百度在线网络技术（北京）有限公司 智能设备的交互方法、装置、智能设备和存储介质
CN109743630A (zh) * 2018-12-15 2019-05-10 深圳壹账通智能科技有限公司 基于人脸识别的视频控制方法、装置、电子设备及介质
CN110213663A (zh) * 2019-05-22 2019-09-06 深圳壹账通智能科技有限公司 音视频播放方法、计算机设备及计算机可读存储介质
CN110334629A (zh) * 2019-06-26 2019-10-15 湖北秉正讯腾科技有限公司 可多方位检测距离的方法、装置及可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111479172A (zh) * 2020-04-30 2020-07-31 广东艾诗凯奇智能科技有限公司 一种信息传输方法、电子设备及可读存储介质
CN111479172B (zh) * 2020-04-30 2022-03-01 未来穿戴技术有限公司 一种信息传输方法、电子设备及可读存储介质
CN113949805A (zh) * 2020-07-17 2022-01-18 美的智慧家居科技有限公司 智能设备的控制方法、控制装置、智能设备和存储介质
CN113362869A (zh) * 2021-05-19 2021-09-07 北京明略软件系统有限公司 一种录音设备
CN113569646A (zh) * 2021-06-28 2021-10-29 青岛海尔科技有限公司 冰箱的异常物品提示方法、装置、存储介质及电子装置

Similar Documents

Publication Publication Date Title
CN111078183A (zh) 音视频信息控制方法、装置、智能设备和计算机可读存储介质
US10516830B2 (en) Guided image composition on mobile devices
CN111580652B (zh) 视频播放的控制方法、装置、增强现实设备及存储介质
CN106527929B (zh) 一种图片信息隐藏方法及装置
US10860857B2 (en) Method for generating video thumbnail on electronic device, and electronic device
US20030095154A1 (en) Method and apparatus for a gesture-based user interface
US10191554B2 (en) Display apparatus and controlling method thereof
US20150254062A1 (en) Display apparatus and control method thereof
CN113763958B (zh) 语音唤醒方法、装置、电子设备和存储介质
CN114286173A (zh) 一种显示设备及音画参数调节方法
CN111477135B (zh) 一种屏幕显示方法、设备及存储介质
CN108965981B (zh) 视频播放方法、装置、存储介质及电子设备
US20200142495A1 (en) Gesture recognition control device
CN111488057B (zh) 页面内容处理方法及电子设备
US10762799B1 (en) Make-up assisting method implemented by make-up assisting device
CN103000054A (zh) 智能厨房烹饪教学机及其控制方法
US11818498B2 (en) Screen recording method and apparatus, and electronic device
KR101337665B1 (ko) 단말기 연동 및 제어 시스템 및 이에 사용되는 사용자 단말기
CN114489331A (zh) 区别于按钮点击的隔空手势交互方法、装置、设备和介质
CN109426342B (zh) 基于增强现实的文档阅读方法和装置
US20160054968A1 (en) Information processing method and electronic device
KR102414783B1 (ko) 전자 장치 및 이의 제어방법
CN113446717B (zh) 智能页面显示方法、装置以及电子设备
KR101992193B1 (ko) 적어도 하나 이상의 네트워크 인터페이스로 연결된 멀티미디어 디바이스 및 그 제어 방법
KR20210155505A (ko) 이동 가능한 전자장치 및 그 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200428