CN111984124A - 一种舞台灯光控台的操作方法、介质及舞台灯光控台 - Google Patents

一种舞台灯光控台的操作方法、介质及舞台灯光控台 Download PDF

Info

Publication number
CN111984124A
CN111984124A CN202010911576.9A CN202010911576A CN111984124A CN 111984124 A CN111984124 A CN 111984124A CN 202010911576 A CN202010911576 A CN 202010911576A CN 111984124 A CN111984124 A CN 111984124A
Authority
CN
China
Prior art keywords
user
acquiring
stage lighting
console
lighting console
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010911576.9A
Other languages
English (en)
Inventor
刘建华
谌勇辉
江会根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Caiyi Light Co Ltd
Original Assignee
Guangzhou Caiyi Light Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Caiyi Light Co Ltd filed Critical Guangzhou Caiyi Light Co Ltd
Priority to CN202010911576.9A priority Critical patent/CN111984124A/zh
Publication of CN111984124A publication Critical patent/CN111984124A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/155—Coordinated control of two or more light sources
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种舞台灯光控台的操作方法、介质及舞台灯光控台。所述舞台灯光控台的操作方法包括：利用所述舞台灯光控台的不同显示屏显示至少2个操作对象；获取用户的视线信息；根据所述用户的视线信息确定一目标显示屏；获取所述目标显示屏中的备选操作对象；获取用户的控制手势；根据所述用户的控制手势获取指令类型；根据所述指令类型和所述备选操作对象获取指令对象；根据所述指令类型和所述指令对象生成操作指令；利用所述操作指令对所述舞台灯光控台进行操作。所述舞台灯光控台的操作方法能够提升用户对舞台灯光控台的操作效率。

Description

一种舞台灯光控台的操作方法、介质及舞台灯光控台
技术领域
本发明属于用于一般电光源的电路装置领域，涉及一种控制方法，特别是涉及一种舞台灯光控台的操作方法、介质及舞台灯光控台。
背景技术
舞台灯光也叫“舞台照明”，简称“灯光”，其属于舞台美术造型的手段之一。具体地，舞台灯光是指运用舞台灯光设备(如舞台灯具、幻灯、控制系统等)和技术手段，根据实际需要以光色及其变化显示环境、渲染气氛、突出中心人物，创造舞台空间感、时间感，塑造舞台演出的外部形象，并提供必要的灯光效果(如风、雨、云、水、闪电)等。
在实际应用中，操作人员通过操作舞台灯光控台对相应的灯具进行控制以便获取舞台灯光。在现有舞台灯光控台的操作方法中，操作人员往往需要通过对多个显示屏、多个按键和/或多组推杆对所述舞台灯光控台进行操作从而实现对舞台灯光的编程。然而，请参阅图1，舞台灯光控台1的显示屏、按键和/或推杆往往位于不同的位置，舞台灯光控台的宽度一般在2m-4m左右，而操作人员在对舞台灯光控台进行操作时往往需要调节不同位置的显示屏、按键或推杆，这就导致现有舞台灯光控台的操作方法效率较低。例如，操作人员上一个操作通过显示屏11实现，而下一个操作则需要通过按键12实现，此时，操作人员很难轻松高效地完成对舞台灯光控台的操作。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种舞台灯光控台的操作方法、介质及舞台灯光控台，用于解决现有舞台灯光控台的操作方法中效率较低的问题。
为实现上述目的及其他相关目的，本发明的第一方面提供一种舞台灯光控台的操作方法，用于操作舞台灯光控台，所述舞台灯光控台的操作方法包括：利用所述舞台灯光控台的不同显示屏显示至少2个操作对象；获取用户的视线信息；根据所述用户的视线信息确定一目标显示屏；获取所述目标显示屏中的备选操作对象；获取用户的控制手势；根据所述用户的控制手势获取指令类型；根据所述指令类型和所述备选操作对象获取指令对象；根据所述指令类型和所述指令对象生成操作指令；利用所述操作指令对所述舞台灯光控台进行操作。
于所述第一方面的一实施例中，所述用户的视线信息包括用户的视线焦点；获取所述目标显示屏中的备选操作对象的实现方法包括：在所述目标显示屏中获取一焦点区域；其中，所述焦点区域包括所述用户的视线焦点；获取所述焦点区域中的操作对象作为所述备选操作对象。
于所述第一方面的一实施例中，获取所述焦点区域中的操作对象作为所述备选操作对象的实现方法包括：根据所述备选操作对象的类型将其划分为多个分组；根据所述备选操作对象与所述用户的视线焦点的距离，对各分组中的备选操作对象进行筛选，以使每个分组中仅包括1个备选操作对象。
于所述第一方面的一实施例中，获取用户的视线信息的实现方法包括：利用至少2个眼球跟踪设备获取用户的眼球信息；其中，不同眼球跟踪设备的位置各不相同；根据不同眼球跟踪设备获取的眼球信息获取所述用户的视线信息。
于所述第一方面的一实施例中，在获取所述目标显示屏中的备选操作对象以后，所述舞台灯光控台的操作方法还包括：在所述目标显示屏中突出显示所述备选操作对象。
于所述第一方面的一实施例中，获取用户的控制手势的实现方法包括：利用图像采集设备获取待识别图片；其中，所述待识别图片包括用户的手掌；对所述待识别图像进行分割，以获取用户的手掌图像；利用一卷积神经网络对所述用户的手掌图像进行处理，以获取用户的控制手势。
于所述第一方面的一实施例中，利用一卷积神经网络对所述用户的手掌图像进行处理，以获取用户的控制手势的实现方法包括：对所述用户的手掌图像进行手部特征提取和选择，以获取用户的手势特征；利用所述卷积神经网络对所述用户的手势特征进行分类，以获取用户的控制手势；其中，所述卷积神经网络的训练方法包括：获取训练图片；其中，所述训练图片包括用户的手掌；对所述训练图片进行分割，以获取所述训练图片对应的手掌图像；对所述训练图片对应的手掌图像进行特征提取和选择，以获取所述训练图片对应的手势特征；获取所述训练图片对应的控制手势；利用所述训练图片对应的手势特征和所述训练图片对应的控制手势对所述卷积神经网络进行训练。
于所述第一方面的一实施例中，所述操作对象包括灯具、显示屏、按键和/或推杆。
本发明的第二方面提供一种计算机可读存储介质，其上存储有计算机程序；该计算机程序被处理器执行时实现第一方面所述的舞台灯光控台的操作方法。
本发明的第三方面提供一种舞台灯光控台；所述舞台灯光控台包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行第一方面所述的舞台灯光控台的操作方法；至少2个显示屏，与所述存储器和所述处理器通信相连，用于显示至少2个操作对象。
如上所述，本发明所述舞台灯光控台的操作方法、介质及舞台灯光控台的一个技术方案，具有以下有益效果：
所述舞台灯光控台的操作方法利用不同的显示屏显示不同的操作对象，并根据用户的视线信息结合控制手势获取操作指令；通过所述操作指令能够实现对所述舞台灯光控台的操作。因此，本发明所述舞台灯光控台的操作方法能够根据用户的视线信息以及控制手势完成对舞台灯光控台的操作，便于用户操作不同位置的显示屏、推杆和/或按键，操作效率较高。
附图说明
图1显示为本发明涉及的舞台灯光控台于一具体实施例中的结构示意图。
图2显示为本发明所述的舞台灯光控台的操作方法于一具体实施例中的流程图。
图3A显示为本发明所述的舞台灯光控台的操作方法于一具体实施例中步骤S14的流程图。
图3B显示为本发明所述的舞台灯光控台的操作方法于一具体实施例中步骤S142的流程图。
图4A显示为本发明所述的舞台灯光控台的操作方法于一具体实施例中步骤S12的流程图。
图4B显示为本发明所述的舞台灯光控台的操作方法于一具体实施例中步骤S121的流程图。
图4C显示为本发明所述的舞台灯光控台的操作方法于另一具体实施例中步骤S121的流程图。
图5显示为本发明所述的舞台灯光控台的操作方法于一具体实施例中步骤S15的流程图。
图6显示为本发明所述的舞台灯光控台的操作方法于另一具体实施例中步骤S15的流程图。
图7A显示为本发明所述的舞台灯光控台的操作方法于一具体实施例中步骤S153b的流程图。
图7B显示为本发明所述的舞台灯光控台的操作方法于一具体实施例中步骤S71的流程图。
图8显示为本发明所述的舞台灯光控台的操作方法于另一具体实施例中的流程图。
图9显示为本发明所述的舞台灯光控台于一具体实施例中的结构示意图。
元件标号说明
1 舞台灯光控台
11 显示屏
12 按键
900 舞台灯光控台
910 存储器
920 处理器
930 显示屏
S11～S19 步骤
S141～S142 步骤
S1421～S1422 步骤
S121～S122 步骤
S1211a～S1212a 步骤
S1211b～S1213b 步骤
S151a～S153a 步骤
S151b～S153b 步骤
S71～S72 步骤
S721～S725 步骤
S81～S85 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。此外，在本文中，诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
在实际应用中，操作人员通过操作舞台灯光控台对相应的灯具进行控制以便获取舞台灯光。在现有舞台灯光控台的操作方法中，操作人员往往需要通过对多个显示屏、多个按键和/或多组推杆对所述舞台灯光控台进行操作从而实现对舞台灯光的编程。然而，请参阅图1，舞台灯光控台1的显示屏、按键和/或推杆往往位于不同的位置，舞台灯光控台的宽度一般在2m-4m左右，而操作人员在对舞台灯光控台进行操作时往往需要调节不同位置的显示屏、按键或推杆，这就导致现有舞台灯光控台的操作方法效率较低。例如，操作人员上一个操作通过显示屏11实现，而下一个操作则需要通过按键12实现，此时，操作人员很难轻松高效地完成对舞台灯光控台的操作。
针对这一问题，本发明提供一种舞台灯光控台的操作方法。所述舞台灯光控台的操作方法利用不同的显示屏显示不同的操作对象，并根据用户的视线信息结合控制手势获取操作指令；通过所述操作指令能够实现对所述舞台灯光控台的操作。因此，本发明所述舞台灯光控台的操作方法能够根据用户的视线信息以及控制手势完成对舞台灯光控台的操作，便于用户操作不同位置的显示屏、推杆和/或按键，操作效率较高。
请参阅图2，于本发明的一实施例中，所述舞台灯光控台的操作方法包括：
S11，利用所述舞台灯光控台的不同显示屏显示至少2个操作对象；其中，所述显示屏的数量为2个或多个，且每个显示屏显示至少1个操作对象；所述操作对象例如可以通过图标的形式显示。具体应用中，所述显示屏可以显示多个灯具的图标、多个推杆的图标、多个按键的图标和/或多个显示屏的图标。例如，在显示屏1上可以显示显示屏1对应的图标，表示该图标对应的操作对象为显示屏1。
S12，获取用户的视线信息；用户的视线信息包括用户的视线方向、凝视时间和/或视线焦点；其中，所述凝视时间是指用户的视线停留在某一显示屏的时长。
S13，根据所述用户的视线信息确定一目标显示屏；例如，可以获取用户视线方向上的1个或多个显示屏作为备选显示屏，当用户的视线在某一备选显示屏上的凝视时间大于一阈值时，该备选显示屏即为所述目标显示屏。其中，所述阈值可以根据实际需求设置，例如为0.1s。又例如，可以选取用户的视线焦点所在的一个显示屏作为所述目标显示屏。
S14，获取所述目标显示屏中的备选操作对象；其中，所述备选操作对象可以是所述目标显示屏中的所有操作对象，也可是所述目标显示屏中的部分操作对象。
S15，获取用户的控制手势。所述用户的控制手势包括用户的手型、手掌的移动轨迹等，例如：向上挥动、向下挥动、向左挥动、向右挥动、停止手势、OK手势等。具体应用中，可以利用红外手势传感器或红外手势检测器实现对所述用户的控制手势的获取，也可以通过其他方式获取所述用户的控制手势，具体方式此处不作限制。
S16，根据所述用户的控制手势获取指令类型。在具体应用中，可以预先定义所述控制手势与指令类型之间的关联关系；当步骤S15检测到用户的控制手势时，步骤S16可以根据该关联关系获取与该控制手势关联的指令类型。例如，所述关联关系可以预先定义为：“向下挥动”与“下翻页”相对应，“向上挥动”与“上翻页”相对应；当步骤S15获取到的用户的控制手势为“向下挥动”时，步骤S16根据该关联关系可以得到指令类型为“下翻页”。
S17，根据所述指令类型和所述备选操作对象获取指令对象。其中，所述指令对象是指操作指令对应的操作对象，属于操作对象的一种。优选地，每种指令类型仅对应一种指令对象，因此，根据所述指令类型能够从所述备选操作对象中获取所述指令对象。例如，若所述备选操作对象包括按键1、灯具1、显示屏1和推杆1，当所述指令类型为“按下”时，与该指令类型相对应的指令对象必然为按键1。
S18，根据所述指令类型和所述指令对象生成操作指令。例如，若所述指令类型为“按下”，所述指令对象为“按键1”，则所述操作指令为“按下按键1”。
S19，利用所述操作指令对所述舞台灯光控台进行操作。
根据以上描述可知，本实施例所述舞台灯光控台的操作方法利用不同的显示屏显示不同的操作对象，并根据用户的视线信息结合控制手势获取操作指令；通过所述操作指令能够实现对所述舞台灯光控台的操作。因此，本实施例所述舞台灯光控台的操作方法能够根据用户的视线信息以及控制手势完成对舞台灯光控台的操作，便于用户操作不同位置的显示屏、推杆和/或按键，操作效率较高。
请参阅图3A，于本发明的一实施例中，所述用户的视线信息包括用户的视线焦点。本实施例中，获取所述目标显示屏中的备选操作对象的实现方法包括：
S141，在所述目标显示屏中获取一焦点区域；其中，所述焦点区域包括所述用户的视线焦点。例如，可以以所述用户的视线焦点为中心、预设长度为半径的圆作为所述焦点区域。
S142，获取所述焦点区域中的操作对象作为所述备选操作对象。例如，当所述目标显示屏以图标的形式显示所述操作对象时，可以选取所述焦点区域内的所有图标对应的操作对象作为所述备选操作对象。
若所述备选操作对象中包含的所有操作对象的类型均不相同，所述备选操作对象配合所述指令类型即可获取指令对象，例如：当所述指令类型为“上推”时，所述指令对象必然为所述备选操作对象中的推杆。
若所述备选操作对象中包含类型相同的2个或多个操作对象，请参阅图3B，获取所述焦点区域中的操作对象作为所述备选操作对象的实现方法包括：
S1421，根据所述备选操作对象的类型将其划分为多个分组。具体的，可以将同一类型的备选操作对象划分成一个分组。例如，若所述备选操作对象包括推杆1、推杆2和按键1，则对所述备选操作对象划分后获取的分组包括分组1和分组2，其中：分组1包括推杆1和推杆2；分组2包括按键1。
S1422，根据所述备选操作对象与所述用户的视线焦点的距离，对各分组中的备选操作对象进行筛选，以使每个分组中仅包括1个备选操作对象。优选地，经过筛选后，每一分组仅保留与所述用户的视线焦点最近的一个备选操作对象。例如，对于分组1，若推杆1与所述用户的视线焦点的距离大于推杆2与所述用户的视线焦点的距离，则从分组1中删除推杆1，以使所述分组1中仅包含推杆2。
考虑到舞台灯光控台中包含大量的操作对象，且每个操作对象对应不同的指令类型，单纯采用眼球或手势实现对舞台灯光控台进行操作需要大量的眼球动作或手势动作，不仅会增加操作时间还会使用户产生疲劳感。针对这一问题，于本实施例中，通过所述用户的视线信息配合用户的控制手势来实现所述指令对象的选取，相对于仅采用眼球动作或控制手势选取指令对象的方式，极大地简化了选取流程，有利于提升对舞台灯光控台的操作效率。此外，本实施例中所述指令类型根据用户的控制手势获取，用户无需通过眼球的动作来实现指令类型的选取，相对于单纯采用眼球实现对舞台灯光控台操作的方式，进一步提升了对舞台灯光控台的操作效率。
请参阅图4A，于本发明的一实施例中，获取用户的视线信息的实现方法包括：
S121，利用至少2个眼球跟踪设备获取用户的眼球信息；其中，不同眼球跟踪设备的位置各不相同。优选地，所述眼球跟踪设备的数量与所述显示屏的数量相同，且每个显示屏周围均设置有一个眼球跟踪设备。所述眼球信息包括眼球尺寸、虹膜位置、虹膜尺寸和/或虹膜角度等。
S122，根据不同眼球跟踪设备获取的眼球信息获取所述用户的视线信息。由于不同眼球跟踪设备的位置各不相同，因此，每个眼球跟踪设备获取的眼球信息也不相同。综合考虑不同眼球跟踪设备获取的眼球信息即可获取用户的视线方向、凝视时间和视线焦点，所述视线方向、凝视时间和视线焦点即为本实施例所述用户的视线信息。根据用户的眼球信息获取用户的视线信息的方法可以采用现有的眼球追踪技术获取，具体方法此处不做赘述。
请参阅图4B，于本发明的一实施例中，所述眼球跟踪设备为摄像头；利用至少2个眼球跟踪设备获取用户的眼球信息的一种实现方法包括：
S1211a，利用至少2个摄像头获取用户的至少2张面部图像。其中，所述面部图像包括用户的眼睛图像，更具体的，包括用户的眼球图像以及虹膜图像。
S1212a，利用一深度学习模型对所述面部图像进行处理，以获取所述用户的眼球信息。其中，所述深度学习模型为一训练好的深度学习模型，其每次可以仅处理1张面部图像，也可以每次处理2张或多张面部图像。
本实施例中，对所述深度学习模型的训练方法包括：步骤1，获取第一训练数据；所述第一训练数据包括面部图像以及与所述面部图像对应的眼球信息；其中，所述面部图像对应的眼球信息可以由用户手动标注获得。步骤2，利用所述第一训练数据对所述深度学习模型进行训练；其中，步骤2可以采用现有的训练方法实现，此处不做赘述。
当所述深度学习模型训练好以后，将所述面部图像作为所述深度学习模型的输入，所述深度学习模型的输出即为所述用户的眼球信息。
于本发明的一实施例中，所述眼球跟踪设备为红外设备，其中，所述红外设备包括发送模块和接收模块，例如为红外眼球传感器。请参阅图4C，本实施例中，利用至少2个眼球跟踪设备获取用户的眼球信息的一种实现方法包括：
S1211b，利用所述红外设备的发送模块发出红外光线；所述红外光线到达用户的眼球后发生发射，形成发射光线。优选地，所述红外光线为一束光线，由多条光线组成。
S1212b，利用所述红外设备的接收模块接收所述反射光线。
S1213b，对所述反射光线进行处理，以获取所述用户的眼球信息。具体地，根据所述反射光线的角度、强度、空间分布和/或到达时间能够获取用户的眼球尺寸、虹膜位置、虹膜尺寸或虹膜角度等信息。
于本发明的一实施例中，在获取所述目标显示屏中的备选操作对象以后，所述舞台灯光控台的操作方法还包括：在所述目标显示屏中突出显示所述备选操作对象。例如，可以通过放大或高亮显示所述备选操作对象的图标，以此来提示用户当前的备选操作对象，从而辅助用户发出相应的控制手势。
请参阅图5，于本发明的一实施例中，所述用户的控制手势为动态手势，例如：向左挥动、向右挥动等。此时，获取用户的控制手势的实现方法包括：
S151a，利用图像采集设备获取至少2张待识别图片；其中，所述待识别图片包括用户的手掌；所述图像采集设备例如为摄像头。具体地，所述图像采集设备连续获取多张用户的手部图片作为所述待识别图片。
S152a，分别获取各待识别图像中手掌的位置。其中，所述手掌的位置可以用特征点的位置表示；所述特征点是指所述待识别图像中用户手掌的某一像素点，该像素点的灰度值与其周围像素点的灰度值存在明显差异，以便电子设备能够将该像素点与其周围像素点明显区分。例如，可以选取手掌边缘的任一点作为所述特征点。
S153a，根据各待识别图像的拍摄时间以及其中手掌的位置，获取用户的控制手势。例如，在时刻1，用户的手掌位于所述待识别图像的中间位置；在时刻1之后的某一时刻2，用户的手掌位于所述待识别图像的右侧，则可以确认用户的控制手势为“向右挥动”。
请参阅图6，于本发明的一实施例中，所述用户的控制手势为静止手势，例如：OK手势、停止手势等；此时，获取用户的控制手势的实现方法包括：
S151b，利用图像采集设备获取待识别图片；其中，所述待识别图片包括用户的手掌；所述图像采集设备例如为摄像头。
S152b，对所述待识别图像进行分割，以获取用户的手掌图像。其中，对所述待识别图像进行分割的目的是去除手掌之外的无关图像；该过程可以通过现有图像分割技术获取，此处不做赘述。
S153b，利用一卷积神经网络对所述用户的手掌图像进行处理，以获取用户的控制手势。具体地，将所述待识别图片作为所述卷积神经网络的输入，所述卷积神经网络的输出即为所述用户的控制手势。
请参阅图7A，于本发明的一实施例中，利用一卷积神经网络对所述用户的手掌图像进行处理，以获取用户的控制手势的实现方法包括：
S71，对所述用户的手掌图像进行手部特征提取和选择，以获取用户的手势特征。其中，所述用户的手势特征包括轮廓、边缘、图像矩、图像特征向量以及区域直方图特征等。
S72，利用所述卷积神经网络对所述用户的手势特征进行分类，以获取用户的控制手势。具体地，步骤S72可以采用基于卷积神经网络的分类器对所述用户的手势特征进行分类，根据分类后获取的标签即可获取所述用户的控制手势。
请参阅图7B，于本实施例中，所述卷积神经网络的训练方法包括：
S721，获取训练图片；其中，所述训练图片包括用户的手掌；优选地，所述训练图片与所述待识别图片为同一用户的图片。
S722，对所述训练图片进行分割，以获取所述训练图片对应的手掌图像。其中，对所述训练图片进行分割与步骤S152b中对所述待识别图片的分割相似。
S723，对所述训练图片对应的手掌图像进行特征提取和选择，以获取所述训练图片对应的手势特征。
S724，获取所述训练图片对应的控制手势。其中，所述训练图片对应的控制手势可以通过人工的方式进行标注。
S725，利用所述训练图片对应的手势特征和所述训练图片对应的控制手势对所述卷积神经网络进行训练。其中，对所述卷积神经网络的训练可以采用现有的训练方法获取，此处不作赘述。
于本发明的一实施例中，所述操作对象包括灯具、显示屏、按键和/或推杆。具体地，当所述操作对象为灯具时，其指令类型包括设置通道值、添加和/或删除等。当所述操作对象为显示屏时，其指令类型包括打开、关闭和/或亮度调节等。当所述操作对象为按键时，其指令类型包括抬起、按下。当所述操作对象为推杆时，由于推杆可以在一定范围内连续调节，可以将所述推杆的调节范围划分为多段：当推杆的指令类型为上推时，将推杆的位置调节至当前位置的上一段；当推杆的指令类型为下推时，将推杆的位置调节至当前位置的下一段。
于本发明的一实施例中，考虑到当多个用户同时注视相同屏幕或不同屏幕时会导致步骤S12中获取到多个用户的视线信息，进而会导致不具有操作权限的用户对所述舞台灯光控台的误操作。针对这一问题，本实施例中根据所述操作指令对所述舞台灯光控台进行操作的实现方法包括：
获取用户的面部信息；其中，所述用户的面部信息包括人脸的大小、主要面部器官的位置信息等。
根据所述用户的面部信息对用户进行人脸识别，并根据所述人脸识别结果判断是否执行所述操作指令。具体地，若识别到的用户具有与所述操作指令相匹配的操作权限，则根据所述操作指令对所述舞台灯光控台进行操作；否则，不对所述舞台灯光控台执行所述操作指令。其中，根据所述用户的面部信息对用户进行人脸识别可以采用现有方法实现，此处不做赘述。
请参阅图8，于本发明的一实施例中，所述舞台灯光控台的操作方法包括：
S81，利用红外眼球传感器和/或摄像头获取用户的视线信息。其中，所述红外眼球传感器和/或摄像头的数量优选为与所述舞台灯光控台的显示屏的数量相同。所述红外眼球传感器和/或摄像头沿所述舞台灯光控台平行的方向设置。
S82，根据所述用户的视线信息获取目标显示屏，并获取所述目标显示屏中的备选操作对象。例如，用户在凝视显示屏1内的灯具列表窗口A时，获取的备选操作对象包括显示屏1和灯具列表窗口A。优选地，所述目标显示屏突出提示所述备选操作对象，以便提示用户当前凝视的操作对象范围。
S83，利用红外手势传感器或摄像头获取用户的控制手势，并根据用户的控制手势获取指令类型。
S84，根据所述指令类型和所述备选操作对象获取指令对象，并根据所述指令类型和所述指令对象生成操作指令。所述操作指令例如：删除灯具列表窗口A，清除显示屏1等。
S85，根据步骤S84中获取的操作指令对所述舞台灯光控台进行操作。
基于以上对所述舞台灯光控台的操作方法的描述，本发明还提供一种计算机可读存储介质，其上存储有计算机程序。该计算机程序被处理器执行时实现本发明所述的舞台灯光控台的操作方法。
基于以上对所述舞台灯光控台的操作方法的描述，本发明还提供一种舞台灯光控台900。请参阅图9，于本发明的一实施例中，所述舞台灯光控台900包括：存储器910、处理器920和至少2个显示屏930。其中，所述存储器910存储有一计算机程序；所述处理器920与所述存储器910通信相连，调用所述计算机程序时执行本发明所述舞台灯光控台的操作方法。所述显示屏930与所述存储器910和所述处理器920通信相连，用于显示至少2个操作对象。
可选地，所述舞台灯光控台900还包括至少2个眼球跟踪设备，所述眼球跟踪设备可以为摄像头或红外设备；所述眼球跟踪设备用于获取用户的眼球信息。
可选地，所述舞台灯光控台900还包括图像采集设备或红外手势传感器。
本发明所述舞台灯光控台的操作方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明所述舞台灯光控台的操作方法利用不同的显示屏显示不同的操作对象，并根据用户的视线信息结合控制手势获取操作指令；通过所述操作指令能够实现对所述舞台灯光控台的操作。因此，本发明所述舞台灯光控台的操作方法能够根据用户的视线信息以及控制手势完成对舞台灯光控台的操作，便于用户操作不同位置的显示屏、推杆和/或按键，操作效率较高。
此外，于本发明的一些实施例中：当用户眼睛扫过各对象时，相应的对象突出提示(如高亮)，用户得到自动的界面反馈，体验较好；用户所见即为所操作的对象，直观便捷；通过眼球跟踪选定窗口后，手势识别命令可以让用户隔空实现拖动窗口滚动条，翻页，关闭等操作，比触摸屏更加快捷、卫生；可以通过升级软件的方式添加更多的手势识别功能，无需修改硬件；对比语音输入操作，手势操作不会受到环境噪音干扰。
综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种舞台灯光控台的操作方法，其特征在于，用于操作舞台灯光控台，所述舞台灯光控台的操作方法包括：
利用所述舞台灯光控台的不同显示屏显示至少2个操作对象；
获取用户的视线信息；
根据所述用户的视线信息确定一目标显示屏；
获取所述目标显示屏中的备选操作对象；
获取用户的控制手势；
根据所述用户的控制手势获取指令类型；
根据所述指令类型和所述备选操作对象获取指令对象；
根据所述指令类型和所述指令对象生成操作指令；
利用所述操作指令对所述舞台灯光控台进行操作。
2.根据权利要求1所述的舞台灯光控台的操作方法，其特征在于，所述用户的视线信息包括用户的视线焦点；获取所述目标显示屏中的备选操作对象的实现方法包括：
在所述目标显示屏中获取一焦点区域；其中，所述焦点区域包括所述用户的视线焦点；获取所述焦点区域中的操作对象作为所述备选操作对象。
3.根据权利要求2所述的舞台灯光控台的操作方法，其特征在于，获取所述焦点区域中的操作对象作为所述备选操作对象的实现方法包括：
根据所述备选操作对象的类型将其划分为多个分组；
根据所述备选操作对象与所述用户的视线焦点的距离，对各分组中的备选操作对象进行筛选，以使每个分组中仅包括1个备选操作对象。
4.根据权利要求1所述的舞台灯光控台的操作方法，其特征在于，获取用户的视线信息的实现方法包括：
利用至少2个眼球跟踪设备获取用户的眼球信息；其中，不同眼球跟踪设备的位置各不相同；
根据不同眼球跟踪设备获取的眼球信息获取所述用户的视线信息。
5.根据权利要求1所述的舞台灯光控台的操作方法，其特征在于，在获取所述目标显示屏中的备选操作对象以后，所述舞台灯光控台的操作方法还包括：
在所述目标显示屏中突出显示所述备选操作对象。
6.根据权利要求1所述的舞台灯光控台的操作方法，其特征在于，获取用户的控制手势的实现方法包括：
利用图像采集设备获取待识别图片；其中，所述待识别图片包括用户的手掌；
对所述待识别图像进行分割，以获取用户的手掌图像；
利用一卷积神经网络对所述用户的手掌图像进行处理，以获取用户的控制手势。
7.根据权利要求6所述的舞台灯光控台的操作方法，其特征在于，利用一卷积神经网络对所述用户的手掌图像进行处理，以获取用户的控制手势的实现方法包括：
对所述用户的手掌图像进行手部特征提取和选择，以获取用户的手势特征；
利用所述卷积神经网络对所述用户的手势特征进行分类，以获取用户的控制手势；
其中，所述卷积神经网络的训练方法包括：
获取训练图片；其中，所述训练图片包括用户的手掌；
对所述训练图片进行分割，以获取所述训练图片对应的手掌图像；
对所述训练图片对应的手掌图像进行特征提取和选择，以获取所述训练图片对应的手势特征；
获取所述训练图片对应的控制手势；
利用所述训练图片对应的手势特征和所述训练图片对应的控制手势对所述卷积神经网络进行训练。
8.根据权利要求1所述的舞台灯光控台的操作方法，其特征在于：所述操作对象包括灯具、显示屏、按键和/或推杆。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该计算机程序被处理器执行时实现权利要求1-8任一项所述的舞台灯光控台的操作方法。
10.一种舞台灯光控台，其特征在于，所述舞台灯光控台包括：
存储器，存储有一计算机程序；
处理器，与所述存储器通信相连，调用所述计算机程序时执行权利要求1-8任一项所述的舞台灯光控台的操作方法；
至少2个显示屏，与所述存储器和所述处理器通信相连，用于显示至少2个操作对象。
CN202010911576.9A 2020-09-02 2020-09-02 一种舞台灯光控台的操作方法、介质及舞台灯光控台 Pending CN111984124A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010911576.9A CN111984124A (zh) 2020-09-02 2020-09-02 一种舞台灯光控台的操作方法、介质及舞台灯光控台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010911576.9A CN111984124A (zh) 2020-09-02 2020-09-02 一种舞台灯光控台的操作方法、介质及舞台灯光控台

Publications (1)

Publication Number Publication Date
CN111984124A true CN111984124A (zh) 2020-11-24

Family

ID=73447349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010911576.9A Pending CN111984124A (zh) 2020-09-02 2020-09-02 一种舞台灯光控台的操作方法、介质及舞台灯光控台

Country Status (1)

Country Link
CN (1) CN111984124A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112566322A (zh) * 2020-12-31 2021-03-26 广州市浩洋电子股份有限公司 一种可视化灯光调节方法及调节系统
CN113490314A (zh) * 2021-05-25 2021-10-08 浙江工业大学 一种舞台灯光控制方法
CN114489325A (zh) * 2021-12-28 2022-05-13 上海松耳照明工程有限公司 灯光人机交互方法、系统、智能终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
CN1694043A (zh) * 2004-04-29 2005-11-09 国际商业机器公司 用眼睛凝视和按键按压组合选择和激活对象的系统和方法
US20150338651A1 (en) * 2012-07-27 2015-11-26 Nokia Corporation Multimodal interation with near-to-eye display
CN105554987A (zh) * 2016-01-30 2016-05-04 广州彩熠灯光有限公司 3d可视化及手势调节舞台灯具的控制系统及控制方法
US20200050280A1 (en) * 2018-08-10 2020-02-13 Beijing 7Invensun Technology Co., Ltd. Operation instruction execution method and apparatus, user terminal and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
CN1694043A (zh) * 2004-04-29 2005-11-09 国际商业机器公司 用眼睛凝视和按键按压组合选择和激活对象的系统和方法
US20150338651A1 (en) * 2012-07-27 2015-11-26 Nokia Corporation Multimodal interation with near-to-eye display
CN105554987A (zh) * 2016-01-30 2016-05-04 广州彩熠灯光有限公司 3d可视化及手势调节舞台灯具的控制系统及控制方法
US20200050280A1 (en) * 2018-08-10 2020-02-13 Beijing 7Invensun Technology Co., Ltd. Operation instruction execution method and apparatus, user terminal and storage medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈德立等: "眼动研究在中国", 天津教育出版社, pages: 557 - 563 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112566322A (zh) * 2020-12-31 2021-03-26 广州市浩洋电子股份有限公司 一种可视化灯光调节方法及调节系统
CN112566322B (zh) * 2020-12-31 2024-01-02 广州市浩洋电子股份有限公司 一种可视化灯光调节方法及调节系统
CN113490314A (zh) * 2021-05-25 2021-10-08 浙江工业大学 一种舞台灯光控制方法
CN113490314B (zh) * 2021-05-25 2024-07-19 浙江工业大学 一种舞台灯光控制方法
CN114489325A (zh) * 2021-12-28 2022-05-13 上海松耳照明工程有限公司 灯光人机交互方法、系统、智能终端及存储介质
CN114489325B (zh) * 2021-12-28 2024-04-26 上海松耳照明工程有限公司 灯光人机交互方法、系统、智能终端及存储介质

Similar Documents

Publication Publication Date Title
CN111062312B (zh) 手势识别方法、手势控制方法、装置、介质与终端设备
WO2021185016A1 (en) Methods and systems for controlling device using hand gestures in multi-user environment
RU2439653C2 (ru) Виртуальный контроллер для визуальных отображений
CN111984124A (zh) 一种舞台灯光控台的操作方法、介质及舞台灯光控台
US11190678B2 (en) Information processing apparatus, information processing method, and program
WO2021189173A1 (en) Methods and systems for hand gesture-based control of a device
US20190294870A1 (en) Gesture tracing device, gesture recognition device and non-transitory computer-readable storage medium
US20140157209A1 (en) System and method for detecting gestures
US10699150B2 (en) Machine guided photo and video composition
JP6105627B2 (ja) Ｏｃｒキャッシュ更新
US20140333585A1 (en) Electronic apparatus, information processing method, and storage medium
Loke et al. Indian sign language converter system using an android app
CN106778670A (zh) 手势识别装置及识别方法
Joseph et al. Visual gesture recognition for text writing in air
Ranawat et al. Hand gesture recognition based virtual mouse events
CN110990238B (zh) 基于视频拍摄的非侵入式可视化测试脚本自动录制方法
CN112036315A (zh) 字符识别方法、装置、电子设备及存储介质
CN118226967A (zh) 一种多模态交互智能控制系统
Hartanto et al. Real time hand gesture movements tracking and recognizing system
Zahra et al. Camera-based interactive wall display using hand gesture recognition
CN114333056A (zh) 一种手势控制的方法、系统、设备及存储介质
Prasad et al. Real-time hand gesture recognition using Indian Sign Language
WO2021184356A1 (en) Methods and systems for hand gesture-based control of a device
Abdallah et al. An overview of gesture recognition
CN115951783A (zh) 一种基于手势识别的计算机人机交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201124