CN113573938A - 用于在车辆的语言对话系统中提供以手语的语言对话的方法 - Google Patents
用于在车辆的语言对话系统中提供以手语的语言对话的方法 Download PDFInfo
- Publication number
- CN113573938A CN113573938A CN202080023964.1A CN202080023964A CN113573938A CN 113573938 A CN113573938 A CN 113573938A CN 202080023964 A CN202080023964 A CN 202080023964A CN 113573938 A CN113573938 A CN 113573938A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- information
- language
- sign language
- input information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 238000011156 evaluation Methods 0.000 claims abstract description 20
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims abstract description 4
- 230000004044 response Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims 7
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/146—Instrument input by gesture
- B60K2360/1464—3D-gesture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种用于在车辆（1）的语言对话系统中提供以手语的语言对话的方法，其中执行如下步骤：‑执行对车辆乘员（2）的输入信息的光学检测；‑执行对所检测到的输入信息的评估；‑根据所述评估来提供以手语的视觉输出（131）。
Description
技术领域
本发明涉及一种用于在车辆的语言对话系统中提供以手语的语言对话的方法。本发明还涉及一种系统以及一种车辆。
背景技术
车辆中的语言对话系统能够通过语言交流来实现对车辆的操作以及与车辆的信息交换。在驾驶功能自动化的时代，以这种方式可以提供额外的驾驶体验，该驾驶体验在于：能够与车辆进行交流以用于信息交换和/或以用于娱乐。对车辆中的仪器的手势控制也是公知的。然而，与车辆进行对话对于有口语障碍的人或失去听觉以及有听力障碍的人来说仍然存在问题。
在US 2005/0271279 A1中公开了通过手势与机器的交互，以便经此来向机器提供命令。
在US 2013/0261871 A1中同样公开了一种基于手势的控制。
US 2016/0107654 A1公开了一种针对用户输入的激活方法。
发明内容
因而，本发明的任务在于：至少部分地消除上文所描述的缺点。本发明的任务尤其在于：提供一种用于无声语言对话系统的解决方案。
上述任务通过一种具有权利要求1的特征的方法、一种具有权利要求4的特征的系统以及通过一种具有权利要求8的特征的车辆来被解决。本发明的其它特征和细节从相应的从属权利要求、说明书和附图中得到。在此，与按照本发明的方法相关联地描述的特征和细节当然也与按照本发明的系统以及按照本发明的车辆相关联地适用，而且分别反之亦然，使得关于对各个发明方面的公开内容始终可以相互参考。
该任务尤其是通过一种用于在车辆的语言对话系统、尤其是无声语言对话系统中提供以手语的语言对话的方法来被解决。在这种情况下，尤其是规定：执行如下步骤，优选地以所说明的顺序或者以任意顺序来依次执行如下步骤，其中各个步骤必要时也可以被重复执行：
- 尤其是通过图像检测装置，执行对车辆乘员的输入信息的光学检测；
- 尤其是通过处理装置，执行对所检测到的输入信息的评估；
- 尤其是通过输出装置，根据该评估来提供以手语的视觉输出。
以这种方式，可以借助于该语言对话系统来提供对语言对话的无声执行，以便能够与车辆进行自然语言对话。该自然语言对话尤其是由输入信息（例如以“来言”或问题或应答或命令的形式）和与此相关的输出（例如以“去语”或对问题的应答或问题或对命令的反馈的形式）形成。在这种情况下，一个特殊优点在于：提供以手语的输出，以便对于使用口语来进行对话有困难的人来说也能够实现该对话。因而，可以是可能的是：该对话完全没有口语。
还可以是可能的是：输入信息具有关于车辆乘员的手语的信息。借此，由该语言对话系统提供的对话可以完全以手语来被提供。为此，输入信息尤其包括关于手势和/或面部表情和/或无声说出的话语和/或车辆乘员的身体姿势的信息，这些信息可以通过处理装置的评估来被分析。为了检测具有这些信息的输入信息，例如可以通过图像检测装置来执行对车辆乘员的图像记录。该评估还可包括图像分析和/或机器学习方法，以便例如执行关于预先限定的手势和/或符号对输入信息的分类。以这种方式，通过该语言对话系统可以分析车辆内部空间中的情况并且在对话中使用该情况。
此外，可选地规定：对该评估的执行包括如下步骤：
- 依据输入信息来执行对车辆乘员以手语与语言对话系统的交互的探测，其中优选地该输入信息被实施成对车辆乘员的图像记录，以便依据该图像记录来将该交互至少作为车辆乘员的手势来探测；
- 尤其是只有在对该交互的探测成功的情况下，执行对该输入信息的分析、尤其是图像分析，用于将手语翻译成对于语言对话系统来说可评估的内容方面的翻译信息、优选地文本信息；
- 可选地：依据该输入信息来执行对车辆乘员的进一步的手势的探测，该进一步的手势特定于附加信息；
- 依据该翻译信息并且优选地依据该附加信息来生成应答，以便通过视觉输出以手语来输出该应答。
这能够实现对输入信息的可靠的评估，以便提供对话。此外，对该应答的生成例如可以包括对翻译信息的在内容方面的分析，以便例如将内容方面的信息确定为该应答，所述内容方面的信息在内容方面与（例如作为问题的）输入信息相关。该输出可以特别有利地以图形化身和/或抽象形式的输出为形式和/或通过符号（即基于符号）以及必要时附加地作为音频输出来实现。
可以是可能的是：在评估输入信息时可以探测车辆乘员的至少一个手势。车辆乘员的该手势可以被探测为在手语框架内的手势，并且可以相对应地用于将手语翻译成翻译信息。也可以将该手势探测为特定于附加信息的进一步的手势。进一步的手势例如是指向对象，该指向相对应地提供所选择的对象作为附加信息。依据所探测到的进一步的手势，除了翻译之外，可以在评估时使用该附加信息，以便生成该应答。例如，翻译信息表示有涉及该对象的特定问题。换言之，翻译信息可以表示函数，并且附加信息可以表示该函数的参数。那么，可以作为该函数的输出来生成该应答。
该进一步的手势和该附加信息例如通过如下方式来被确定：图像检测装置、尤其是像摄像机那样的第一图像检测单元检测输入信息，根据该输入信息可以得出该进一步的手势（如指向对象）。该附加信息（即特定对象）例如可以通过车辆的至少一个其它图像检测装置和/或至少一个其它图像检测单元的调查（进一步检测）来被确定，通过该至少一个其它图像检测装置和/或该至少一个其它图像检测单元来检测车辆的周围环境并且借此检测该对象。为此，例如依据进一步的手势来得出方向信息（朝哪个方向指向
），并且将该方向信息与对对象的进一步检测进行比较。也可设想的是：对象依据方向信息通过如下方式来被标识：评估关于车辆的当前所在地的所在地信息并且尤其是将该所在地信息与周围环境信息和方向信息进行比较。
按照本发明的一个有利的扩展方案，可以规定：该应答包括（具有如下内容的）如下信息中的至少一个信息：
- 关于在车辆的周围环境中的对象的对象信息，其中优选地为此附加信息提供对对象的选择，优选地作为关于该对象的方向说明；
- 天气信息、尤其是关于在车辆的所在地的天气的天气信息；
- 周围环境信息、优选地关于车辆的当前所在地的信息；
- 新闻信息、尤其是关于在车辆的所在地的当地新闻的新闻信息；
- 媒体信息、诸如视频或文学作品等，
其中为了生成该应答而特别优选地关于以手语对这些信息的输出的可用性方面来对这些信息进行过滤。这能够为语言对话提供广泛的信息渠道。为了选择对象，按照附加信息的进一步的手势例如构造成手指姿势等等，在该手指姿势的情况下可以用手势来指向对象。在此，按照该过滤，例如可以只考虑适合于以手语来输出的这种内容。也可以是可能的是：以文本形式的信息为此通过按照本发明的方法和/或系统被翻译成手语，例如借助于处理装置来被翻译成手语。为此，该处理装置必要时也可以与外部数据处理设备进行通信，以便例如经由外部服务器或经由云计算（Cloud-Computing）来执行该翻译。
本发明的主题同样是一种用于车辆的用于提供以手语的语言对话的系统。该系统例如可以实施成车辆电子设备，并且借此适合于固定地被集成到车辆中。在这种情况下规定：该系统具有如下组件中的至少一个组件：
- 图像检测装置、尤其是摄像机系统，用于检测车辆乘员的输入信息，其中优选地该输入信息被实施成图像信息、尤其是图像记录；
- （尤其是电子）处理装置，用于评估所检测到的输入信息，其中该处理装置例如实施成控制器和/或电子设备和/或微控制器和/或诸如此类的；
- 输出装置，用于根据该评估来进行以手语的视觉输出。
借此，按照本发明的系统带来了与已经关于按照本发明的方法详细地被描述的相同的优点。此外，该系统可以适合于执行按照本发明的方法。还可设想的是：该系统构造成按照本发明的方法的语言对话系统，以便执行该方法的步骤。
该系统例如可以构造成车辆中的技术组件，该技术组件借助于图像检测装置、尤其是以摄像机系统为形式的图像检测装置来监控车辆的内部空间并且能够识别车辆乘员（乘客）何时与该系统、尤其是语言对话系统（语言助手）进行交互并将手语翻译成文本。经此，语言助手可以表现得和当用户会通过语言来与该语言助手说话时一样。图像检测装置例如在仪表板或后视镜中被安装在前面并且借此提供精确的用户监控。
有利地，在本发明中可以规定：图像检测装置构造成红外摄像机，以便对车辆乘员的至少一个手势进行光学检测。摄像机例如可以构造用于在近红外和/或远红外范围内的检测，以便特别可靠地并且干扰少地检测输入信息。
可选地，可以规定：输出装置包括用于车辆内部空间的至少一个显示器、尤其是LED显示器，以便将视觉输出作为对输入信息的应答的可视化以手语来输出，其中优选地该输出装置构造成车辆的组合仪表。这能够实现对以手语的输出的方便的识别。
本发明的主题同样是一种具有按照本发明的系统的车辆。这样，在本发明的框架内，可以是有利的是：该车辆构造成自主车辆，即尤其构造成自行式机动车。这种车辆可以在没有人类驾驶员的影响的情况下进行驾驶、控制和停车。在这种情况下，使用语言对话系统特别有用，因为车辆乘员都没有忙于对车辆的控制。
还有利的是：该车辆构造成机动车、尤其是无轨陆地机动车，例如构造成包括用于牵引的燃烧发动机和电机的混合动力车辆或者构造成电动车辆，优选地具有高压车载电网和/或电动机。该车辆尤其可以构造成燃料电池车辆和/或乘用车辆。优选地，在电动车辆的实施方式中，在该车辆处不设置燃烧发动机，那么该车辆仅通过电能来被驱动。
按照本发明的一个有利的扩展方案，可以规定：输出装置布置在车辆内部空间中，尤其是布置在中控台的区域，而且图像检测装置布置在组合仪表和/或中控台和/或该车辆的内后视镜和/或后视镜和/或外后视镜的区域。在此，图像检测装置尤其可以在该车辆上布置为使得能够检测该车辆的驾驶员。在此，例如合理的是将图像检测装置布置在该车辆的其中该车辆的驾驶员也坐在的一侧的后视镜和/或外后视镜处。此外，也可设想的是：图像检测装置的检测被扩展用于该车辆的其他乘员。那么，在该车辆中或在该车辆上的替代布置相对应地也是适合的，和/或使用其它图像检测装置也是适合的。
附图说明
本发明的其它优点、特征和细节从随后的描述中得到，在所述描述中，参考附图详细地描述本发明的实施例。在此，在权利要求书中以及在说明书中提及的特征可以分别单独地或者以任意的组合来反映发明本质。其中：
图1从车辆的内部空间的视角示出了按照本发明的系统的部分的示意图；
图2示出了用于使按照本发明的方法可视化的示意图。
在随后的附图中，相同的附图标记被用于相同的技术特征、也包括不同的实施例的相同的技术特征。
具体实施方式
在图1中，示意性呈现了车辆1的用于提供以手语的语言对话的系统100。在此，从车辆内部空间40中的车辆乘员2的视角进行该呈现。示出了图像检测装置110，该图像检测装置可用于检测车辆乘员2的输入信息。为此，图像检测装置110以光学方式来监控车辆内部空间40，以便在视觉上对车辆乘员2进行记录。同时，必要时也可以通过图像检测装置110来检测其他车辆乘员2。
还设置处理装置120，用于评估所检测到的输入信息，其中处理装置120例如构造成车辆电子设备。也可以是可能的是：该评估部分地通过外部组件、如外部数据处理设备来进行。为此，例如通过像蜂窝无线电网络和/或因特网那样的网络，例如实现处理装置与外部数据处理设备的通信。以这种方式，可以使用附加的资源用于该评估。
还可以设置输出装置130，用于根据该评估来进行以手语的视觉输出。通常，在语言对话系统的情况下，不仅用户通过有声音的语言来进行输入而且系统100通过有声音的语言来进行应答（和/或反之亦然）。按照本发明，可以通过系统100以手语来实现至少一个应答。因此，即使不可能经由口语来交流，这也能够实现与车辆1的交流。
图像检测装置110可以构造成摄像机、尤其是红外摄像机，以便通过输入信息来对车辆乘员2的至少一个手势进行光学检测。在此，手势例如是手语的一部分。此外，输入信息还可包括关于面部表情和/或无声说出的话语和/或车辆乘员的身体姿势的至少一个信息，所述信息同样可以是手语的一部分。这能够实现：依据这些信息来对该手语进行数字检测。
此外，通过输入信息所检测到的手势也可以是特定于附加信息的进一步的手势。借此，除了关于手语的信息之外，可以检测该附加信息。附加手势例如是指向对象5,（呈现了借助于车辆乘员2的手指来进行指向，由此提供了方向信息）。那么，该附加信息是哪个对象5被指向的信息。例如，尤其是当输入信息也包括关于对象5或车辆1的外部区域的信息时，该附加信息也可以通过评估该输入信息来被确定；或者该附加信息也可以通过评估（例如车辆1的外部区域的）至少一个其它图像检测装置的检测来被确定。这能够实现：在该评估时评估借助于手语所传达的指令或问题，并且将该指令或问题与该附加信息进行比较。接着，例如可以确定关于被指向的对象5的信息，作为应答。
输出装置130可包括用于车辆内部空间40的至少一个显示器132、尤其是LED显示器，以便将视觉输出131作为对输入信息的应答的可视化以手语来输出，其中优选地输出装置130构造成车辆1的组合仪表10。
此外，输出装置130可以布置在车辆内部空间40中，尤其是布置在中控台30的区域，而且图像检测装置110可以布置在组合仪表10和/或中控台30和/或车辆1的后视镜21和/或外后视镜20的区域。
在图2中显示了按照本发明的用于在车辆1的语言对话系统中提供以手语的语言对话的方法。按照第一方法步骤101，在此可以执行对车辆乘员2的输入信息的光学检测。按照第二方法步骤102，执行对所检测到的输入信息的评估。然后，按照第三方法步骤103，可以根据该评估来提供以手语的视觉输出131。
上文对实施方式的阐述仅仅在示例的框架内描述了本发明。当然，只要技术上合理，这些实施方式的各个特征就可以彼此自由组合，而不脱离本发明的保护范围。
附图标记清单
1 车辆、机动车
2 车辆乘员
3 周围环境
5 对象
10 组合仪表
20 外后视镜
21 后视镜
30 中控台
40 车辆内部空间
100 系统
101-103 方法步骤
110 图像检测装置
120 处理装置
130 输出装置
131 视觉输出
132 显示器
Claims (10)
1.一种用于在车辆（1）的语言对话系统中提供以手语的语言对话的方法，
其中执行如下步骤：
- 执行对车辆乘员（2）的输入信息的光学检测；
- 执行对所检测到的输入信息的评估；
- 根据所述评估来提供以手语的视觉输出（131）。
2.根据权利要求1所述的方法，
其特征在于，
对所述评估的执行包括如下步骤：
- 依据所述输入信息来执行对所述车辆乘员（2）以手语与所述语言对话系统的交互的探测，其中优选地所述输入信息被实施成对所述车辆乘员（2）的图像记录，以便依据所述图像记录来将所述交互作为所述车辆乘员（2）的手势来探测；
- 尤其是只有在对所述交互的探测成功的情况下，执行对所述输入信息的分析，用于将手语翻译成对于所述语言对话系统来说可评估的内容方面的翻译信息、优选地文本信息；
- 可选地：依据所述输入信息来执行对所述车辆乘员（2）的进一步的手势的探测，所述进一步的手势特定于附加信息；
- 依据所述翻译信息并且尤其是依据所述附加信息来生成应答，以便通过所述视觉输出（131）以手语来输出所述应答。
3.根据权利要求2所述的方法，
其特征在于，
所述应答包括如下信息中的至少一个信息：
- 关于在所述车辆（1）的周围环境（3）中的对象（5）的对象信息，其中优选地为此所述附加信息提供对所述对象（5）的选择，优选地作为关于所述对象（5）的方向说明；
- 天气信息；
- 周围环境信息、优选地关于所述车辆（1）的当前所在地的信息；
- 新闻信息；
- 媒体信息，
其中为了生成所述应答而特别优选地关于以手语对这些信息的输出的可用性方面来对这些信息进行过滤。
4.一种用于车辆（1）的用于提供以手语的语言对话的系统（100），所述系统具有：
- 图像检测装置（110），用于检测车辆乘员（2）的输入信息；
- 处理装置（120），用于评估所检测到的输入信息；
- 输出装置（130），用于根据所述评估来进行以手语的视觉输出。
5.根据权利要求4所述的系统（100），
其特征在于，
所述图像检测装置（110）构造成红外摄像机，以便对所述车辆乘员（2）的至少一个手势进行光学检测。
6.根据权利要求4或5所述的系统（100），
其特征在于，
所述输出装置（130）包括用于车辆内部空间（40）的至少一个显示器（132）、尤其是LED显示器，以便将所述视觉输出（131）作为对所述输入信息的应答的可视化以手语来输出，其中优选地所述输出装置（130）构造成所述车辆（1）的组合仪表（10）。
7.根据权利要求4至6中任一项所述的系统（100），
其特征在于，
所述系统（100）构造成根据权利要求1至3中任一项所述的方法的语言对话系统，以便执行所述方法的步骤。
8.一种车辆（1），其具有根据权利要求4至7中任一项所述的系统（100）。
9.根据权利要求8所述的车辆（1），
其特征在于，
所述车辆（1）构造成自主车辆（1）。
10.根据权利要求8或9所述的车辆（1），
其特征在于，
所述输出装置（130）布置在车辆内部空间（40）中，尤其是布置在中控台（30）的区域，而且所述图像检测装置（110）布置在组合仪表（10）和/或所述中控台（30）和/或所述车辆（1）的后视镜（21）的区域。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102019204054.3 | 2019-03-25 | ||
| DE102019204054.3A DE102019204054A1 (de) | 2019-03-25 | 2019-03-25 | Verfahren zur Bereitstellung eines Sprachdialogs in Gebärdensprache bei einem Sprachdialog-System für ein Fahrzeug |
| PCT/EP2020/056407 WO2020193123A1 (de) | 2019-03-25 | 2020-03-11 | Verfahren zur bereitstellung eines sprachdialogs in gebärdensprache bei einem sprachdialog-system für ein fahrzeug |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113573938A true CN113573938A (zh) | 2021-10-29 |
Family
ID=69846416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080023964.1A Pending CN113573938A (zh) | 2019-03-25 | 2020-03-11 | 用于在车辆的语言对话系统中提供以手语的语言对话的方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220180666A1 (zh) |
| EP (1) | EP3947011A1 (zh) |
| CN (1) | CN113573938A (zh) |
| DE (1) | DE102019204054A1 (zh) |
| WO (1) | WO2020193123A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113138737B (zh) | 2021-04-16 | 2023-11-03 | 阿波罗智联(北京)科技有限公司 | 投屏场景的显示控制方法、装置、设备、介质及程序产品 |
| DE102022102596A1 (de) | 2022-02-03 | 2023-08-03 | Audi Aktiengesellschaft | Vorrichtung zum Kommunizieren mit Personen, insbesondere taubstummen Personen, beim Betreiben eines Fahrzeugs |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080077882A1 (en) * | 2006-09-27 | 2008-03-27 | Kramer Mark E | Multimedia mirror assembly for vehicle |
| JP4797858B2 (ja) * | 2006-07-21 | 2011-10-19 | 株式会社デンソー | 車載用ナビゲーション装置 |
| DE102011054848A1 (de) * | 2011-10-27 | 2013-05-02 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Steuer- und Überwachungseinrichtung für Fahrzeuge |
| CN103294190A (zh) * | 2012-02-06 | 2013-09-11 | 福特全球技术公司 | 通过手势识别与车辆控制交互的识别系统 |
| US20130261871A1 (en) * | 2012-04-02 | 2013-10-03 | Google Inc. | Gesture-Based Automotive Controls |
| CN103802761A (zh) * | 2012-11-06 | 2014-05-21 | 罗伯特·博世有限公司 | 激活与车辆乘员语音交互的方法和车辆的语音交互系统 |
| EP2738645A1 (en) * | 2012-11-30 | 2014-06-04 | Harman Becker Automotive Systems GmbH | Vehicle gesture recognition system and method |
| DE102013014877A1 (de) * | 2013-09-06 | 2015-03-12 | Audi Ag | Kraftfahrzeug-Bedieneinrichtung mit selbsterklärender Gestenerkennung |
| CN104742823A (zh) * | 2013-11-07 | 2015-07-01 | 罗伯特·博世有限公司 | 车辆内用于检测车辆乘员的语言活动的识别系统 |
| CN107785017A (zh) * | 2016-08-24 | 2018-03-09 | 南京乐朋电子科技有限公司 | 一种基于手语识别的交互系统 |
| DE112016006769T5 (de) * | 2016-05-20 | 2019-01-03 | Ford Global Technologies, Llc | Gebärdenspracheneingaben in eine Benutzerschnittstelle eines Fahrzeugs |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7308112B2 (en) * | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
| CN101605158A (zh) * | 2008-06-13 | 2009-12-16 | 鸿富锦精密工业（深圳）有限公司 | 聋哑人专用手机 |
| US20140171036A1 (en) * | 2009-11-18 | 2014-06-19 | Gwendolyn Simmons | Method of communication |
| DE102012017114A1 (de) * | 2012-08-29 | 2014-03-06 | GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) | Informationssystem |
| CN203819120U (zh) * | 2013-11-19 | 2014-09-10 | 浙江吉利汽车研究院有限公司 | 一种聋哑人乘车辅助装置 |
| US9921660B2 (en) * | 2014-08-07 | 2018-03-20 | Google Llc | Radar-based gesture recognition |
| US9248839B1 (en) * | 2014-09-26 | 2016-02-02 | Nissan North America, Inc. | Vehicle interface system |
| DE102015016494B4 (de) * | 2015-12-18 | 2018-05-24 | Audi Ag | Kraftfahrzeug mit Ausgabeeinrichtung und Verfahren zum Ausgeben von Hinweisen |
| US20170350718A1 (en) * | 2016-06-03 | 2017-12-07 | Toyota Motor Sales, U.S.A., Inc. | Information-attainment system based on monitoring an occupant |
| CN106789593B (zh) * | 2017-01-13 | 2019-01-11 | 山东师范大学 | 一种融合手语的即时消息处理方法、服务器及系统 |
| US11847426B2 (en) * | 2017-11-08 | 2023-12-19 | Snap Inc. | Computer vision based sign language interpreter |
| KR102554934B1 (ko) * | 2018-04-17 | 2023-07-12 | 현대자동차주식회사 | 장애인을 위한 커뮤니케이션 시스템이 구비된 차량 및 장애인을 위한 커뮤니케이션 시스템 제어방법 |
-
2019
- 2019-03-25 DE DE102019204054.3A patent/DE102019204054A1/de active Pending
-
2020
- 2020-03-11 EP EP20712474.4A patent/EP3947011A1/de active Pending
- 2020-03-11 US US17/441,341 patent/US20220180666A1/en active Pending
- 2020-03-11 WO PCT/EP2020/056407 patent/WO2020193123A1/de unknown
- 2020-03-11 CN CN202080023964.1A patent/CN113573938A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4797858B2 (ja) * | 2006-07-21 | 2011-10-19 | 株式会社デンソー | 車載用ナビゲーション装置 |
| US20080077882A1 (en) * | 2006-09-27 | 2008-03-27 | Kramer Mark E | Multimedia mirror assembly for vehicle |
| DE102011054848A1 (de) * | 2011-10-27 | 2013-05-02 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Steuer- und Überwachungseinrichtung für Fahrzeuge |
| CN103294190A (zh) * | 2012-02-06 | 2013-09-11 | 福特全球技术公司 | 通过手势识别与车辆控制交互的识别系统 |
| CN104411530A (zh) * | 2012-04-02 | 2015-03-11 | 谷歌公司 | 基于姿势的汽车控制 |
| US20130261871A1 (en) * | 2012-04-02 | 2013-10-03 | Google Inc. | Gesture-Based Automotive Controls |
| CN103802761A (zh) * | 2012-11-06 | 2014-05-21 | 罗伯特·博世有限公司 | 激活与车辆乘员语音交互的方法和车辆的语音交互系统 |
| EP2738645A1 (en) * | 2012-11-30 | 2014-06-04 | Harman Becker Automotive Systems GmbH | Vehicle gesture recognition system and method |
| DE102013014877A1 (de) * | 2013-09-06 | 2015-03-12 | Audi Ag | Kraftfahrzeug-Bedieneinrichtung mit selbsterklärender Gestenerkennung |
| CN104742823A (zh) * | 2013-11-07 | 2015-07-01 | 罗伯特·博世有限公司 | 车辆内用于检测车辆乘员的语言活动的识别系统 |
| DE112016006769T5 (de) * | 2016-05-20 | 2019-01-03 | Ford Global Technologies, Llc | Gebärdenspracheneingaben in eine Benutzerschnittstelle eines Fahrzeugs |
| CN109153332A (zh) * | 2016-05-20 | 2019-01-04 | 福特全球技术公司 | 车辆用户接口的手语输入 |
| CN107785017A (zh) * | 2016-08-24 | 2018-03-09 | 南京乐朋电子科技有限公司 | 一种基于手语识别的交互系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102019204054A1 (de) | 2020-10-01 |
| EP3947011A1 (de) | 2022-02-09 |
| WO2020193123A1 (de) | 2020-10-01 |
| US20220180666A1 (en) | 2022-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11366513B2 (en) | Systems and methods for user indication recognition | |
| US9679557B2 (en) | Computer-implemented method for automatic training of a dialogue system, and dialogue system for generating semantic annotations | |
| CN111532205B (zh) | 后视镜的调节方法、装置、设备及存储介质 | |
| US9335826B2 (en) | Method of fusing multiple information sources in image-based gesture recognition system | |
| CN111341349B (zh) | 情绪推断装置、情绪推断方法、及存储介质 | |
| US9275274B2 (en) | System and method for identifying handwriting gestures in an in-vehicle information system | |
| CN109941231B (zh) | 车载终端设备、车载交互系统和交互方法 | |
| US11176948B2 (en) | Agent device, agent presentation method, and storage medium | |
| WO2013090868A1 (en) | Interacting with a mobile device within a vehicle using gestures | |
| US10926635B2 (en) | Vehicle including communication system for disabled person and control method of communication system for disabled person | |
| CN113573938A (zh) | 用于在车辆的语言对话系统中提供以手语的语言对话的方法 | |
| CN115205729A (zh) | 基于多模态特征融合的行为识别方法、系统 | |
| EP3254172A1 (de) | Bestimmung einer position eines fahrzeugfremden objekts in einem fahrzeug | |
| Lu et al. | A review of sensory interactions between autonomous vehicles and drivers | |
| US11325605B2 (en) | Information providing device, information providing method, and storage medium | |
| Choi et al. | Conceptual design of driver-adaptive human-machine interface for digital cockpit | |
| CN112331173A (zh) | 车内降噪方法、控制器和车载枕头和计算机可读存储介质 | |
| CN111902864A (zh) | 用于运行机动车的声音输出装置的方法、语音分析与控制装置、机动车和机动车外部的服务器装置 | |
| JP2019074498A (ja) | 運転支援装置 | |
| KR102371513B1 (ko) | 대화 시스템 및 대화 처리 방법 | |
| EP3948493A1 (de) | Verfahren und vorrichtung zur interaktion mit einem umgebungsobjekt im umfeld eines fahrzeugs | |
| JP2020144285A (ja) | エージェントシステム、情報処理装置、移動体搭載機器制御方法、及びプログラム | |
| Laack et al. | Controlling vehicle functions with natural body language | |
| CN113168833B (zh) | 用于运行车辆的交互信息系统的方法以及车辆 | |
| US20230206918A1 (en) | Speech Recognition System and Method for Providing Speech Recognition Service |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |