KR100753838B1 - 적응형 차량 운전지원 장치 및 방법 - Google Patents

적응형 차량 운전지원 장치 및 방법 Download PDF

Info

Publication number
KR100753838B1
KR100753838B1 KR1020060076361A KR20060076361A KR100753838B1 KR 100753838 B1 KR100753838 B1 KR 100753838B1 KR 1020060076361 A KR1020060076361 A KR 1020060076361A KR 20060076361 A KR20060076361 A KR 20060076361A KR 100753838 B1 KR100753838 B1 KR 100753838B1
Authority
KR
South Korea
Prior art keywords
vehicle
interface
attention
degree
driver
Prior art date
Application number
KR1020060076361A
Other languages
English (en)
Inventor
윤대섭
이수철
권오천
김선중
이문수
최연준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020060076361A priority Critical patent/KR100753838B1/ko
Priority to PCT/KR2007/003564 priority patent/WO2008018700A1/en
Priority to AT07768869T priority patent/ATE543709T1/de
Priority to US12/377,197 priority patent/US20100179932A1/en
Priority to EP07768869A priority patent/EP2052377B1/en
Application granted granted Critical
Publication of KR100753838B1 publication Critical patent/KR100753838B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0014—Adaptive controllers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18172—Preventing, or responsive to skidding of wheels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Vibration Prevention Devices (AREA)

Abstract

본 발명은 적응형 차량 운전지원 장치 및 방법에 관한 것이다. 적응형 차량 장치는 주행 동작, 차량 내부 상태 및 차량 외부 환경 변화시 요구되는 운전자의 평균 주의도, 차량 인터페이스 작동시 요구되는 인터페이스 작동 주의도 및 차량 인터페이스 기능의 유사성 정도를 나타내는 유사도를 저장, 관리하는 통계 데이터베이스부, 운행자별로 주행 동작, 차량 내부 상태 및 차량 외부 환경 중 적어도 하나 이상의 변화에 따라 상기 평균 주의도를 기초로 개별 주의도를 재설정하는 개인 특성 설정부, 운행자별 인터페이스 작동요청시 개별 주의도와 인터페이스 작동 주의도 값을 합한 값이 안전 주의도 값을 초과하는지 판단하는 인터페이스 제공부;를 포함함으로써 안전운전 및 사용 편의성을 지원할 수 있는 개인화된 텔레매틱스 사용자 인터페이스를 제공한다.
적응형 차량 운전지원, 적응형 인터페이스

Description

적응형 차량 운전지원 장치 및 방법{Method and Apparatus for supporting a adaptive driving}
도 1 은 본 발명의 바람직한 일 실시예로서, 적응형 차량 운전지원 장치의 구성도를 도시한다.
도 2는 본 발명의 바람직한 일 실시예로서, 적응형 차량 운전지원 장치의 통계 데이터베이스부에서 자료수집 과정을 도시한다.
도 3은 본 발명의 바람직한 일 실시예로서, 적응형 차량 운전지원 장치의 통계 데이터베이스부의 일 예를 도시한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 적응형 차량 운전지원 장치의 개인 특성 설정부에서 자료 수집 방법을 도시한다.
도 5 는 본 발명의 바람직한 일 실시예로서, 적응형 차량 운전지원 장치의 개인 특성 설정부의 일 예를 도시한다.
도 6는 본 발명의 바람직한 일 실시예로서, 특정 개인의 특성에 보다 적합한 주의도를 파악하는 구성도를 도시한다.
도 7 은 본 발명의 바람직한 일 실시예로서, 적응형 차량 운전지원 장치의 개인 특성 설정부에서 자료를 수집하는 과정을 도시한다.
도 8은 본 발명의 바람직한 일 실시예로서, 운전자의 상태에 적합한 인터페 이스를 제공하기 위한 모듈을 도시한다.
도 9 은 본 발명의 바람직한 일 실시예로서, 운전자의 상태에 적합한 인터페이스를 제공하기 위한 흐름도를 도시한다.
도 10은 본 발명의 바람직한 일 실시예로서, 적응형 차량 운전지원 방법의 흐름도를 도시한다.
본 발명은 운전 환경 및 개인 성향 기반의 휴먼 모델 기술을 개발하여, 안전운전 및 사용 편의성을 지원할 수 있는 개인화된 텔레매틱스 사용자 인터페이스 기술을 개발하는 것이다.
최근 들어, 다양한 단말기의 등장과 많은 텔레매틱스 사업자들이 서비스를 개시하면서 이용자층이 넓어지고 있는 추세이다. 이러한 추세에 발맞추어 다양한 형태의 텔레매틱스 서비스가 제공되고 있다. 초기 텔레매틱스 서비스는 제공되는 정보의 정확성과 다양성에 초점을 맞추고 있을 뿐 운전자의 편이성과 안전성이 고려되어 있지 않아서 운전 중 텔레매틱스 기기의 조작으로 인한 사고율이 증가하고 있다.
이를 극복하기 위해 운전자의 특성과 차량 내,외의 상황을 인식하여 텔레매틱스 기기의 인터페이스를 동적으로 변화시키는 기술이 필요하다. 이러한 기술은 기존 텔레매틱스 인터페이스 기술과는 달리 다양한 특성을 반영하였기 때문에 정보 접근 및 기기 이용의 미숙으로 인한 정보소외 계층에게도 폭넓은 텔레매틱스 서비스를 이용하게 할 수 있고, 텔레매틱스 기기 사용으로 인해 운전자의 주의가 분산되는 문제를 최소화 할 수 있다. 또한 운전자에 관련된 내외부의 정보를 분석한 휴먼모델을 구축하여 텔레매틱스는 물론 다양한 분야에 적용할 수 있는 확장성을 기대할 수 있다.
이와 관련된 기존 연구들의 대부분은 유럽과 미국의 자동차 회사와 대학 간의 산학협력으로 이루어지고 있고, 자국의 도로 환경에 맞게 그 기술이 개발되었기 때문에 국내에 적용하기에는 어렵다. 그리고 대부분의 기술개발들이 일반적인 운전자에 초점을 맞추고 있어 개개인이 가지고 있는 다양한 특성에 따른 차별화된 텔레매틱스 서비스를 이용할 수 없다.
본 발명의 기술은 운전환경 및 운전자 개인의 성향에 관련된 데이터의 분석을 통한 휴먼 모델링 기술과 이를 반영하여 안전운전 및 사용 편의성을 지원할 수 있는 개인화된 텔레매틱스 사용자 인터페이스 기술을 포함하고 있으며 텔레매틱스뿐만 아니라 다른 분야에서도 유용할 것으로 그 파급효과뿐만 아니라 선도성이 큰 기술이라 할 수 있다.
상기와 같은 서비스 지원을 위하여, 본 발명은 사용성과 안전성을 높이기 위해 운전자 및 차량 내외의 상황을 고려한 적응형 차량 운전지원 장치 및 방법을 제공하고자 한다.
본 발명의 바람직한 일 실시예에서, 적응형 차량 운전지원 장치는 주행 동작, 차량 내부 상태 및 차량 외부 환경 변화시 요구되는 운전자의 평균 주의도, 차량 인터페이스 작동시 요구되는 인터페이스 작동 주의도 및 차량 인터페이스 기능의 유사성 정도를 나타내는 유사도를 저장, 관리하는 통계 데이터베이스부;운행자별로 주행 동작, 차량 내부 상태 및 차량 외부 환경 중 적어도 하나 이상의 변화에 따라 상기 평균 주의도를 기초로 개별 주의도를 재설정하는 개인 특성 설정부; 인터페이스 작동요청시 상기 개별 주의도와 요청된 인터페이스의 인터페이스 작동 주의도 값을 합한 값이 안전운행시 요구되는 소정의 안전 주의도 값을 초과하는지 판단하는 인터페이스 제공부;를 포함한다.
또한, 상기 소정의 안전 주의도 값을 초과하는 경우, 상기 유사도를 기초로 새로운 대체 인터페이스를 탐색하여 운행자에게 제공하고 새로운 대체 인터페이스가 존재하지 않는 경우 운행자에게 경고 메시지를 발송하는 적응형 인터페이스 제공부;를 더 포함한다.
본 발명의 또 다른 바람직한 일 실시예에서, 적응형 차량 운전지원 방법은 주행 동작, 차량 내부 상태 및 차량 외부 환경 변화시 요구되는 운전자의 평균 주의도, 차량 인터페이스 작동시 요구되는 인터페이스 작동 주의도 및 차량 인터페이스 기능의 유사성 정도를 나타내는 유사도를 저장, 관리하는 단계; 운행자별로 주행 동작, 차량 내부 상태 및 차량 외부 환경 중 적어도 하나 이상의 변화에 따라 상기 평균 주의도를 기초로 개별 주의도를 재설정하는 단계;인터페이스 작동요청시 상기 개별 주의도와 요청된 인터페이스의 인터페이스 작동 주의도 값을 합한 값이 안전운행시 요구되는 소정의 안전 주의도 값을 초과하는지 판단하는 단계; 및 상기 소정의 안전 주의도 값을 초과하는 경우, 상기 유사도를 기초로 새로운 대체 인터페이스를 탐색하여 운행자에게 제공하고 새로운 대체 인터페이스가 존재하지 않는 경우 운행자에게 경고 메시지를 발송하는 단계;를 포함한다.
이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다.
하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
도 1 은 본 발명의 바람직한 일 실시예로서, 적응형 차량 운전지원 장치의 구성도를 도시한다.
적응형 차량 운전지원 장치(100)는 통계 데이터베이스부(110), 개인특성 설정부(120) 및 인터페이스 제공부(130)를 포함한다.
통계 데이터베이스부(110)는 주행 동작, 차량 내부 상태 및 차량 외부 환경 변화시 요구되는 운전자의 평균 주의도, 차량 인터페이스 작동시 요구되는 인터페이스 작동 주의도 및 차량 인터페이스 기능의 유사성 정도를 나타내는 유사도를 저장, 관리한다. 이에 대해서는 도 2에서 보다 상세히 살펴보기로 한다.
평균 주의도는 임의의 다수의 운전자를 운전자의 성별, 나이, 인종, 신체특성 등과 같은 소정의 기준에 따라 그룹별로 분류하고, 분류된 각각의 그룹별로 운 전자 수행 동작, 차량 내부 상태, 차량 외부 환경 중 적어도 하나 이상의 조건을 변화시킬 때 요구되는 운전자의 주의도들을 평균한 값이다.
개인특성 설정부(120)는 통계 데이터베이스부(110)로부터 차량 운행자가 속하는 그룹과 상기 그룹에 속한 운전자에게 요구되는 평균 주의도를 파악한다. 일 예로서 차량 운행자의 나이가 속하는 연령대에게 특정 수행 동작을 요구했을 때 요구되는 주의도를 파악한다.
이 경우 상기 차량운전자의 운전 성향을 저장하고, 상기 차량 운행자별 주의도 재설정시 상기 성향을 반영하여 운행자별로 주행 동작, 차량 내부 상태 및 차량 외부 환경 중 적어도 하나 이상의 변화에 따라 상기 평균 주의도를 기초로 개별 주의도를 재설정한다.
예를 들어, 27살의 차량 운행자가 속하는 그룹- 예,20대 남성-의 운행자들에게 라디오 작동과 같은 수행 동작을 요구시, 동일하거나 유사한 차량 내외 환경에서(예.시속 40km, 빙판길) 통계적으로 차량 운행자에게 어느 정도의 주의도를 요구하는지 파악한다(예, 주의도 80).
이에 기초하여 27살의 차량 운행자가 탑승한 차량에서 운전자 수행 동작, 차량 내부 상태, 차량 외부 환경 중 적어도 하나 이상의 조건이 변화되는 경우 각각 개별적으로 저장, 갱신하며 상기 저장, 갱신된 조건하에서 상기 차량 운행자의 주의도를 재설정한다. 이에 대해서는 도 4 내지 도 6에서 보다 상세히 살펴보기로 한다.
인터페이스 제공부(130)는 개인특성 설정부(120)에서 차량 운행자별로 재설 정된 개별 주의도와 요청된 인터페이스의 인터페이스 작동 주의도 값을 합한 값이 안전운행시 요구되는 소정의 안전 주의도 값을 초과하는지 판단한다.
적응형 인터페이스 제공부(131)는 소정의 안전 주의도 임계값을 초과하는 경우, 통계 데이터베이스부(110)에서의 유사도를 기초로 새로운 대체 인터페이스를 탐색하여 운행자에게 제공하고 새로운 대체 인터페이스가 존재하지 않는 경우 운행자에게 경고 메시지를 발송한다.
도 2a 및 2b는 본 발명의 바람직한 일 실시예로서, 적응형 차량 운전지원 장치의 통계 데이터베이스부에서 자료수집 과정을 도시한다.
통계 데이터베이스부를 구축하기 위해 임의로 다수의 운전자를 모집한 후 운전자들 별로 공통된 특성을 기초로 그룹을 설정한다(S210). 운전자들을 그룹별로 나누는 기준은 나이, 연령, 성별 등의 기준이 될 수 있다.
그 후 예를 들어, 라디오 작동, 와이퍼 작동 등과 같은 운전자 수행 동작 항목을 설정하고(S220), 주의도 계산을 위한 실험환경을 설계한다(S230). 여기서, 실험환경은 실험 방법과 무엇을 테스트할지에 대한 목적대상, 누구를 대상으로 할지에 대한 실험대상자에 대한 것을 포함한다.
실험환경 설계가 끝나면 필요한 수 만큼의 피시험자를 각 그룹에 맞게 모집한다 (S240). 모든 것이 준비되면 센서가 부착된 실제 차량이나 시뮬레이터를 통하여 실험을 수행한다 (S250).
이 경우 도 2b에 도시된 바와 같이 Context Feature 정보추출기(211)는 센서가 부착된 실제 차량이나 시뮬레이터를 통해 운전자 및 차량 내외에서 얻은 정보 (Context) 들을 분석하는 알고리즘을 이용하여 Context Feature를 추출하고 그 결과를 데이터베이스 (212)에 저장한다.
그 후 실험 결과를 분석하여 (S260), 그룹별 주의도를 계산하여 (S270), 통계 데이터베이스를 구축한다 (단계 S280).
도 3은 본 발명의 바람직한 일 실시예로서, 적응형 차량 운전지원 장치의 통계 데이터베이스부의 일 예를 도시한다.
도 3 에서 분류 (310)는 나이, 연령, 성별과 같은 운전자가 가지고 있는 공통적인 속성을 나타낸다. 수행 동작(320)은 각 분류(310)에 따라 수행된 운전자의 동작에 관한 속성으로 예를 들면, 전화걸기, 브레이크 밟기, 창문 내리기와 같이 운전자가 수행하는 일련의 동작을 포함한다.
차량 내부 상태(330)는 분류(310)에 따라 수행 동작(320)을 처리할 때 차량 상태를 나타내는 것으로 차량의 속도, 타이어의 공기압, 차량의 사용 일수 등과 같이 차량에서 파악 가능한 제반의 정보를 모두 포함한다.
차량 외부 환경(340)은 분류(310)에 따라 수행 동작(320)을 처리할 때 차량 외부의 환경을 의미하는 것으로 온도, 습도, 날씨, 도로의 노면 상태, 도로의 상태(급커브 등) 도로의 종류 등과 같이 차량 운행에 영향을 미치는 제반 정보를 포함한다.
주의도(350)는 분류(310)에 따라 수행 동작(320), 차량 내부 상태(330), 차량 외부 환경(340)의 각 항목에 대한 정보 수집을 기초로 데이터를 통계적으로 분석한 결과에 대한 값이다.
예를 들어, 운전속도에 따라 사용자의 주의도를 분석한 일 실시예로서, 주행을 하지 않을때 운전자의 주의도는 0%가 되고 100km/h로 주행시에는 주의도가 100%가 된다면 50km/h로 주행시에는 50%정도의 주의도로 분석한다.
또한 운전중 창문을 열 경우에는 20%정도의 주의도가 든다면 라디오 채널을 조정하는 경우에는 더 많은 주의도가 요구되는 것으로 판단하여 수치를 결정하고, 이런 방식으로 각 그룹 사람들에 대한 평균적인 분석 결과를 저장한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 적응형 차량 운전지원 장치의 개인 특성 설정부에서 자료를 수집 방법을 도시한다.
개인 특성 설정부(120)는 적응형 차량 운전지원 장치의 전원을 온(ON) 시킨 후(S410) 개인의 신원정보에 대하여 입력을 받은 후 통계 데이터베이스부(110)로부터 개인이 속하는 그룹의 평균 주의도를 파악한다. 그 후 차량 내부 상태, 차량 외부 환경 및 운전자로부터 센서, RFID, GPS등을 통해 정보를 수집한다(S420).
차량 운행자가 탑승한 차량에서 운전자 수행 동작, 차량 내부 상태, 차량 외부 환경 중 적어도 하나 이상의 조건이 변화되는 경우를 누적으로 저장, 갱신하며 상기 저장, 갱신된 조건하에서 평균 주의도를 기초하여 상기 차량 운행자의 주의도를 재설정한다.
그 후 수집한 정보 Context를 적응형 차량 운전지원 장치에서 사용할 수 있는 형태로 가공하고(S430) 이를 데이터베이스 형태로 저장한다(S440). 이 경우 Context Feature를 수집 가공하는 것은 본 발명이 속하는 기술분야에서 일반적인 기술에 기반하여 수행한다.
도 5 는 본 발명의 바람직한 일 실시예로서, 적응형 차량 운전지원 장치의 개인 특성 설정부의 일 예를 도시한다.
운전자 (510)는 도 3의 분류 (310)와는 달리 개개인 운전자를 명시한다. 수행 동작(520)은 운전자 (510)에 따라 수행된 운전자의 동작을 나타낸다. 차량내부상태 (530)는 운전자 (510)에 따라서 수행 동작(520)을 처리시의 차량 내부상태를 표시한다.
차량외부환경 (540)은 운전자 (510)에 따라서 수행 동작(520)을 수행할 때의 차량 외부의 환경을 나타낸다. 개인성향 (550)은 운전자 개개인이 가지고 있는 특징으로 운전습관이나 장애여부 같은 속성을 포함한다.
주의도 (560)는 운전자 (510)에 따라서 수행 동작(520), 차량내부상태 (530), 차량외부환경 (540), 개인성향 (550)의 각 항목에 대한 정보를 수집한 후에 얻어진 데이터를 통계적으로 분석한 결과에 대한 값을 나타낸다.
도 6은 본 발명의 바람직한 일 실시예로서, 특정 개인의 특성에 보다 적합한 주의도를 파악하는 구성도를 도시한다.
개인 특성 설정부는 각 차량 운전자별로 상이한 차량 내부 상태 및 상이한 차량 외부 환경에 따라 주의도가 저장, 갱신된 조건하에서 각 차량운전자의 특징을 나타내는 성향을 반영하고(621), 상기 차량 운행자별 주의도 재설정시 상기 성향을 반영한다(622).
구체적으로 개인 성향에 대한 정보는 예를 들면 운전 패턴과 같이 각 개인의 특성에 대한 정보를 수집하는 것을 의미한다. 같은 30대 남자의 경우도, 정보기기 를 다루는데 있어서 컴퓨터쪽에 경험이 많은 사람은 그만큼 익숙할 것이고 경험이 없는 사람은 덜 익숙하다. 이러한 개인의 성향을 반영함으로써 통계 데이터베이스(110)의 주의도는 각 개개인에 적합하게 바뀌게 된다.
또 다른 예로서, 도 3의 통계 데이터베이스부에서 20대 남성이 자동차를 40km/h로 빙판길을 달리며 전화통화를 할 경우 주의도가 80%인 경우, 홍길동이라는 운전자가 20대 남성은 먼저 통계 데이터베이스부의 상기 인덱스를 참고하여 통계적인 주의도를 파악한다.
그 후 개인 특성 설정부에서는 홍길동이 40km/h의 속도로 전화통화를 하면서 비슷한 빙판길을 여러번 다녔다면 그것에 대한 모든 기록들을 저장합니다. 그 후 개인 특성 설정부에서는 홍길동이 위와 같은 동일 유사한 상황에서 10회 정도 사고가 없이 무사히 주행한 경우, 홍길동에게는 상기 상황이 익숙하다고 판단하여 80%의 통계 주의도를 홍길동에게 보다 적합한 75% 주의도로 재설정한다. 즉, 개개인에게 누적되는 운전 패턴 데이터를 분석하여 각 개인별로 적합화된 주의도를 재설정한다.
도 7 은 본 발명의 바람직한 일 실시예로서, 적응형 차량 운전지원 장치의 개인 특성 설정부에서 자료를 수집하는 과정을 도시한다.
개인 특성 설정부는 도 2a에서 만들어진 통계 데이터베이스를 바탕으로 먼저, 차량운전자의 개인 정보를 입력 받는다(S710). 그 후 차량 운행자가 탑승한 차량에서 운전자 수행 동작, 차량 내부 상태, 차량 외부 환경 중 적어도 하나 이상의 조건이 변화되는 경우 각각 개별적으로 저장, 갱신하고, 각 상황에서 차량 운전자 고유의 성향(예, 급정거, 난폭운전)을 수집한다(S720).
그 후 통계데이터베이스부를 참고하여 차량 운전자가 속하는 그룹의 통계적인 주의도를 파악하고 이를 기초로 각 차량운전자에게 적합하게 개인 성향등을 반영하여 주의도를 재설정한 후 저장한다(S730-S750).
도 8 은 본 발명의 바람직한 일 실시예로서, 운전자의 상태에 적합한 인터페이스를 제공하기 위한 모듈을 도시한다.
인터페이스 제공부(830)는 차량 내에서 사용 가능한 인터페이스 및 인터페이스 작동시 요구되는 주의도, 인터페이스 기능의 유사도를 관리하는 레지스트리(831)를 더 포함한다.
레지스트리(831)는 각 인터페이스를 작동하는데 요구되는 주의도를 저장 관리한다. 구체적인 예로서, 라디오 동작시 요구되는 주의도를 20으로, 휴대폰 조작시 요구되는 주의도를 40으로 저장 관리한다.
또한, 인터페이스 기능의 유사성을 관리한다. 예를 들어 텍스트 이메일의 주의도가 20인 경우 이와 유사한 기능을 수행하는 보이스(voice) 이메일 애플리케이션이 있음을 파악하고 동시에 주의도가 15라는 것을 파악한다.
그리고, 개인 운전자별로 각 인터페이스 또는 애플리케이션에 로그온(833)하는 정보를 바탕으로 개인 운전자가 어떤한 인터페이스 또는 애플리케이션을 빈번히 이용하는지 등을 파악한다.
인터렉션 컨트롤러(832)는 레지스트리(831)에서 관리되는 주의도 및 인터페이스 기능의 유사도를 바탕으로 개별적으로 차량운전자에게 적합한 인터페이스를 실질적으로 활성화한다.
도 9 은 본 발명의 바람직한 일 실시예로서, 운전자의 상태에 적합한 인터페이스를 제공하기 위한 흐름도를 도시한다.
인터페이스 제공부(130)는 통계 데이터베이스부(110)를 이용하여 운전에 관련된 주의도를 계산한다(S910). 개인 특성 설정부(120)에서 차량 운행자별로 재설정된 주의도 및 차량 운행자가 선택한 인터페이스 작동시 요구되는 주의도의 합이 소정의 임계값(예: 100)을 초과하는지 여부를 판단한다(S920).
재설정된 주의도 및 차량 운행자가 선택한 인터페이스 작동시 요구되는 주의도의 합이 소정의 임계값(예: 100)을 초과하지 않는 경우 운전자가 선택한 인터페이스 및 애플리케이션을 사용한다(S930).
반면 재설정된 주의도 및 차량 운행자가 선택한 인터페이스 작동시 요구되는 주의도의 합이 소정의 임계값(예: 100)을 초과하는 경우 통계 데이터 베이스부 및 레지스트리에 저장되어 있는 인터페이스별 주의도 및 인터페이스 기능의 유사도를 기초로 운전자가 선택한 인터페이스를 대체할 수 있는 대체 인터페이스를 검색한다(S940).
대체 인터페이스가 존재하는 경우, 인터페이스 제공부(130)는 대체 인터페이스를 사용자에게 제공하고(S943) 그렇지 못한 경우, 사용자에게 경고 메시지를 발송한다(S942).
그 후 사용자 선택 인터페이스, 대체 인터페이스, 경고 메시지 생성 여부에 대한 로그 데이터를 저장하고 인터페이스 제공부(130) 내의 레지스트리를 갱신한 다(S960). 도 1의 학습부(140)에서는 S950 단계 및 S960 단계를 저장하고 갱신함으로써 개인 운행자의 각 상황에서 동적으로 요청되는 레지스트리를 학습한다.
도 9의 흐름도를 일 예를 들어 살펴보면 다음과 같다. 주행자의 주의도가 80이고, 주행자가 선택한 텍스트 이메일 애플리케이션의 주의도가 30인 경우 주행 주의도와 인터페이스 사용 주의도의 합이 임계값(예,100)을 초과하므로, 대체 인터페이스를 검색한다.
인터페이스 제공부(130) 내의 레지스트리에 저장되어 있는 유사한 인터페이스 중 주의도 15의 텍스트 이메일 인터페이스 낮은 보이스(voice) 이메일 애플리케이션이 있음을 파악하고 주행 주의도 80과 보이스 이메일 애플리케이션 주의도 15의 합이 임계값을 초과하지 않으므로 대체 인터페이스로 선택한다.
그 후 보이스 이메일 애플리케이션을 사용하였던 주행자의 차량 내부 상태, 차량 외부 환경을 함께 저장하고, 레지스트리를 갱신한다.
도 10은 본 발명의 바람직한 일 실시예로서, 적응형 차량 운전지원 방법의 흐름도를 도시한다.
그룹 분류기준을 설정하고, 운전자 수행 동작, 차량 내부 상태, 차량 외부 환경 중 적어도 하나 이상의 조건을 변화시키면서 소정의 운전자 모집단으로부터 일정한 실험 환경 설계하에서 요구되는 주의도를 Context Feature 를 통해 파악 저장하여 통계 데이터베이스부를 구축한다(S1010~S1030).
그 후 각 개인별 운전자의 운전 성향을 파악하고 각 개인별로 인터페이스를 동적으로 제공하기 위하여, 차량에서 센서, RFID, GPS 등을 통해 차량 내부 상태 정보 및 차량 외부 환경 정보를 파악한다(S1040).
구축된 통계 데이터베이스부에서 각 개인 운전자가 포함되는 인덱스를 파악하고, 그 자료에 기반을 두어 주의도를 기본 설정한 후, S1040 단계에서 파악된 개인별 운전자의 성향 및 각 개인별 차량 내부 상태 정보, 차량 외부 환경 정보를 반영하여 주의도를 재설정한다(S1050).
개인별로 재설정된 주의도에 따라 개인이 인터페이스 선택시 안전 운행에 요구되는 주의도의 임계값을 초과하였는지 판단하고 운전자가 선택한 인터페이스를 제공하던지 또는 주의도 임계값을 초과한 경우 대체 인터페이스를 제공하거나 경고메세지를 전송한다(S1060).
인터페이스 사용여부가 결정되면(S1070). 각 개인별 차량 내부 상태, 차량 외부 환경, 개인 성향에 따른 인터페이스 선택의 로그 정보를 누적 저장하고 갱신함으로써 인터페이스 선택 과정을 학습한다(S1080).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 도면과 명세서에서 최적 실시예 들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.
그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 적응형 텔레매틱스 휴먼 인터페이스 기술을 개발하는 것으로 운전 환경 및 개인 성향 기반의 휴먼 모델 개발하여, 안전운전 및 사용 편의성을 지원할 수 있는 개인화된 텔레매틱스 사용자 인터페이스를 제공한다. 그리고 개인화된 텔레매틱스 인터페이스 기술을 이용하여 선진국에 비해 뒤진 텔레매틱스 서비스 기술을 해소하고 기술 우위를 선점할 수 있을 것이다.
또한 본 발명에서는 운전자의 특성과 그와 연관된 차량 내외의 환경에 대한 데이터 분석을 통해 얻어진 모델링 기술을 확보하여 국내 표준은 물론 국제 표준화를 주도할 수 있고, 인간과 컴퓨터간의 인터렉션이 이루어지는 분야에 본 모델을 적용하여 다양한 컨버전스 서비스를 제공할 수 있는 선도 기술로 발전할 수 있다.
그뿐만 아니라, 적응형 텔레매틱스 휴먼 인터페이스 기술은 정보 기기의 이 용 미숙으로 인한 소외 계층에게 다양한 텔레매틱스 서비스를 손쉽게 이용할 수 있는 환경을 제공하여 사회 구성원간의 정보격차를 해소할 뿐만 아니라 다른 정보기기와의 결합을 통한 컨버전스 기술로의 발전을 기대할 수 있다.
이 외에도, 본 발명을 통해 텔레매틱스 서비스 시장의 활성화라는 경제적 효과, 대국민 정보격차 해소와 안전 운전 지원이라는 사회적 효과, 방송, 이동통신, 자동차등 첨단 기술이 융합된 고부가가치 산업으로의 발전이라는 산업적 효과를 기대할 수 있는 장점이 있다.

Claims (14)

  1. 주행 동작, 차량 내부 상태 및 차량 외부 환경 변화시 요구되는 운전자의 평균 주의도, 차량 인터페이스 작동시 요구되는 인터페이스 작동 주의도 및 차량 인터페이스 기능의 유사성 정도를 나타내는 유사도를 저장, 관리하는 통계 데이터베이스부;
    주행 동작, 차량 내부 상태 및 차량 외부 환경 중 적어도 하나 이상의 변화에 따라 상기 평균 주의도를 기초로 운행자별로 개별 주의도를 재설정하는 개인 특성 설정부;및
    운행자별 인터페이스 작동요청시 상기 개별 주의도와 요청된 인터페이스의 인터페이스 작동 주의도 값을 합한 값이 안전운행시 요구되는 소정의 안전 주의도 값을 초과하는지 판단하는 인터페이스 제공부;를 포함하는 것을 특징으로 하는 적응형 차량 운전지원 장치.
  2. 제 1 항에 있어서,
    상기 소정의 안전 주의도 값을 초과하는 경우, 상기 유사도를 기초로 새로운 대체 인터페이스를 탐색하여 운행자에게 제공하고 새로운 대체 인터페이스가 존재하지 않는 경우 운행자에게 경고 메시지를 발송하는 적응형 인터페이스 제공부;를 더 포함하는 것을 특징으로 하는 적응형 차량 운전지원 장치.
  3. 제 1 항에 있어서, 상기 평균 주의도는
    임의의 다수 운전자를 특정 기준에 따라 분류한 각각의 그룹별로 운행시 운전자 수행 동작, 차량 내부 상태, 차량 외부 환경 중 적어도 하나 이상의 조건을 변화시킬 때 요구되는 운전자의 주의도를 기초로 설정되는 것을 특징으로 하는 적응형 차량 운전지원 장치.
  4. 제 1 항에 있어서, 개인 특성 설정부는
    상기 차량운전자의 운전 성향을 저장하고, 상기 차량 운행자별 주의도 재설정시 상기 성향을 반영하는 것을 특징으로 하는 적응형 차량 운전지원 장치.
  5. 제 2 항에 있어서,
    상기 재설정된 차량 운전자 주의도, 상기 인터페이스 작동 주의도 및 상기 유사도를 기초로 상기 차량 운전자의 주의도에 따라 차량 내에서 사용될 수 있는 인터페이스를 파악하는 학습부;를 더 포함하는 적응형 차량 운전지원 장치.
  6. 제 1 항에 있어서, 상기 차량 내부 상태, 상기 차량 외부 환경는 센서, RFID, GPS 중 적어도 하나로부터 획득된 정보인 것을 특징으로 하는 적응형 차량 운전지원 장치.
  7. 제 3 항에 있어서, 상기 특정 기준은
    성별, 연령대를 포함하는 것을 특징으로 하는 적응형 차량 운전지원 장치.
  8. (a) 주행 동작, 차량 내부 상태 및 차량 외부 환경 변화시 요구되는 운전자의 평균 주의도, 차량 인터페이스 작동시 요구되는 인터페이스 작동 주의도 및 차량 인터페이스 기능의 유사성 정도를 나타내는 유사도를 저장, 관리하는 단계;
    (b) 주행 동작, 차량 내부 상태 및 차량 외부 환경 중 적어도 하나 이상의 변화에 따라 상기 평균 주의도를 기초로 운행자별로 개별 주의도를 재설정하는 단계;및
    (c) 인터페이스 작동요청시 상기 개별 주의도와 요청된 인터페이스 작동시 요구되는 작동 주의도 값을 합한 값이 안전운행시 요구되는 소정의 안전 주의도 값을 초과하는지 판단하는 단계;를 포함하는 것을 특징으로 하는 적응형 차량 운전지원 방법.
  9. 제 8 항에 있어서,
    (d) 상기 소정의 안전 주의도 값을 초과하는 경우, 상기 유사도 및 상기 작동 주의도를 기초로 새로운 대체 인터페이스를 탐색하여 운행자에게 제공하고 새로운 대체 인터페이스가 없는 경우 경고 메시지를 전송하는 단계;를 더 포함하는 것을 특징으로 하는 적응형 차량 운전지원 방법.
  10. 제 8 항에 있어서, 상기 (a) 단계에서
    상기 평균 주의도는 임의의 다수 운전자를 특정 기준에 따라 분류한 각각의 그룹별로 운행시 운전자 수행 동작, 차량 내부 상태, 차량 외부 환경 중 적어도 하나 이상의 조건을 변화시킬 때 요구되는 운전자의 주의도를 기초로 정해지는 것을 특징으로 하는 적응형 차량 운전지원 방법.
  11. 제 8 항에 있어서, 상기 (b) 단계는
    상기 차량운전자의 특징을 나타내는 성향을 저장하고, 상기 개별 운행자별 주의도 재설정시 상기 성향을 반영하는 것을 특징으로 하는 적응형 차량 운전지원 방법.
  12. 제 9 항에 있어서,
    (e)상기 재설정된 개별 주의도, 상기 인터페이스 작동 주의도 및 상기 유사도를 기초로 상기 차량 운전자의 주의도에 따라 차량 내에서 사용될 수 있는 인터페이스를 학습하는 단계;를 더 포함하는 것을 특징으로 하는 적응형 차량 운전지원 방법.
  13. 제 8 항에 있어서,
    상기 차량 내부 상태, 상기 차량 외부 환경은 센서, RFID, GPS중 적어도 하나로부터 획득된 정보인 것을 특징으로 하는 적응형 차량 운전지원 방법.
  14. 제 8 항 내지 제 13 항 중 어느 한 항의 방법을 실행하기 위한 컴퓨터로 읽을 수 있는 프로그램을 기록한 기록매체.
KR1020060076361A 2006-08-11 2006-08-11 적응형 차량 운전지원 장치 및 방법 KR100753838B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020060076361A KR100753838B1 (ko) 2006-08-11 2006-08-11 적응형 차량 운전지원 장치 및 방법
PCT/KR2007/003564 WO2008018700A1 (en) 2006-08-11 2007-07-25 Adaptive drive supporting apparatus and method
AT07768869T ATE543709T1 (de) 2006-08-11 2007-07-25 Vorrichtung und verfahren zur adaptiven fahrunterstützung
US12/377,197 US20100179932A1 (en) 2006-08-11 2007-07-25 Adaptive drive supporting apparatus and method
EP07768869A EP2052377B1 (en) 2006-08-11 2007-07-25 Adaptive drive supporting apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060076361A KR100753838B1 (ko) 2006-08-11 2006-08-11 적응형 차량 운전지원 장치 및 방법

Publications (1)

Publication Number Publication Date
KR100753838B1 true KR100753838B1 (ko) 2007-08-31

Family

ID=38615888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060076361A KR100753838B1 (ko) 2006-08-11 2006-08-11 적응형 차량 운전지원 장치 및 방법

Country Status (5)

Country Link
US (1) US20100179932A1 (ko)
EP (1) EP2052377B1 (ko)
KR (1) KR100753838B1 (ko)
AT (1) ATE543709T1 (ko)
WO (1) WO2008018700A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101528518B1 (ko) * 2013-11-08 2015-06-12 현대자동차주식회사 차량 및 그 제어방법

Families Citing this family (165)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20130275899A1 (en) * 2010-01-18 2013-10-17 Apple Inc. Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
WO2011129014A1 (ja) * 2010-04-16 2011-10-20 トヨタ自動車株式会社 運転支援装置
JP2012118761A (ja) * 2010-12-01 2012-06-21 Panasonic Corp 操作入力装置
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US20120268294A1 (en) * 2011-04-20 2012-10-25 S1Nn Gmbh & Co. Kg Human machine interface unit for a communication device in a vehicle and i/o method using said human machine interface unit
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
WO2016109635A1 (en) 2014-12-30 2016-07-07 Robert Bosch Gmbh Adaptive user interface for an autonomous vehicle
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
DE102017216916A1 (de) 2017-09-25 2019-03-28 Volkswagen Aktiengesellschaft Verfahren zum Betreiben einer Bedienvorrichtung eines Kraftfahrzeugs, um einem Fahrer eine Funktionsauswahl anzubieten, sowie Bedienvorrichtung
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004110546A (ja) 2002-09-19 2004-04-08 Denso Corp 表示装置、音響装置、およびアクチュエータ制御装置
JP2004294264A (ja) 2003-03-27 2004-10-21 Mazda Motor Corp ナビゲーションシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7565230B2 (en) * 2000-10-14 2009-07-21 Temic Automotive Of North America, Inc. Method and apparatus for improving vehicle operator performance
US6909947B2 (en) * 2000-10-14 2005-06-21 Motorola, Inc. System and method for driver performance improvement
JP2003211933A (ja) * 2002-01-21 2003-07-30 Toyota Central Res & Dev Lab Inc 運転疲労低減装置
JP4603264B2 (ja) * 2002-02-19 2010-12-22 ボルボ テクノロジー コーポレイション 運転者注意負荷の監視と管理とを行なうシステムおよび方法
KR100535395B1 (ko) * 2003-10-10 2005-12-08 현대자동차주식회사 운전 패턴 분석장치 및 방법
JP4525169B2 (ja) * 2004-05-14 2010-08-18 日産自動車株式会社 ナビゲーションシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004110546A (ja) 2002-09-19 2004-04-08 Denso Corp 表示装置、音響装置、およびアクチュエータ制御装置
JP2004294264A (ja) 2003-03-27 2004-10-21 Mazda Motor Corp ナビゲーションシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101528518B1 (ko) * 2013-11-08 2015-06-12 현대자동차주식회사 차량 및 그 제어방법
US9469305B2 (en) 2013-11-08 2016-10-18 Hyundai Motor Company Vehicle and method for controlling the same

Also Published As

Publication number Publication date
US20100179932A1 (en) 2010-07-15
EP2052377A4 (en) 2009-08-19
WO2008018700A1 (en) 2008-02-14
EP2052377A1 (en) 2009-04-29
EP2052377B1 (en) 2012-02-01
ATE543709T1 (de) 2012-02-15

Similar Documents

Publication Publication Date Title
KR100753838B1 (ko) 적응형 차량 운전지원 장치 및 방법
KR100753839B1 (ko) 적응형 차량 인터페이스 제공 장치 및 방법
JP6221364B2 (ja) 運転診断装置、運転診断システム、および運転診断方法
CN105551281B (zh) 通过众包数据个性化的路线指数
US9519670B2 (en) Method and apparatus for road risk indices generation
CN105824494B (zh) 集成变更车辆内容的个性化显示系统和车辆内容管理方法
EP3566201A1 (en) Method and system for providing artificial intelligence analytic (aia) services for performance prediction
JP2017211988A (ja) 階層型コンテキストアウェアによる手足の検出
CN111132703A (zh) 识别和减轻车辆异味
JP2012048310A (ja) 運転支援システム、車載装置、情報配信装置
US10773727B1 (en) Driver performance measurement and monitoring with path analysis
US20180101923A1 (en) Methods and apparatus to perform actions in public safety incidents based on actions performed in prior incidents
KR20150000350A (ko) 차량 주행환경 제공 시스템 및 그 방법
CN106713633A (zh) 一种聋人提示系统、方法及智能手机
CN111123778B (zh) 监控车辆使用状况的方法、装置及电子设备
CN112109645A (zh) 向车辆用户提供辅助的方法和系统
CN116016658A (zh) 车辆服务的推荐方法及车辆
CN113256981B (zh) 基于车辆行驶数据的报警分析方法、装置、设备和介质
WO2014156055A1 (ja) 提示情報学習方法、サーバおよび端末装置
CN115691203A (zh) 一种城市道路泊位诱导方法、装置、设备及可读存储介质
CN114064276A (zh) 用车情景的感知方法及车载系统
US20200034639A1 (en) Information providing system, information processing apparatus, and information providing method
US10332211B1 (en) Risk analysis based on electronic security levels of a vehicle
JP2019207620A (ja) 車両提案システム、運転特徴生成装置、車両提案装置
JP6552238B2 (ja) 目的地推測装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130729

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140728

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150728

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160726

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170727

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 13