KR20190035557A

KR20190035557A - 정보 처리 단말, 방법 및 정보 처리 단말을 포함하는 시스템

Info

Publication number: KR20190035557A
Application number: KR1020180113494A
Authority: KR
Inventors: ?스케 오타
Original assignee: 캐논 가부시끼가이샤
Priority date: 2017-09-25
Filing date: 2018-09-21
Publication date: 2019-04-03
Also published as: KR102371997B1; JP7123540B2; US11265315B2; EP3460698A1; CN109558106A; JP2019062281A; EP3460698B1; US20190098003A1

Abstract

스피커 유닛을 포함하고, 음성 정보의 입력을 수신하고 처리하는 정보 처리 단말이며, 음성 정보의 입력에 대응하는 서비스의 실행에 인증이 필요한 것으로 판단된 경우에, 입력된 음성 정보에 대응하는 사용자의 생체 정보로서 추출된 정보를 사용한 생체 인증을 수행하기 위한 제어를 수행하고, 생체 인증이 성공한 경우에는 음성 정보의 입력에 대한 응답으로서, 서비스의 실행에 관한 메시지를, 스피커 유닛을 통해 사용자에게 통지한다.

Description

정보 처리 단말, 방법 및 정보 처리 단말을 포함하는 시스템{INFORMATION PROCESSING TERMINAL, METHOD, AND SYSTEM INCLUDING INFORMATION PROCESSING TERMINAL}

본 개시내용은 음성 입력을 수신하고 자동적으로 처리를 실행하고, 스피커 유닛을 통해 메시지를 송신하는 디바이스(음성 어시스턴트)를 사용한 특별한 서비스를 실현하기 위한 기술에 관한 것이다.

최근, 음성 입력을 수신하고 자동적으로 처리를 실행하고, 스피커 유닛을 통해 메시지를 송신하는 디바이스(음성 어시스턴트)가 점점 사용되고 있다. 음성 어시스턴트는, 음성 인식 기능에 의해 사용자의 발화를 해석하고, 사용자에 의해 제공된 여러가지 지시를 실행하는 기능을 갖는 정보 디바이스이다. 음성 어시스턴트는, 음성에 의한 지시가 제공될 수 있기 때문에, 종래의 개인용 컴퓨터나 스마트폰에서의 키 조작을 수행하거나 터치 입력을 제공하는 수고를 더는 이점이 있다. 음성 어시스턴트는 사용자에 대하여 처리 결과나 외부 서비스로부터의 통지(전자 메일)를 스피커 유닛을 통해 음성 메시지로서 송신할 수도 있다.

전술한 음성 어시스턴트의 이용 방법의 일례로서는, 음성 어시스턴트가 사용자의 집의 거실 및 다른 방에 설치되어, 사용자가 음성을 통해 음성 어시스턴트에 지시를 제공하여, 원하는 음악을 재생하거나, 인터넷 상에 공개되고 있는 쇼핑 서비스를 이용해서 상품을 주문할 수 있게 한다.

사용자가 음성 어시스턴트를 통해 쇼핑 서비스를 이용하여 상품을 주문하는 경우에도, 쇼핑 서비스에 미리 등록된 사용자 정보에 기초하여 인증을 수행할 필요가 있다. 예를 들어, 사용자가 음성 어시스턴트에 대하여 주문 시에, 사용자 ID(identification)나 패스워드의 음성 입력을 제공함으로써, 사용자 인증이 수행될 수 있다. 대안적으로, 쇼핑 서비스에 미리 패스워드의 대신에 그 사용자의 음성 정보(성문)가 미리 등록될 수 있음으로써, 쇼핑 서비스의 인증 서버가 생체 인증을 수행하여, 사용자 인증을 인증할 수 있다. 일본 특허 출원 공개 공보 제2017-44778호에서는, 성문을 사용한 인증에 추가하여, 사용자의 입술의 움직임의 시간이 지남에 따른 변화로부터 추정되는 음성이 성문 정보에 일치하는지에 기초하여 인증을 수행함으로써, 더 정밀도가 높은 인증이 수행될 수 있다.

음성 어시스턴트는 사용자로부터의 음성 입력에 의한 지시를 수신한 경우, 필요에 따라, 대응하는 네트워크 서비스에 대하여 리퀘스트를 발행한다. 그러한 경우에, 음성 어시스턴트를 사용한 서비스 제공 시스템에 있어서는, 인증을 필요로 하는 서비스(예를 들어, 쇼핑 서비스) 이외에, 검색 서비스를 사용한 키워드 검색 등의, 인증을 필요로 하지 않는 서비스를 포함한다. 즉, 인증이 불필요한 서비스를 요구한 경우에, 음성 어시스턴트를 이용하여 미리 인증 처리가 수행될 필요가 없다. 음성 어시스턴트로부터 리퀘스트를 수신한 네트워크 서비스로부터 인증 요구가 반환되는 경우, 이 타이밍에서 사용자에게 인증을 다시 수행하라고 재촉할 필요가 있다.

음성 어시스턴트에 음성 지시가 주어진 때로부터 시작하여 네트워크 서비스를 이용하는 경우에, 인증 작업은 유용성의 관점에서 설명되어야 할 점이 많다.

본 발명의 양태에 따르면, 스피커 유닛을 포함하고, 음성 정보의 입력을 수신하고 처리하는 정보 처리 단말로서, 음성 정보의 입력에 대응하는 서비스의 실행에 인증이 불필요한 경우에, 음성 정보의 입력에 대한 응답으로서, 서비스의 실행에 관한 메시지를, 스피커 유닛을 통해 사용자에게 통지하도록 구성된 통지 유닛; 및 음성 정보의 입력에 대응하는 서비스의 실행에 인증이 필요한 것으로 판단된 경우에, 입력된 음성 정보에 대응하는 사용자의 생체 정보로서 추출된 정보를 사용한 생체 인증을 수행하기 위한 제어를 수행하도록 구성된 제어 유닛을 포함하며, 통지 유닛은, 생체 인증이 성공한 경우에, 음성 정보의 입력에 대한 응답으로서, 서비스의 실행에 관한 메시지를, 스피커 유닛을 통해 사용자에게 통지한다.

추가적인 특징은 첨부된 도면을 참고한 예시적인 실시예들에 대한 이하의 설명으로부터 명확해질 것이다.

도 1은 네트워크 시스템의 구성의 일례를 도시하는 도면이다.
도 2a, 도 2b 및 도 2c는 네트워크 시스템에 포함되는 장치들의 하드웨어 구성들의 예들을 도시하는 도면들이다.
도 3a, 도 3b 및 도 3c는 네트워크 시스템에 포함되는 장치들의 기능 블록들의 예들을 도시하는 도면들이다.
도 4a 및 도 4b는 생체 정보에 대응하는 크리덴셜의 등록에 관한 처리의 시퀀스들을 도시하는 도면들이다.
도 5는 제1 예시적인 실시예에 따른 음성 지시에 기초하여 실행되는 처리에 관한 시퀀스를 도시하는 도면이다.
도 6a, 도 6b 및 도 6c는 생체 정보에 관한 등록 처리에 사용하기 위한 파라미터들을 도시하는 도면들이다.
도 7a 및 도 7b는 생체 인증에 사용하기 위한 파라미터들을 도시하는 도면들이다.
도 8은 제2 예시적인 실시예에 따른 처리 전체에 관한 시퀀스를 도시하는 도면이다.
도 9는 제2 예시적인 실시예에 따른 권한을 확인하기 위한 확인 처리를 설명하기 위한 흐름도이다.
도 10은 제2 예시적인 실시예에 따른 확인 처리의 상세들에 관한 시퀀스를 도시하는 도면이다.
도 11a 및 도 11b는 제2 예시적인 실시예에 따른 그래픽 사용자 인터페이스(GUI)의 예들을 나타내는 도면들이다.
도 12는 제3 예시적인 실시예에 따른 확인 처리의 상세들에 관한 시퀀스를 도시하는 도면이다.

본 개시내용을 실시하기 위한 예시적인 실시예들에 대해서 도면을 참조하여 설명할 것이다.

본 개시내용에서는, 인증 시스템으로서, FIDO(Fast Identity Online)라고 불리는 기술 등의 생체 인증을 사용하는 메커니즘을 이용한다. 생체 인증에서 사용하기 위한 지문이나 정맥과 같은 생체 정보는, 정보가 누설되는 경우에, ID/패스워드 인증에서의 패스워드와 달리, 재기입될 수 없다. 따라서, 이러한 정보 누설로부터의 복구가 전형적으로 불가능하다. 이에 응답하여, FIDO에서는, 인증 처리가 네트워크를 통해 서버 상에서 수행되는 것이 아니고, 사용자가 액세스한 단말 상에서 수행된다. 따라서, 생체 정보가 네트워크 상에 누설되지 않고, 정보 누설의 리스크가 최소화된다.

이후 설명에서, 서비스 제공 시스템으로부터 인증이 필요한 서비스를 수신하기 위해, 생체 정보를 사용한 인증 처리는 인터넷 상의 인증 시스템 대신에, 사용자가 액세스한 단말에서 수행된다. 단말의 예들은, 음성 정보의 입력을 인식하고 자동적으로 필요한 처리를 수행하는 정보 처리 단말(예를 들어, 음성 어시스턴트 또는 로봇), 휴대 전화 및 스마트폰을 포함한다.

도 1은, 예시적인 실시예들에 따른, 시스템의 전체 구성을 도시하는 도면이다.

도 1에 있어서, 음성 어시스턴트(102), 서비스 서버(103) 및 휴대 단말(104)은, 네트워크(101)를 통해 함께 접속되고 있다.

현네트워크(101)는, 예를 들어 인터넷에 대한 로컬 영역 네트워크(LAN), 광역 네트워크(WAN), 전화 회선, 전용 디지털 회선, ATM(Asynchronous Transfer Mode)이나 프레임 릴레이 회선, 케이블 텔레비전 회선, 데이터 방송용 무선 회선 중 어느 것 또는, 이들의 조합에 의해 실현되는, 통신 네트워크이다. 네트워크(101)는, 데이터의 송신 및 수신을 허용해야 한다.

음성 어시스턴트(102)는, 인간의 음성 정보의 입력을 인식하고 자동적으로 필요한 처리를 수행하는, 인공 지능(AI)을 포함하는, 정보 처리 단말의 일례이다. 음성 어시스턴트(102)는, 적어도 마이크로폰을 포함하고, 사용자로부터의 음성 지시들에 기초하여 각종 조작들을 실행한다. 음성 어시스턴트(102)는 스피커 디바이스를 통해 메시지를 송신할 수 있다. 음성 어시스턴트(102)는 카메라를 포함할 수 있다. 음성 어시스턴트(102)는 마이크로폰이나 카메라로부터의 입력 데이터로부터 검출된 생체 정보를 검증한다. 생체 인증을 수행하기 위한 프로그램이 또한 음성 어시스턴트(102)에서 동작한다. 음성 어시스턴트(102)는, 다양한 형태로 구성될 수 있고, 로봇, 전용의 개인용 컴퓨터, 가정용 전기 기구, 또는 리모컨의 일부로서 구현될 수 있다.

서비스 서버(103)는, 예를 들어 음악 배포 서비스 및 쇼핑 서비스 등의, 각종 인터넷 서비스들을 제공하기 위한 서버이다. 사용자 정보를 관리하는 서비스도 서비스 서버(103)에서 동작한다. 각자의 서비스들마다 상이한 서버들이 제공되어서, 서로 제휴하는 구성일 수 있다.

휴대 단말(104)은, 일반적인 휴대 전화, 스마트폰, 태블릿, 또는 웨어러블 단말 등의 휴대 단말이다. 휴대 단말(104)은, 웹 브라우저 및 전화 기능을 제공하는 애플리케이션을 실행하는 환경을 포함한다. 휴대 단말(104)은 또한 개인을 인증하기 위한 생체 정보를 취득하기 위한 센서 및 카메라를 포함한다. 생체 인증을 수행하기 위한 프로그램도 휴대 단말(104)에서 동작한다. 제1 예시적인 실시예에 있어서는, 휴대 단말(104)은 필수 구성이 아니다.

도 2a, 도 2b 및 도 2c는, 네트워크 시스템에 포함되는 장치들의 하드웨어 구성들의 예들을 나타내는 도면들이다.

도 2a는 음성 어시스턴트(102)의 하드웨어 구성도이다.

중앙 처리 유닛(CPU)(211)은, 판독 전용 메모리(ROM)(213) 내에 저장된 프로그램 또는 저장 디바이스(214)로부터 랜덤 액세스 메모리(RAM)(212)에 로드된 OS(오퍼레이팅 시스템)나 애플리케이션 등의 프로그램을 실행한다. 즉, CPU(211)가, 판독 가능한 저장 매체에 저장된 해당 프로그램을 CPU(211)에 의해 실행함으로써, 후술하는 흐름도들의 처리를 실행하는 처리 유닛들로서 기능한다. RAM(212)은, CPU(211)의 메인 메모리이며, 워크에어리어 등으로서 기능한다.

TPM(Trusted Platform Module)(215)은, OS나 다른 하드웨어들로부터 독립하여 기능하는 위조 방지(tamper resistance)를 갖는 보안 칩이고, 기밀 정보를 처리 및 저장하기 위한 저장 유닛이다. 본 개시내용에서는, TPM(215)에, 생체 인증에 사용하기 위한 사용자의 생체 정보 및 후술되는 인증 처리에 필요한 비밀 키가 저장된다. 본 개시내용은, 또한 TPM(215)의 대체로서, 위조 방지를 실현하기 위해서 단일 칩 상에서 다른 컴포넌트들로부터 격리해서 동작하는 보안 메모리 공간을 확보하고, 그 메모리 공간에서 사용자의 생체 정보(또는 생체 정보의 특징량) 및 비밀 키를 관리하기 위한 저장 유닛을 제공하는 방법에 의해 실현될 수 있다. 생체 인증에 사용하기 위한 사용자의 생체 정보는, 마이크로폰이나 카메라에 의해 입력된 데이터로부터 검출될 수 있는 성문, 지문, 얼굴, 또는 홍채의 데이터(신호), 또는 그 데이터의 특징량이다.

네트워크 인터페이스(I/F)(216)는, 유선 또는 무선 인터페이스를 통해, 네트워크(101)에 접속되고, 네트워크(101) 상의 다른 디바이스와의 통신 제어 처리를 실행한다. 카메라(217)는, 사용자의 얼굴을 촬상하기 위한 하드웨어이다. 마이크로폰(218)은, 사용자의 음성의 사운드를 수집하기 위한 하드웨어이다. 스피커 유닛(219)은, 처리 결과를 사용자에게 통지하기 위해 사용되는 하드웨어 디바이스이다.

도 2b는 서비스 서버(103)의 하드웨어 구성도이다. 서비스 서버(103)는, 일반적인 정보 처리 장치(서버 컴퓨터)의 하드웨어를 사용하여 구성될 수 있다.

CPU(231)는, ROM(233) 내에 저장된 프로그램이나, 하드 디스크(HD) 등의 외부 메모리(235)로부터 RAM(232)에 로드된 OS나 애플리케이션 등의 프로그램을 실행한다. 즉, CPU(231)가, CPU(231)에 의해 판독 가능한 저장 매체에 저장된 해당 프로그램을 실행함으로써, CPU(231)는 후술하는 시퀀스들 또는 흐름도들의 처리를 실행하는 처리 유닛들로서 기능한다. RAM(232)은, CPU(231)의 메인 메모리이며, 워크에어리어로서 기능한다. 디스크 컨트롤러(234)는, 각종 타입의 데이터를 저장하는 HD 등의 외부 메모리(235)에서의 데이터 액세스를 제어한다. 네트워크 I/F(236)는 네트워크(101)에 접속되고, 네트워크(101)에 접속된 다른 디바이스와의 통신 제어 처리를 실행한다.

도 2c는 휴대 단말(104)의 하드웨어 구성도이다.

CPU(251), RAM(252), ROM(253), 저장 디바이스(254), 네트워크 I/F(256) 및 TPM(255)은, 음성 어시스턴트(102)의 동일한 명칭을 갖는 컴포넌트들의 기능들과 유사한 기능들을 갖는 컴포넌트들이고, 따라서, 여기서 설명되지 않는다. 생체 정보 센서(257)는, 사용자의 생체 정보를 판독하는 센서이다. 생체 정보 센서(257)는 사용자의 지문, 홍채, 또는 정맥 등의 생체를 판독하고 생체를 신호(생체 정보)로 변환한다. 터치 패널(258)은, 2개의 기능, 표시 기능 및 입력 기능을 갖는다. 터치 패널(258)은 애플리케이션의 화면 및 키보드를 표시한다. 사용자가 화면에 사용자의 손가락(들) 또는 전용의 펜으로 압력을 가함으로써, 터치 패널(258)은 터치된 화면 상의 위치 정보를 외부에 정보 신호로서 출력한다. 출력된 신호 정보를 애플리케이션이 이용함으로써, 사용자는 터치 패널(258)을 통해서 애플리케이션을 조작할 수 있다.

도 3a, 도 3b 및 도 3c는, 네트워크 시스템에 포함되는 장치들의 소프트웨어에 의해 실현되는 기능 블록들의 구성들의 예들을 나타내는 도면들이다.

도 3a는 음성 어시스턴트(102)의 기능 블록의 구성예이며, 전술한 CPU(211)에 의해 프로그램을 실행함으로써 실현된다.

음성 수신 유닛(311)은, 마이크로폰(218)을 이용하여, 음성 어시스턴트(102)의 사용자로부터의 음성 입력을 수신한다. 음성 송신 유닛(312)은, 스피커 유닛(219)을 이용하여, 음성 어시스턴트(102)의 사용자에 메시지(기계 음성)를 송신한다.

음성 처리 유닛(313)은, 음성 어시스턴트(102)에 입력되는 음성 데이터를 입력하는 처리 또는 음성 어시스턴트(102)로부터 송신되는 음성 데이터를 출력하는 처리를 수행하고, 음성 데이터를 분석한다. 음성 처리 유닛(313)은 음성 데이터로부터 생체 정보(또는 그 생체 정보의 특징량)로서 성문을 추출한다. 음성 처리 유닛(313)은, 음성 데이터를 분석할 때, 그리고 입력된 음성 데이터에 미리 결정된 지시에 대응하는 입력이 포함된 것으로 검출한 경우에는, 해당 지시에 대응하는 리퀘스트를 생성한다. 이 처리에서, 음성 처리 유닛(313)은 입력과 지시(커맨드나 호출해야 할 API(application programming interface)의 타입) 사이의 연관을 포함하는 테이블(도시되지 않음)을 참조함으로써 리퀘스트를 생성한다. 이러한 테이블은 저장 디바이스(214)에 의해 관리된다. 이 테이블에서는, 리퀘스트의 대상으로서 서비스 제공원의 정보(음성 어시스턴트(102), 또는 서비스 서버(103))가 또한 관리된다. 이러한 테이블은 또한, 클라우드 서비스 등의, 외부 네트워크 상에서 관리되어서, 음성 처리 유닛(313) 및 리퀘스트 처리 유닛(321)에 의해 참조될 수 있도록 구성될 수 있다.

얼굴 검출 유닛(315)은, 카메라(217)를 이용하여, 인물의 얼굴 화상을 검출한다. 얼굴 검출 유닛(315)은 카메라(217)에 의해 촬영한 화상 데이터로부터 특히 얼굴 화상에 대응하는 생체 정보(또는 그 생체 정보 특징량)를 추출한다. 얼굴 검출 유닛(315)은, 얼굴을 검출한 인물로부터 추출된 생체 정보로서, 카메라(217)에 의해 촬영한 화상 데이터로부터 추출될 수 있는 지문이나 홍채 등의 다른 생체 정보를 추출할 수 있다. 얼굴 검출 유닛(315)은, 인간 이외에도, 애완동물이나 로봇의 얼굴을 검출하는 것도 가능하고, 필요에 따라, 촬영 화상 데이터로부터 생체 정보와 동등한 개별의 고유 정보를 추출하는 것도 가능하다.

레거시 인증 처리 유닛(314)은, 네트워크 I/F(216)를 통해 음성 어시스턴트(102)에 접속된 휴대 단말(104) 등의 디바이스로부터, 사용자 등록 등의 요구를 수신하고, 사용자 정보를 등록할 때 수행되는 레거시 인증을 위한 정보를 처리한다. 구체적으로는, 레거시 인증 처리 유닛(314)은 사용자 어카운트의 ID(identification)와 패스워드의 등록을 수신하고, ID와 패스워드를 저장 디바이스(214)에 보존한다. 그 후, 레거시 인증 처리 유닛(314)은 ID와 패스워드의 입력에 따라서, 레거시 인증을 실행한다.

생체 정보 처리 유닛(316)은, TPM(215)을 사용하여, 생체 정보를 관리한다. 사용자의 레거시 인증이 성공한 경우 그리고 사용자의 생체 정보를 등록할 때, 음성 처리 유닛(313)에 의해 추출된 생체 정보가 사용자의 ID와 연관하여 TPM(215)에 등록된다. 생체 정보 처리 유닛(316)에 의해 보존되는 데이터의 예를 표 A에 나타낸다.

표 A

인증 정보 ID는, 인증에 사용하기 위한 생체 정보(또는 생체 정보들의 조합)에 대하여 할당된 고유 ID이다. "서비스 ID" 열에는, 인증을 필요로 하는 서비스를 식별하기 위한 서비스 ID가 설정된다. 서비스 ID는 서비스의 최상위 도메인 및 제2 레벨 도메인의 정보를 나타낸다. 예를 들어, 쇼핑 서비스의 URL(Uniform Resource Locator)이 "http://www.shopping.com"인 경우에, 서비스 ID는 "shopping.com"이다. "성문 정보" 열 및 "얼굴 정보" 열에서, 음성 처리 유닛(313) 및 얼굴 검출 유닛(315)에 의해 추출된 생체 정보가 보존된다.

생체 인증 제어 유닛(317)은, 음성 처리 유닛(313) 또는 얼굴 검출 유닛(315)에 의해 추출된 생체 정보를, TPM(215)에 등록된 정보와 대조하여 이들 정보가 서로 일치하는지를 판정하여, 생체 정보에 기초한 인증 처리를 실행한다.

키 생성 유닛(318)은, TPM(215)에 등록된 생체 정보에 대응하는 비밀 키와 공개 키의 페어를 생성한다. 생성된 비밀 키는, 대응하는 생체 정보와 연관하여 TPM(215)에 보존된다. 본 예시적인 실시예에서, 비밀 키는 표 B에 도시한 바와 같이 보존된다.

표 B

"인증 정보 ID" 열 및 "서비스 ID" 열에서, 표 A에서 설명한 ID들의 값들과 유사한 값들이 설정된다. "비밀 키" 열에서, 키 생성 유닛(318)에 의해 생성된 비밀 키의 정보가 보존된다.

크리덴셜 생성 유닛(319)은, 외부 서비스에 등록해야 할 크리덴셜을 생성한다. 어설션(assertion) 생성 유닛(320)은, 외부 서비스에서 사용자를 확인하기 위한 검증 데이터를 포함하는 어설션(상세히 후술됨)을 생성한다.

리퀘스트 처리 유닛(321)은, 음성 처리 유닛(313)에 의해 특정된 사용자로부터의 지시에 대응하는 리퀘스트를, 네트워크 I/F(216)를 통해 서비스 서버(103)에 대하여 송신한다. 리퀘스트 처리 유닛(321)은, 네트워크 I/F(216) 또는 어설션 생성 유닛(320)에 의해 생성된 데이터를 포함하는 리퀘스트를 네트워크 I/F(216)를 통해 송신한다. 리퀘스트 처리 유닛(321)은 외부에서 생성된 리퀘스트를 처리한다. 사용자에 대하여 송신해야 할 데이터가 있을 경우에는, 리퀘스트 처리 유닛(321)은 음성 처리 유닛(313) 및 음성 송신 유닛(312)에 데이터를 전송한다. 그 후, 스피커 유닛(219)을 이용하여, 리퀘스트 처리 유닛(321)은 음성 어시스턴트(102)의 사용자에 메시지(기계 음성)를 송신한다.

실행 확인 유닛(322)은, 음성 송신 유닛(312)으로 하여금 스피커 유닛(219)으로부터, 처리가 실행될 수 있는지를 문의하는 메시지를 송신하게 한다. 음성 수신 유닛(311)은 사용자로부터의 응답을 수신하고, 음성 처리 유닛(313)의 해석 결과에 기초하여, 실행 확인 유닛(322)은 처리가 실행될 수 있는지 판단한다.

도 3b는 서비스 서버(103)의 기능 블록의 구성예이며, CPU(231)에 의해 프로그램을 실행함으로써 실현된다.

리퀘스트 처리 유닛(331)은, 네트워크(101)를 통해 수신된 리퀘스트를 처리한다. 레거시 인증 처리 유닛(332)은, ID와 패스워드를 사용한 레거시 인증을 실행한다. 등록 파라미터 생성 유닛(333)은, 등록 파라미터들을 생성한다. 사용자 관리 유닛(335)은, 레거시 인증에 사용하기 위한 사용자 정보 및 공개 키의 정보를, 외부 메모리(235)를 사용하여, 보존 및 관리한다.

인증 판정 유닛(336)은, 요구된 처리가 인증이 필요한지를 판단한다. 검증 유닛(337)은, 어설션을 검증한다. 구체적으로, 검증 유닛(337)은 어설션에 포함되는 서명 데이터를 공개 키를 사용하여 검증한다. 서비스 실행 유닛(338)은, 요구된 처리를 실행하고, 음성 어시스턴트(102)에 대하여 처리 결과를 송신하거나, 요구된 처리에 대응하는 서비스를 제공한다.

권한 판정 유닛(339)은, 리퀘스트 사용자가 서비스의 실행 권한이 있는지, 그리고 권한의 레벨을 판정한다. 본 예시적인 실시예에서는, 권한 판정 유닛(339)은 필수적인 구성이 아니다. 확인 의뢰 유닛(341)은, 서비스의 실행이 허가되는지를 확인 의뢰하기 위한 구성이다.

도 3c는 휴대 단말(104)의 기능 블록의 구성예이며, CPU(251)에 의해 프로그램을 실행함으로써 실현된다.

송신/수신 유닛(351)은, 네트워크 I/F(256)를 통한, 휴대 단말(104) 외부의 디바이스들과 통신한다.

생체 정보 처리 유닛(352)은, 생체 정보 처리 유닛(316)과 동등한 모듈이며, TPM(255)을 사용하여 인증 정보 ID 및 서비스 ID와 함께, 생체 정보를 관리한다. 생체 인증 제어 유닛(353)은, 생체 인증 제어 유닛(317)과 동등한 모듈이며, 생체 정보 센서(257)에 의해 추출된 생체 정보를 TPM(255)에 등록된 정보와 대조하여, 생체 정보에 기초한 인증 처리를 실행한다.

키 생성 유닛(354)은, 키 생성 유닛(318)과 동등한 모듈이며, TPM(255)에 등록된 생체 정보에 대응하는 비밀 키와 공개 키의 페어를 생성한다. 생성된 비밀 키는, 대응하는 생체 정보와 연관하여 TPM(255)에 보존된다.

크리덴셜 생성 유닛(355)은, 크리덴셜 생성 유닛(319)과 동등한 모듈이며, 외부 서비스에 등록해야 할 크리덴셜(후술됨)을 생성한다. 어설션 생성 유닛(356)은, 어설션 생성 유닛(320)과 동등한 모듈이며, 외부 서비스에서 사용자를 확인하기 위한 검증 데이터를 포함하는 어설션을 생성한다.

실행 확인 유닛(357)은, 실행 확인 유닛(322)과 동등한 모듈이며, 터치 패널(258) 상에서 처리가 실행될 수 있는지를 문의하는 메시지를 출력한다. 실행 확인 유닛(357)은 사용자 조작에 기초하여, 처리가 실행될 수 있는지를 판단한다.

본 예시적인 실시예에 따른 기능은, 2개의 처리, 즉, "음성 어시스턴트에서의 생체 정보의 등록 처리" 및 "음성 어시스턴트를 사용한 지시의 실행 처리"로 크게 분류된다.

본 예시적인 실시예에서는, 음성 어시스턴트(102)를 통한 지시의 예로서, 쇼핑 서비스를 통한 쇼핑에 관한 지시가 사용된다. 그러나, 음성 어시스턴트(102)를 통한 지시는 이에 한정되는 것은 아니다. 예를 들어, 음성 어시스턴트(102)를 통한 지시는 회원 대상의 음악 구입/배포 서비스에 관해 제공될 수 있다. 음성 어시스턴트(102)에 의해 검증되는 생체 정보의 예들은, 2개의 정보, 즉 얼굴 정보와, 성문 정보를 포함한다. 그러나, 음성 어시스턴트(102)에 의해 검증되는 생체 정보는 이에 한정되는 것은 아니다. 예를 들어, 카메라(217)가 정밀도가 높은 경우에는, 홍채 정보 등의, 다른 생체 정보가 사용될 수 있다.

도 4a에 나타내는 시퀀스도를 참조하여, "음성 어시스턴트에서의 생체 정보의 등록 처리"에 대해서 설명한다.

단계 S401에서는, 음성 수신 유닛(311)은, 음성 어시스턴트(102)의 사용자로부터의 생체 정보의 등록 지시를 수신한다. 지시는, 예를 들어 "쇼핑 서비스 A에서의 생체 정보 등록" 등의 미리 결정된 키워드를 사용한 지시, 또는 음성 어시스턴트(102)의 기능에 따라서 "쇼핑 서비스 A에 생체 정보를 등록하고 싶다" 등의 구어적인 지시일 수 있다. 음성 처리 유닛(313)은, 음성 입력으로부터 검출된 생체 정보 등록 지시를 생체 정보 처리 유닛(316)에 전송한다. 생체 정보 처리 유닛(316)은, 서비스 서버(103)에 대한 생체 정보 등록 리퀘스트를 생성한다. 단계 S402에서는, 리퀘스트 처리 유닛(321)은, 서비스 서버(103)에, 생체 정보 등록 리퀘스트를 송신한다.

단계 S403에서는, 레거시 인증 처리 유닛(332)은, 리퀘스트 처리 유닛(331)을 통해 수신한 생체 정보 등록 리퀘스트에 대한 응답으로서, 레거시 인증 요구를 생성하고, 레거시 인증 요구를 음성 어시스턴트(102)에 반환한다.

단계 S404에서는, 레거시 인증 처리 유닛(314)은, 보존된 레거시 인증 정보를 취득하고, 레거시 인증 정보를 리퀘스트 처리 유닛(331)에 송신한다. 이 처리는, 음성 어시스턴트(102)의 사용자가 음성 어시스턴트(102)에 사용자를 등록할 때에 등록된 레거시 인증용의 ID와 패스워드를 이용한다. 이 타이밍에서, 음성 어시스턴트(102)의 사용자로 하여금, 서비스 서버(103)용의 ID와 패스워드를, 음성에 의해 또는 휴대 단말(104)을 통해 입력하게 하는 것도 가능하다.

단계 S405에서는, 레거시 인증 처리 유닛(332)은, 리퀘스트 처리 유닛(331)에 의해 수신된 ID와 패스워드를 사용하여 인증 처리를 수행한다. 인증이 성공하면, 단계 S406에서, 등록 파라미터 생성 유닛(333)은, 등록 파라미터들(600)을 생성한다. 등록 파라미터들(600)은, 도 6a를 참조하여 설명된다.

등록 파라미터들(600)은, 어카운트 정보(601), 암호화 파라미터(602), 증명 챌린지(603), 및 인증 확장 영역(604)을 포함한다. 어카운트 정보(601)는, 단계 S405의 레거시 인증에서 특정된 사용자 ID 등의 속성 정보를 나타낸다. 암호화 파라미터(602)는, 서비스 서버(103)에 의해 지원되는 암호화 알고리즘 등의, 등록되는 인증 정보에 관한 속성 정보를 나타낸다. 증명 챌린지(603)는 챌린지 리스펀스 인증을 수행하기 위해서 이용되는 파라미터이다. 인증 확장 영역(604)에서, 각각의 서비스마다 사용되는 확장 파라미터가 저장된다.

단계 S407에서는, 리퀘스트 처리 유닛(331)은, 단계 S404에 대한 리스펀스로서, 음성 어시스턴트(102)에 크리덴셜 생성 요구를 반환한다. 크리덴셜 생성 요구는, 도 6b에서 나타내는 데이터(620)를 포함한다.

데이터(620)는, 도 6a에서 나타내는 등록 파라미터들(600), 서비스 ID(621), 및 웹 오리진(web origin)(622)을 포함한다. 웹 오리진(622)은 서비스 서버(103)에 의해 호스트되는 서비스의 오리진이다. 서비스 ID(621)는 서비스의 최상위 도메인 및 제2 레벨 도메인의 정보를 저장한다. 예를 들어, 쇼핑 서비스의 URL이 "http://www.shopping.com"인 경우에, 서비스 ID(621)는 "shopping.com"이 된다.

단계 S408에서는, 음성 송신 유닛(312)은, 스피커 유닛(219)을 이용하여, 사용자에 대하여 성문 정보 및 얼굴 정보의 등록에 동의할지 확인하는 메시지(기계 음성)를 송신한다. 이 메시지는, 음성 처리 유닛(313)에 의해 단계 S407에서 수신된 크리덴셜 생성 요구에 기초하여 생성된다. 예를 들어, 음성 송신 유닛(312)은 "생체 정보를 등록합니까?" 등의 메시지를 송신한다.

단계 S409에서는, 음성 수신 유닛(311)은, 생체 정보의 등록에 대해 동의하는 의향을 나타내는 응답을, 사용자로부터 음성 지시로서 수신한다. 예를 들어, 음성 처리 유닛(313)이, "예"와 같은 음성 지시를 수신하는 것으로 가정한다.

단계 S410에서는, 음성 송신 유닛(312)은, 스피커 유닛(219)을 이용하여, 사용자에 대하여 성문 등록용의 키워드의 발성을 재촉하는 메시지(기계 음성)를 송신한다.

단계 S411에서는, 음성 수신 유닛(311)은, 마이크로폰(218)을 이용하여, 생체 정보(성문)를 등록하기 위한 키워드를 포함하는 등록용 메시지에 대한 응답을, 사용자로부터 음성 지시로서 수신한다. 음성 처리 유닛(313)이, 이 음성 지시로부터 성문 정보를 추출한다.

단계 S412에서는, 생체 정보 처리 유닛(316)은, 표 A에서 나타낸 바와 같이, 단계 S411에서 추출한 성문 정보를 인증 정보 ID 및 서비스 ID와 연관하여, TPM(215)에 보존한다.

단계 S413에서는, 얼굴 검출 유닛(315)은, 카메라(217)를 이용하여, 그리고 사용자의 입술의 움직임이나 얼굴의 방향에 기초하여, 단계 S411에서 응답한 사용자의 얼굴 화상을 취득하고, 얼굴 인식을 수행하기 위한 특징량을 취득한다. 단계 S414에서는, 생체 정보 처리 유닛(316)이, 단계 S412에서 사용된 인증 정보 ID 및 서비스 ID와 연관하여, 단계 S413에서 취득된 특징량을, TPM(215)에 추가로 보존한다.

단계 S415에서는, 키 생성 유닛(318)은, 단계 S412 내지 단계 S414에서의 생체 정보의 등록에 기초하여, 공개 키 및 비밀 키를 생성하고 보존한다. 생체 정보 처리 유닛(316)은, 표 B에서 나타낸 바와 같이, 생성된 비밀 키를, 단계 S412 내지 단계 S414에서 사용된 인증 정보 ID 및 서비스 ID와 연관하여, TPM(215)에 보존한다.

단계 S416에서는, 크리덴셜 생성 유닛(319)은, 도 6c에서 나타낸 바와 같은 크리덴셜(640)을 생성한다. 크리덴셜(640)은 인증 정보 ID(641), 알고리즘(642), 공개 키(643) 및 증명(644)을 포함한다. 인증 정보 ID(641) 및 공개 키(643)는 단계 S415의 처리에서 생성된 공개 키와, 공개 키에 대응하는 ID이다. 알고리즘(642)은 단계 S415에서의 비밀 키와 공개 키의 페어 생성에 이용한 알고리즘 각각에 대응한다. 또한, 증명(644)은 증명 챌린지(603)를 단계 S415에서 생성된 비밀 키를 사용하여 암호화한 것에 의해 획득된다. 단계 S417에서는, 리퀘스트 처리 유닛(321)은, 서비스 서버(103)에, 단계 S416에서 생성된 크리덴셜을 송신한다.

단계 S418에서, 서비스 서버(103)의 사용자 관리 유닛(335)은, 리퀘스트 처리 유닛(331)을 통해 수신된 크리덴셜(공개 키 등)을 단계 S405에서 레거시 인증을 수행한 사용자의 사용자 ID와 연관하여 보존한다. 이러한 처리에서, 사용자 관리 유닛(335)은 크리덴셜에 포함되는 공개 키를 사용하여, 증명을 복호화하고, 증명이 단계 S406에서 생성된 증명 챌린지와 일치하는지를 검증한다. 검증이 성공한 경우에만, 사용자 관리 유닛(335)은 크리덴셜을 보존한다.

단계 S419에서는, 리퀘스트 처리 유닛(331)은, 처리 결과(보존 성공 또는 실패)를 음성 어시스턴트(102)에 반환한다. 단계 S420에서는, 음성 송신 유닛(312)은, 단계 S419에서 수신된 결과에 기초한 음성을 사용자에게 통지한다.

도 4b에서 나타낸 시퀀스도는, "음성 어시스턴트에서의 생체 정보의 등록 처리"의 변형예이다. 도 4a에서는, 음성 어시스턴트(102)에 사용자의 생체 정보가 등록된다. 이 변형예에서는, 음성 어시스턴트(102)와 사용자의 휴대 단말(104)의 제휴에 의해, 휴대 단말(104)이 생체 인증을 수행하는 확장에 대한 설명이 주어진다.

단계 S401 내지 단계 S409의 처리들은 도 4a의 처리들과 유사하고, 따라서 여기서 설명되지 않는다.

단계 S450에서, 음성 어시스턴트(102)의 리퀘스트 처리 유닛(321)은, 단계 S407에서 수신된 크리덴셜 생성 요구를, 음성 어시스턴트(102)의 사용자의 휴대 단말(104)에 전송한다. 단계 S451에서, 음성 송신 유닛(312)은, 스피커 유닛(219)을 이용하여, 사용자에 대하여 휴대 단말(104)에서 생체 정보(지문 정보)의 등록을 촉진시키는 메시지(기계 음성)를 송신한다.

단계 S452에서, 휴대 단말(104)의 생체 인증 제어 유닛(353)은, 사용자가 생체 정보 센서(257)에 대해 생체 정보를 입력하기를 대기하고, 생체 정보를 수신한다. 단계 S453에서, 생체 정보 처리 유닛(352)은, 제공된 생체 정보(지문)를 인증 정보 ID 및 서비스 ID와 연관하여, TPM(255)에 등록한다. 단계 S454에서, 키 생성 유닛(354)은, 생체 정보의 등록에 기초하여, 공개 키 및 비밀 키를 생성하고 보존한다. 생체 정보 처리 유닛(352)은, 생성된 비밀 키를, 그 인증 정보 ID 및 서비스 ID와 연관하여, TPM(255)에 보존한다.

단계 S455에서, 크리덴셜 생성 유닛(355)은, 도 6c에서 나타낸 것과 유사한 크리덴셜을 생성한다. 이러한 처리에서, 인증 정보 ID와 공개 키는, 단계 S453 및 단계 S454에서 생성된 정보가 사용된다. 단계 S456에서, 휴대 단말(104)은 음성 어시스턴트(102)에 대하여 생성된 크리덴셜을 송신한다.

단계 S417 내지 단계 S420의 처리들에서는, 단계 S455에서 생성된 크리덴셜을 사용하여, 도 4a에서의 처리와 유사한 처리가 수행되고, 따라서, 여기서 설명되지 않는다.

도 4b에 따르면, 음성 어시스턴트(102)는 인증 정밀도가 높은 외부 인증 디바이스를 이용할 수 있다.

이어서, 도 5에서 나타낸 시퀀스도를 참조하여, "음성 어시스턴트를 사용한 지시를 실행하는 처리"에 대한 상세들이 설명된다.

단계 S501에서는, 음성 수신 유닛(311)은, 사용자로부터의 음성 지시를 수신한다. 예를 들어, 지시의 예들은 "쇼핑 서비스 A를 통해 XX를 구입하고 싶다" 및 "YY(음악 작품의 제목)를 재생하고 싶다"를 포함할 수 있다. 단계 S502에서, 음성 처리 유닛(313)은, 단계 S501에서 수신된 음성 정보를 일시적으로 보존한다. 단계 S503에서, 얼굴 검출 유닛(315)은, 단계 S413과 유사하게 사용자의 입술의 움직임에 기초하여, 단계 S501에서 음성을 발한 사용자를 특정하고, 해당 사용자의 얼굴 정보를 취득하고, 얼굴 정보를 일시적으로 보존한다.

단계 S504에서, 음성 처리 유닛(313)은, 단계 S501에서 수신된 음성 데이터의 분석에 의해 지시를 검출한 경우에는, 그 지시에 대응하는 리퀘스트를 생성한다. 분석 결과에 따라, 리퀘스트의 송신처가 결정된다. 본 예시적인 실시예에서, 음성 데이터가 서비스 서버(103)에 대한 리퀘스트를 만들라는 지시로서 분석된 경우의 예에 대한 설명이 제공된다. 리퀘스트 처리 유닛(321)은, 서비스 서버(103)에 대하여 생성된 리퀘스트를 발행한다.

단계 S505에서, 서비스 서버(103)의 인증 판정 유닛(336)은, 리퀘스트 처리 유닛(331)을 통해 취득하고 단계 S504에서 발행된 리퀘스트의 내용에 기초하여, 해당 리퀘스트에 기초한 처리를 수행하기 위해 인증이 필요한지를 판단한다. 인증이 필요한지의 판단에 따라, 처리가 전환된다.

인증이 불필요할 경우에는, 단계 S506에서, 서비스 실행 유닛(338)은, 단계 S504에서 발행된 리퀘스트의 내용에 기초한 처리를 실행한다. 본 예시적인 실시예에서는, 사용자가 확인될 필요가 없는 서비스 각각에 대해, 모든 사용자에 대해 공통으로 제공되는 서비스 안내를 위한 방송 서비스 또는 일반적인 검색 서비스의 실행, 및 응답 메시지 취득 및 생성이 가정된다. 단계 S507에서, 서비스 실행 유닛(338)은, 리퀘스트 처리 유닛(331)을 통해, 음성 어시스턴트(102)에 대하여 단계 S504에서 발행된 리퀘스트에 대한 리스펀스를 반환한다. 이 리스펀스는, 음성 어시스턴트(102)로부터 사용자에 대하여 송신되는 메시지를 포함한다.

단계 S508에서는, 음성 처리 유닛(313)은 반환된 리스펀스에 포함되는 메시지를 취득하고, 음성 송신 유닛(312)을 통해 메시지를 사용자에게 통지한다. 이러한 처리에서, 단계 S502 및 단계 S503에서 음성 어시스턴트(102)에 일시 보존된 정보는 삭제된다.

다음으로, 단계 S505에서 인증이 필요한 것으로 판정된 경우에 수행되는 처리에 대한 설명이 제공된다.

단계 S510에서, 인증 판정 유닛(336)은, 도 7a에 도시한 바와 같은 생체 인증 파라미터들을 생성하고, 리퀘스트 처리 유닛(331)을 통해, 생체 인증 파라미터들을 음성 어시스턴트(102)에 대하여 송신한다.

생체 인증 파라미터들(700)은, 어설션 챌린지(701)와 확장 영역(702)을 포함한다. 어설션 챌린지(701)는 챌린지 리스펀스 인증을 수행하기 위해 이용되는 파라미터이다. 확장 영역(702)에서, 서비스 서버(103)가 음성 어시스턴트(102)에서의 생체 인증에 관한 처리를 제어하기 위해서 확장 파라미터가 저장된다.

단계 S511에서, 음성 처리 유닛(313) 및 얼굴 검출 유닛(315)은, 단계 S502 및 단계 S503에서 일시 보존된 정보의 특징량들을 추출한다. 단계 S512에서, 생체 인증 제어 유닛(317)은, 단계 S511에서 추출한 특징량들을, TPM(215)에 보존되는 생체 정보와 대조하고, 생체 인증 처리를 실행한다. 단계 S513에서, 생체 인증이 성공한지가 판단된다. 인증이 성공하는지 또는 실패하는지에 따라, 처리가 전환된다.

생체 인증이 실패한 경우에, 단계 S514에서, 음성 송신 유닛(312)은, 스피커 유닛(219)를 이용하여, 생체 인증이 실패한 것을 사용자에게 통지한다.

다음으로, 단계 S513에서 생체 인증에 성공한 것으로 판단된 경우에 수행되는 처리에 대한 설명이 제공된다.

단계 S515에서, 어설션 생성 유닛(320)은, 도 7b에 도시한 바와 같은 어설션 데이터를 생성한다. 어설션(720)은, 인증 정보 ID(721) 및 서명(722)을 포함한다. 인증 정보 ID는, 단계 S513에서 인증이 성공한 생체 정보 및 서비스 서버(103)에 대응하는 서비스 ID와 연관하여 표 A에서 관리되는 정보이다. 서명(722)은, 단계 S510에서 수신된 인증 요구에 포함되는 어설션 챌린지(701)와, 단계 S513에서 인증이 성공한 생체 정보에 대응하는 인증 정보 ID와 연관하여 표 B에서 관리되는 비밀 키를 사용하여 생성된다. 단계 S516에서, 리퀘스트 처리 유닛(321)은, 서비스 서버(103)에 대하여 단계 S512에서 생성된 어설션을 송신한다.

단계 S517에서, 서비스 서버(103)의 검증 유닛(337)은, 수신된 어설션을 검증하는 검증 처리를 실행한다. 검증 처리에서는, 사용자 관리 유닛(335)에 의해 어설션에 포함되는 인증 정보 ID와 연관하여 관리되는 공개 키를 사용하여, 그 어설션에 포함되는 서명을 복호화하는 것에 의해 획득된 데이터가, 단계 S510에서 인증 판정 유닛(336)에 의해 생성된 생체 인증 파라미터들에 포함된 어설션 챌린지(701)와 비교된다. 단계 S518에서, 검증이 성공하는지의 판단에 기초하여, 처리가 전환된다.

검증이 실패한 경우에는, 단계 S519에서, 검증 유닛(337)은, 리퀘스트 처리 유닛(331)을 통해, 음성 어시스턴트(102)에 대하여 검증이 실패한 것을 나타내는 리스펀스를 반환한다. 단계 S520에서, 음성 송신 유닛(312)은, 스피커 유닛(219)를 이용하여, 생체 인증이 실패한 것을 사용자에게 통지한다.

다음으로, 단계 S518에서 검증이 성공한 것으로 판단된 경우에 수행되는 처리에 대한 설명이 제공된다.

단계 S521에서, 서비스 실행 유닛(338)은, 단계 S504에서 발행된 리퀘스트의 내용에 기초한 처리를 실행한다. 본 예시적인 실시예에서, 사용자가 확인될 필요가 있는 서비스 각각에 대해, 회원 사용자들을 위한 음악 배포 서비스, 쇼핑 서비스, 또는 결제 서비스의 실행, 및 응답 메시지 취득 및 생성이 실행된다. 단계 S522에서, 서비스 실행 유닛(338)은, 리퀘스트 처리 유닛(331)을 통해, 음성 어시스턴트(102)에 대하여 단계 S504에서 발행된 리퀘스트에 대한 리스펀스를 반환한다. 이 리스펀스는, 단계 S521의 처리 결과로서 생성되고, 음성 어시스턴트(102)로부터 사용자에 대하여 송신되어야 할 메시지를 포함한다.

단계 S523에서, 음성 처리 유닛(313)은, 반환된 리스펀스에 포함되는 메시지를 취득하고, 메시지를 음성 송신 유닛(312)을 통해 사용자에게 통지한다.

도 4b에서 나타낸 처리가 수행되는 경우에, 단계 S510의 인증 요구는 음성 어시스턴트(102)로부터 휴대 단말(104)로 전송된다. 이 경우에, 제1 예시적인 실시예의 적용 예로서, 사용자는 휴대 단말(104)에 지문 등의 생체 정보를 제시하고, 휴대 단말(104)은 단계 S512와 동등한 생체 인증 처리를 실행한다. 인증이 성공한 경우에, 휴대 단말(104)의 어설션 생성 유닛(356)은, 도 7b에 도시한 바와 같은 어설션 데이터를 생성한다. 이 어설션 데이터는, 음성 어시스턴트(102)의 리퀘스트 처리 유닛(321)으로부터, 서비스 서버(103)에 대하여 송신된다. 이후의 처리는, 단계 S517 내지 단계 S523의 처리들과 유사하다.

제1 예시적인 실시예는, 쇼핑 서비스 등의, 인증을 요구하는 서비스에 관한 음성 지시를 제공한 사용자가 구매를 행하는 권한을 갖는 전제에 기초한다. 예를 들어, 쇼핑 서비스에서는, 가족 회원들을 포함하는 사용자 그룹 내의 임의의 사용자(부모님의 사용자 어카운트)만이 서비스에 대한 결제 권한을 갖는 경우가 있다. 그러한 경우에서는, 어린이의 사용자 어카운트에 대응하는 음성 지시가 제공된 경우에, 서비스의 실행 권한을 갖는 다른 사용자에 대해 인증을 포함하는 허가 처리가 수행될 필요가 있다. 제2 예시적인 실시예에서, 이러한 허가 처리를 포함하는 서비스의 제공은, 제1 예시적인 실시예와 제2 예시적인 실시예 간의 상이한 점에 주로 기초하여 상세하게 설명된다.

본 예시적인 실시예를 위해, 서비스에 대한 결제 권한을 갖는 승인 사용자의 휴대 단말을 추가한다. 이 휴대 단말은, 제1 예시적인 실시예에서의 도 2c 및 도 3c에 설명된 휴대 단말(104)의 구성들과 유사한 구성들을 포함한다.

서비스 서버(103)의 사용자 관리 유닛(335)은, 표 C에 도시한 바와 같은 데이터를 포함한다. 이 데이터는, 서비스 서버(103)에 의해 제공되는 서비스의 기능들로서 준비된 등록 화면 및 등록 서비스를 통해서 등록된다.

표 C

"사용자 ID" 열은, 음성 지시를 준 사용자의 ID를 나타낸다. "서비스 ID" 열은, 서비스 서버(103)에 의해 호스트되는 서비스의 서비스 ID(621)를 나타낸다. "실행이 허용되는지" 열은, 각 사용자가 서비스 ID에 의해 나타나는 서비스를 실행하도록 허가되는지를 나타낸다. 표 C는, user A는 서비스를 실행하도록 허가(true)되는 것을 나타내지만, user B는 서비스를 실행하는 것이 금지(false)된다는 것을 나타낸다. 각각의 서비스에 대해, 서비스의 실행이 허용되는지를 결정하는 방법이 정의된다. 예를 들어, 사용자의 연령에 임계값이 설정되어 서비스의 실행을 제한할 수 있다. 대안적으로, 별도로 사용자 인터페이스(UI)가 제공되어 서비스를 실행하도록 허용되지 않는 사용자의 선택을 가능하게 할 수 있다. "승인 사용자" 열은, 서비스를 실행하는 것이 금지(false)된 사용자로부터의 리퀘스트에 대응하는 서비스 제공을 허가하는 권한을 갖는 승인 사용자의 사용자 ID를 나타낸다. user A는, 자신의 권한에 의해 서비스를 실행하도록 허가된다. 따라서, user A에 대해 승인 사용자가 설정되어 있지 않다(NULL). "통지처" 열은, "사용자 ID" 열에 나타나는 사용자의 통지처를 나타낸다. 예를 들어, 휴대 단말(104)의 전화 번호나, 메일 어드레스가 설정된다. 표 C에서, user B로부터 "shopping.com"에 관한 의뢰가 수신된 경우에, 승인 사용자인 user A의 통지처, 즉 "userA@xxx.ne.jp"에 확인 의뢰가 통지된다.

도 8은, 도 5의 시퀀스에서 단계 S518 이후의 처리들의 확장 부분을 포함하는 시퀀스도를 나타낸다.

어설션의 검증이 실패한 경우에, 단계 S519 및 단계 S520은 도 5에서의 것과 유사하다.

어설션의 검증이 성공한 경우에는, 단계 S801에서, 권한을 확인하는 확인 처리가 실행된다. 도 9를 참조하여, 단계 S801의 처리의 상세에 대해서 설명한다.

단계 S901에서, 음성 어시스턴트(102)의 권한 판정 유닛(339)은, 사용자 관리 유닛(335)에 의해 관리되는 표 C로부터, 음성에 의해 지시를 제공한 사용자의 사용자 ID에 관한 정보를 취득한다. 단계 S902에서, 권한 판정 유닛(339)은, 단계 S901에서 취득된 정보에 포함되는 "실행이 허용되는지" 열을 참조하고, 사용자가 서비스의 실행 권한이 있는지를 확인한다.

단계 S801의 처리 결과로서, 음성에 의해 지시를 제공한 사용자가 서비스의 실행 권한이 있는 경우에, 도 5의 단계 S521 내지 단계 S523의 처리들과 유사한 처리들이 수행된다. 단계 S801의 처리 결과로서, 음성에 의해 지시를 제공한 사용자가 서비스의 실행 권한이 없는 경우에, 처리는 단계 S802로 진행한다.

단계 S802에서는, 확인 의뢰 유닛(341)은, 승인 사용자의 휴대 단말과 제휴하여, 허가 처리를 실행한다. 이 처리의 상세는, 도 10을 참조하여 후술될 것이다. 단계 S802의 결과로서, 승인 사용자의 휴대 단말로부터 음성 지시에 의해 요청된 지시의 실행 허가 또는 금지를 나타내는 응답이 획득된다.

실행이 금지되는 경우에, 단계 S803에서, 확인 의뢰 유닛(341)은, 음성 어시스턴트(102)에 대하여 요청된 처리가 승인 사용자에게 금지된 것을 나타내는 리스펀스를 반환한다. 단계 S804에서, 음성 처리 유닛(313)은, 반환된 리스펀스에 포함되는 메시지를 취득하고, 음성 송신 유닛(312)을 통해 메시지를 사용자에게 통지한다.

단계 S802의 결과로서, 실행이 허가된 경우에는, 도 5의 단계 S521 내지 단계 S523의 처리들과 유사한 처리가 수행된다.

도 10을 참조하여, 단계 S802의 처리의 상세에 대해서 설명한다. 본 예시적인 실시예에서, 승인 사용자의 휴대 단말에 대한 크리덴셜은, 도 4b에 나타낸 것과 같은 절차에 의해, 서비스 서버(103)에 또한 이미 등록된다.

단계 S1001에서는, 서비스 서버(103)의 확인 의뢰 유닛(341)은, 승인 사용자의 휴대 단말에 대하여 확인 처리의 리퀘스트를 발행한다. 이러한 처리에서, 확인 의뢰 유닛(341)은 도 7a에 나타낸 바와 같은, 승인 사용자용의 생체 인증 파라미터들을 또한 송신한다.

단계 S1002에서는, 승인 사용자의 휴대 단말의 실행 확인 유닛(357)은, 터치 패널(258) 상에 도 11a에 도시한 바와 같은 확인 화면을 표시한다. 승인 사용자는, 음성 어시스턴트(102)의 사용자에 의해 제공된 요청 지시를 허가할지에 관한 입력을 제공할 수 있다. 다음으로, 생체 정보 처리 유닛(352)은, 도 11b에 도시한 바와 같은 인증 화면을, 터치 패널(258) 상에 표시한다. 단계 S1003에서, 승인 사용자의 휴대 단말은 사용자의 생체 정보(지문)의 제시를 수신한다.

단계 S1004에서, 생체 인증 제어 유닛(353)은, TPM(255)에 등록된 생체 정보를 사용하여 생체 인증 처리를 실행한다. 생체 인증이 성공한 경우에, 단계 S1005에서, 어설션 생성 유닛(356)이, 도 7b에서 나타낸 것과 유사한 어설션 데이터를 생성한다.

단계 S1006에서, 송신/수신 유닛(351)은, 확인 화면을 통해 사용자로부터 수신한 확인 결과(실행 허가 또는 금지) 및 어설션 데이터를, 서비스 서버(103)에 송신한다.

단계 S1007에서, 검증 유닛(337)은, 수신한 어설션을 검증한다. 이 검증이 성공한 경우에, 확인 결과(실행 허가 또는 금지)에 기초하여, 도 8의 단계 S802 및 이후의 단계들의 처리들이 실행된다.

제2 예시적인 실시예에서, 승인 사용자의 휴대 단말에 대하여 확인 요구가 행해져서, 허가 처리를 실현한다. 제3 예시적인 실시예에서, 허가 처리가 승인 사용자와 다른 음성 어시스턴트의 제휴에 의해 또한 실현되는 예에 대한 설명이 제공된다. 구체적으로, 도 12에서 나타낸 바와 같이, 승인 사용자가 다른 음성 어시스턴트를 사용하여, 전술한 제2 예시적인 실시예에서 설명한 단계 S802의 허가 처리를 실현한다. 본 예시적인 실시예에서, 본 예시적인 실시예와 제1 및 제2 예시적인 실시예들 사이의 차이점들이 상세하게 설명된다.

본 예시적인 실시예에서, 승인 사용자에 의해 이용되는 다른 음성 어시스턴트는 도 2a 및 도 3a의 구성들과 유사한 구성들을 포함한다.

본 예시적인 실시예에서, 서비스 서버(103)의 사용자 관리 유닛(335)은, 표 D에 도시한 바와 같은 데이터를 포함한다. 이 데이터는, 서비스 서버(103)에 의해 제공되는 서비스의 기능들로서 준비된 등록 화면 및 등록 서비스를 통해 등록된다. 표 D에서, 통지처로서, 음성 어시스턴트를 고유하게 식별하는 ID나 네트워크 어드레스가 설정된다. 특정 사용자가 복수의 음성 어시스턴트를 소유할 가능성도 있기 때문에, 통지처로서, 복수의 음성 어시스턴트의 ID가 설정될 수 있다.

표 D

표 D에서, user A의 통지처로서, 2개의 ID가 설정된다. 즉, user A는, 이들의 2개의 ID에 의해 식별되는 음성 어시스턴트들을 소유한다. user A에 대해서는, 음성 어시스턴트들 중 어느 하나, 또는 양자 모두에 확인 통지가 제공된다.

이어서, 도 12를 참조하여, 본 예시적인 실시예에 따른 허가 처리의 상세에 대해서 설명한다.

단계 S1201에서, 서비스 서버(103)의 확인 의뢰 유닛(341)은, 승인 사용자의 음성 어시스턴트에 대하여 확인 요구를 발행한다. 이러한 처리에서, 확인 의뢰 유닛(341)은 도 7a에 나타낸 바와 같은, 승인 사용자용의 생체 인증 파라미터들을 또한 송신한다.

단계 S1202에서, 확인 요구를 수신한 음성 어시스턴트의 얼굴 검출 유닛(315)은, 카메라(217)를 사용하여, 통지처의 인물이 캡처될지를 판단한다. 구체적으로는, 얼굴 검출 유닛(315)은 카메라(217)에 의해 캡처된 얼굴 화상으로부터 특징량을 추출하고, 이 특징량을 TPM(215)에 보존된 승인 사용자의 얼굴 특징량과 대조함으로써, 이 판단을 행한다. 단계 S1202의 처리는 생략될 수 있다.

단계 S1203에서, 실행 확인 유닛(322)은, 음성 송신 유닛(312)를 통해 사용자에게 "user B로부터의 XX의 구매 허가 의뢰가 수신되었습니다. 구입을 허가합니까 또는 금지합니까?" 등의 메시지(기계 음성)를 통지한다. 단계 S1204에서, 음성 처리 유닛(313) 및 실행 확인 유닛(322)은, 음성 수신 유닛(311)에 의해 마이크로폰(218)을 통해 수신한 음성 데이터에서 사용자로부터의 "예(허가)", 또는 "아니오(금지)" 등의 지시 내용을 추출한다.

단계 S1205에서, 얼굴 검출 유닛(315)은, 단계 S1204에서 허가의 발언을 한 사용자를, 사용자의 입술의 움직임에 기초하여 특정하고, 해당 사용자의 얼굴 정보를 취득한다. 단계 S1206에서, 음성 처리 유닛(313), 및 얼굴 검출 유닛(315)은, 단계 S1204 및 단계 S1205에서 취득한 정보로부터 특징량들을 추출한다. 단계 S1207에서, 생체 인증 제어 유닛(317)은, 추출한 특징량들을, TPM(215)에 보존된 생체 정보와 대조하여, 생체 인증 처리를 실행한다. 단계 S1208에서, 어설션 생성 유닛(320)은, 생체 인증이 성공한 때 인증에 사용한 생체 정보에 대응하는 인증 정보 ID와 연관하여 관리된 비밀 키를 사용하여, 도 7b에 나타낸 어설션을 생성한다.

단계 S1209에서, 리퀘스트 처리 유닛(321)은, 서비스 서버(103)에 대하여 단계 S1208에서 생성한 어설션 및 확인 결과(허가 또는 금지)를 송신한다. 단계 S1210에서, 검증 유닛(337)은, 수신한 어설션을 인증 정보 ID와 연관하여 관리되는 공개 키를 사용하여 검증한다. 이 검증이 성공한 경우에, 확인 결과(실행 허가 또는 금지)에 기초하여, 도 8의 단계 S802 및 이후의 단계들의 처리들이 실행된다.

도 12에서, 승인 사용자는 음성 어시스턴트에 의해, 성문 및 얼굴 화상의 특징량들을 사용하여, 생체 인증을 수행한다. 제3 예시적인 실시예의 적용 예로서, 승인 사용자가 도 4b와 동등한 처리를 수행한 경우에, 단계 S1201에서 음성 어시스턴트에 의해 수신한 확인 요구를, 승인 사용자의 휴대 단말에 전송하고, 승인 사용자로 하여금 휴대 단말로, 허가에 관한 지시를 입력하고 생체 인증을 수행하게 하는 것도 가능하다.

이러한 처리에서, 음성 어시스턴트로부터 확인 요구를 수신한 승인 사용자의 휴대 단말은, 도 10에서 나타낸 단계 S1002 내지 단계 S1005의 처리들과 유사한 처리들을 실행한다. 그 후, 송신/수신 유닛(351)은, 확인 화면을 통해 사용자로부터 수신한 확인 결과(실행 허가 또는 금지) 및 어설션 데이터를, 확인 요구의 송신원인 음성 어시스턴트에 송신한다. 음성 어시스턴트는, 확인 결과(실행 허가 또는 금지) 및 어설션 데이터를 서비스 서버(103)에 전송한다. 이에 의해, 도 12에서 나타낸 단계 S1209의 것과 유사한 어설션을 검증하는 검증 처리가 실행된다.

다른 실시예들

실시예(들)는, 전술한 실시예(들) 중 하나 이상의 기능을 실행하기 위해 저장 매체(보다 완전하게는 '비일시적 컴퓨터 판독가능 저장 매체'라 칭할수도 있음)에 기록된 컴퓨터 실행가능 명령어들(예를 들어, 하나 이상의 프로그램)을 판독 및 실행하고 그리고/또는 전술한 실시예(들) 중 하나 이상의 기능을 실행하는 하나 이상의 회로(예를 들어, 주문형 집적 회로(ASIC))를 포함하는 시스템 또는 장치의 컴퓨터에 의해, 그리고 예를 들어 전술한 실시예(들) 중 하나 이상의 기능을 실행하기 위해 저장 매체로부터 컴퓨터 실행가능 명령어들을 판독 및 실행함으로써 그리고/또는 전술한 실시예(들) 중 하나 이상의 기능을 실행하기 위해 하나 이상의 회로를 제어함으로써 시스템 또는 장치의 컴퓨터에 의해 실행되는 방법에 의해 실현될 수도 있다. 컴퓨터는 하나 이상의 프로세서(예를 들어, 중앙 처리 유닛(CPU), 마이크로 처리 유닛(MPU))를 포함할 수 있고 컴퓨터 실행가능 명령어들을 판독 및 실행하기 위한 별도의 컴퓨터들 또는 별도의 프로세서들의 네트워크를 포함할 수 있다. 컴퓨터 실행가능 명령어는 예를 들어 네트워크 또는 저장 매체로부터 컴퓨터에 제공될 수 있다. 저장 매체는, 예를 들어 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광 디스크(예를 들어, 콤팩트디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)™), 플래시 메모리 디바이스, 메모리 카드 등 중 하나 이상을 포함할 수 있다.

(기타의 실시예)

본 발명은, 상기의 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실현가능하다.

또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.

예시적인 실시예들을 설명하였지만, 본 개시내용은 개시된 예시적인 실시예들로 한정되지 않음을 이해해야 한다. 이하의 청구항의 범위는 이러한 모든 변형과 등가인 구조 및 기능을 포함하도록 최광의로 해석되어야 한다.

Claims

음성 정보의 입력을 수신하고 처리하는 정보 처리 단말로서,
스피커;
상기 명령어들을 저장하는 메모리, 및
명령어들을 실행하는 적어도 하나의 프로세서
를 포함하고, 상기 명령어들은 상기 정보 처리 단말로 하여금:
음성 정보의 입력에 대응하는 제1 서비스의 실행에 인증이 불필요한 경우에, 상기 음성 정보의 상기 입력에 대한 응답으로서, 상기 제1 서비스의 실행에 관한 메시지를, 상기 스피커를 통해 출력하게 하고;
상기 음성 정보의 상기 입력에 대응하는 제2 서비스의 실행에 인증이 필요한 것으로 판단된 경우에, 상기 입력된 음성 정보에 대응하는 사용자의 생체 정보로서 추출된 정보를 사용한 생체 인증을 수행하기 위한 제어를 수행하게 하고;
상기 생체 인증이 성공한 경우에, 상기 음성 정보의 상기 입력에 대한 응답으로서, 상기 제2 서비스의 실행에 관한 메시지를, 상기 스피커를 통해 출력하게 하는, 정보 처리 단말.
제1항에 있어서,
상기 생체 정보는 상기 입력된 음성 정보로부터 추출되는, 정보 처리 단말.
제1항에 있어서,
상기 사용자의 상기 생체 정보에 기초한 상기 생체 인증을 수행하기 위한 요구가, 상기 사용자의 휴대 단말에 송신되는, 정보 처리 단말.
제1항에 있어서,
상기 명령어들은 상기 정보 처리 단말로 하여금 상기 입력된 음성 정보에 기초하여 서비스 서버에 대하여 서비스 리퀘스트를 추가로 발행하게 하고,
상기 서비스 서버로부터 인증 요구가 수신된 경우에, 상기 생체 인증을 위한 상기 제어가 수행되는, 정보 처리 단말.
제4항에 있어서,
상기 명령어들은 상기 정보 처리 단말로 하여금 상기 인증 요구에 포함되는 데이터와, 상기 생체 인증이 성공한 때 사용된 상기 생체 정보에 대응하는 비밀 키를 사용하여 생성된 서명을 상기 서비스 서버에 대하여 추가로 송신하게 하고,
상기 서비스 서버에서 상기 비밀 키에 대응하는 공개 키를 사용한 상기 서명의 검증이 성공한 경우에, 상기 제2 서비스의 실행에 관한 상기 메시지가 상기 스피커를 통해 출력되는, 정보 처리 단말.
스피커를 포함하고, 음성 정보의 입력을 수신하고 처리하는 정보 처리 단말에서의 방법으로서,
음성 정보의 입력에 대응하는 제1 서비스의 실행에 인증이 불필요한 경우에, 상기 음성 정보의 입력에 대한 응답으로서, 상기 제1 서비스의 실행에 관한 메시지를, 상기 스피커를 통해 출력하는 단계;
상기 음성 정보의 상기 입력에 대응하는 제2 서비스의 실행에 인증이 필요한 것으로 판단된 경우에, 상기 입력된 음성 정보에 대응하는 사용자의 생체 정보로서 추출된 정보를 사용한 생체 인증을 수행하기 위한 제어를 수행하는 단계; 및
상기 생체 인증이 성공한 경우에, 상기 음성 정보의 상기 입력에 대한 응답으로서, 상기 제2 서비스의 실행에 관한 메시지를, 상기 스피커를 통해 출력하는 단계
를 포함하는, 정보 처리 단말에서의 방법.
제6항에 있어서,
상기 생체 정보는 상기 입력된 음성 정보로부터 추출되는, 정보 처리 단말에서의 방법.
제6항에 있어서,
상기 사용자의 상기 생체 정보에 기초한 상기 생체 인증을 수행하기 위한 요구가, 상기 사용자의 휴대 단말에 송신되는, 정보 처리 단말에서의 방법.
컴퓨터로 하여금 음성 정보의 입력을 수신하고 처리하는 방법을 실행하게 하는 컴퓨터 프로그램을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은:
음성 정보의 입력에 대응하는 제1 서비스의 실행에 인증이 불필요한 경우에, 상기 음성 정보의 입력에 대한 응답으로서, 상기 제1 서비스의 실행에 관한 메시지를, 상기 컴퓨터의 스피커를 통해 출력하는 단계;
상기 음성 정보의 상기 입력에 대응하는 제2 서비스의 실행에 인증이 필요한 것으로 판단된 경우에, 상기 입력된 음성 정보에 대응하는 사용자의 생체 정보로서 추출된 정보를 사용한 생체 인증을 수행하기 위한 제어를 수행하는 단계; 및
상기 생체 인증이 성공한 경우에, 상기 음성 정보의 상기 입력에 대한 응답으로서, 상기 제2 서비스의 실행에 관한 메시지를, 상기 스피커를 통해 출력하는 단계
를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
시스템으로서,
음성 정보의 입력을 수신하고 처리하는 정보 처리 단말; 및
수신된 리퀘스트에 대응하는 처리를 실행하는 서비스 서버
를 포함하고,
상기 정보 처리 단말은:
스피커;
명령어들을 저장하는 메모리, 및
상기 명령어들을 실행하는 프로세서
를 포함하고, 상기 명령어들은 상기 정보 처리 단말로 하여금:
음성 정보의 입력을 수신하게 하고;
상기 음성 정보의 상기 입력에 기초하여, 상기 입력된 음성 정보에 기초하여 상기 서비스 서버에 대하여 서비스 리퀘스트를 발행하게 하고;
상기 음성 정보의 상기 입력에 대응하는 서비스의 실행에 인증이 필요한 것으로 판단된 경우에, 상기 입력된 음성 정보에 대응하는 사용자의 생체 정보로서 추출된 정보를 사용한 생체 인증을 수행하기 위한 제어를 수행하게 하고;
상기 서비스 서버는:
명령어들을 저장하는 메모리, 및
상기 명령어들을 실행하는 프로세서
를 포함하고, 상기 명령어들은 상기 서비스 서버로 하여금:
상기 정보 처리 단말의 상기 제어에 기초한 상기 생체 인증의 성공에 기초하여, 상기 발행된 서비스 리퀘스트에 대응하는 처리를 실행하게 하고;
상기 처리의 결과를 상기 정보 처리 단말에 반환하게 하고;
상기 정보 처리 단말의 상기 메모리에 저장되는 상기 명령어들은 상기 정보 처리 단말로 하여금 상기 음성 정보의 상기 입력에 대한 응답으로서, 상기 서비스 서버로부터 반환된 상기 결과에 대응하는 메시지를, 상기 스피커를 통해 추가로 출력하게 하는, 시스템.
제10항에 있어서,
상기 생체 정보는 상기 입력된 음성 정보로부터 추출되는, 시스템.
제10항에 있어서,
상기 서비스 서버의 상기 메모리에 저장되는 상기 명령어들은 상기 서비스 서버로 하여금 상기 발행된 서비스 리퀘스트에 대응하는 처리를 위해서, 상기 정보 처리 단말에 대하여 인증 요구를 추가로 송신하게 하고,
상기 정보 처리 단말이 상기 서비스 서버로부터 상기 인증 요구를 수신한 경우에, 상기 생체 인증을 위한 상기 제어가 상기 정보 처리 단말에서 수행되는, 시스템.
제12항에 있어서,
상기 정보 처리 단말의 상기 메모리에 저장되는 상기 명령어들은 상기 정보 처리 단말로 하여금 상기 인증 요구에 포함되는 데이터와, 상기 생체 인증이 성공한 때 사용된 상기 생체 정보에 대응하는 비밀 키를 사용하여 생성된 서명을 상기 서비스 서버에 대하여 추가로 송신하게 하고,
상기 비밀 키에 대응하는 공개 키를 사용한 상기 서명의 검증이 성공한 경우에, 상기 발행된 서비스 리퀘스트에 대응하는 상기 처리가 상기 서비스 서버에서 실행되는, 시스템.
제10항에 있어서,
상기 서비스 서버의 상기 메모리에 저장되는 상기 명령어들은 상기 서비스 서버로 하여금 상기 입력된 음성 정보에 대응하는 상기 사용자가, 상기 음성 정보의 상기 입력에 대응하는 상기 서비스의 실행 권한이 없는 경우에, 다른 사용자에 의해 이용되는 단말에 상기 서비스의 상기 실행에 관한 확인 요구를 추가로 수행하게 하고,
상기 확인 요구에 대한 상기 다른 사용자의 허가를 나타내는 응답이 수신된 경우에, 상기 발행된 서비스 리퀘스트에 대응하는 상기 처리가 상기 서비스 서버에서 실행되는, 시스템.
제14항에 있어서,
상기 다른 사용자에 의해 이용되는 상기 단말은, 상기 확인 요구에 따라, 상기 다른 사용자의 생체 인증을 수행하는, 시스템.
제14항에 있어서,
상기 다른 사용자에 의해 이용되는 상기 단말은, 상기 정보 처리 단말의 상기 스피커와 상이한 다른 스피커를 포함하고, 음성 정보의 입력을 수신하고 처리하는, 시스템.