WO2018061353A1 - 情報提供装置、及び移動体 - Google Patents

情報提供装置、及び移動体 Download PDF

Info

Publication number
WO2018061353A1
WO2018061353A1 PCT/JP2017/023046 JP2017023046W WO2018061353A1 WO 2018061353 A1 WO2018061353 A1 WO 2018061353A1 JP 2017023046 W JP2017023046 W JP 2017023046W WO 2018061353 A1 WO2018061353 A1 WO 2018061353A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
unit
vehicle
test
information
Prior art date
Application number
PCT/JP2017/023046
Other languages
English (en)
French (fr)
Inventor
後藤 紳一郎
智子 新谷
博光 湯原
英輔 相馬
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to CN201780054444.5A priority Critical patent/CN109690601B/zh
Priority to US16/317,144 priority patent/US10706270B2/en
Priority to DE112017004942.3T priority patent/DE112017004942T5/de
Priority to JP2018541908A priority patent/JP6657415B2/ja
Publication of WO2018061353A1 publication Critical patent/WO2018061353A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/08Annexed information, e.g. attachments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/42Mailbox-related aspects, e.g. synchronisation of mailboxes

Definitions

  • the present invention relates to an information providing apparatus that provides information on a moving body to a purchaser, user, or the like of the moving body, and a moving body.
  • the information providing apparatus described in Patent Document 1 includes data on customer service conditions (correspondence speed, explanation level, requirement) desired by a purchase examiner input to a terminal installed at the entrance of a dealer, and the purchase examiner's past.
  • the customer information based on the purchase history and preference, data indicating recommended products, and the like are transmitted to the mobile terminal of the sales representative.
  • Patent Document 1 describes a configuration in which an email regarding thanks is transmitted to a customer who has purchased a product, and an email regarding product information is transmitted to a customer who has not yet purchased the product.
  • the user's satisfaction with the mobile object can be recognized by recognizing the usage status of the mobile object that the user has had a good impression of. Can be improved.
  • the present invention has been made in view of such a background, and an object thereof is to provide an information providing apparatus and a moving body that can more effectively improve a user's satisfaction with the moving body.
  • the information providing apparatus of the present invention An information providing device that functions in a mobile body, A user state detection unit for detecting a state of a user of the moving body located in a predetermined area including the moving body; An imaging unit for imaging the inside of the predetermined area; An emotion estimation unit that estimates the user's emotion based on the detection result of the user state detection unit; When the emotion level of the user estimated by the emotion estimation unit increases, the user is imaged by the imaging unit, and the user captures the user's image data of the captured image data of the user.
  • An image transmission unit configured to transmit to the communication terminal of the user when it is estimated or detected that the user is away from the predetermined region.
  • the user state is detected by the user state detection unit, and the emotion of the user is estimated by the emotion estimation unit. Then, when the emotion level of the user estimated by the emotion estimation unit increases, the image transmission unit images the user by the imaging unit, and the user captures the image data of the captured user by the user When it is estimated or detected that the user is away from the predetermined area including the moving object, the information is transmitted to the communication terminal of the user.
  • the user's own communication terminal after leaving the moving body You can browse at. And the user's satisfaction with respect to a moving body can be raised by reminding the scene which felt high by this browsing.
  • an information providing unit that provides information prompting the user to use a specific function of the mobile body
  • the image transmission unit performs an operation for the user to use the specific function according to the provision of the information
  • the emotion estimation unit estimates when the user performs the operation.
  • the imaging unit images the user and transmits the captured image data of the user to the communication terminal of the user. To do.
  • the image transmission unit transmits the image data of the user to the communication terminal of the user together with data indicating the mobile body as a transmitter.
  • the user since the user receives the image data directly transmitted from the moving body, the user can feel familiarity with the moving body.
  • a moving body image acquisition unit that acquires data of a moving body image indicating the moving body
  • the image transmission unit transmits the user image data together with the moving body image data to the communication terminal of the user.
  • the user can intuitively recognize that the user's image data is directly sent from the moving object from the image of the moving object, and can feel familiarity with the moving object. .
  • a test ride recognition unit for recognizing that the user is on the test drive of the moving body
  • the image transmission unit captures the user with the imaging unit when the test ride recognition unit recognizes that the user is on a test ride of the moving object
  • the test ride recognition unit The user's image data is transmitted to the user's communication terminal when a predetermined time elapses from the time when the user switches from the state in which the user is recognized to be in the test drive to the state in which the user is not recognized. It is characterized by doing.
  • the user's image data is transmitted after a certain interval, thereby reminding the user of the increased emotion and maintaining the satisfaction level of the moving body that the user feels. Can be made.
  • the mobile body of the present invention is characterized by including any of the above information providing devices. According to the mobile object provided with the information providing apparatus, the same effects as the information providing apparatus described above can be obtained, and the user's satisfaction with the mobile object can be effectively increased.
  • Explanatory diagram of emotion engine. 1 is a first flowchart of an information providing apparatus.
  • FIG. 6A shows a situation where the vehicle is stopped
  • FIG. 6B shows a situation where the vehicle is running.
  • FIG. 7A illustrates emotion notification during travel
  • FIG. 7B illustrates emotion notification at the end of the test ride.
  • the information providing device 60 is mounted on a four-wheeled vehicle 1 (corresponding to a mobile body of the present invention, hereinafter referred to as a vehicle 1).
  • vehicle-mounted information providing device 60 is shown, but the information providing device of the present invention may be portable by a user and may be a portable type that is used by being brought into a vehicle. .
  • FIG. 1 shows a salesperson in charge of sales of a vehicle to a passenger seat 5L in which a test rider P1 (corresponding to a user of the present invention) sits in a driver's seat 5R of the vehicle 1 and considers purchase of the vehicle type of the vehicle 1.
  • the situation where person P2 is sitting is shown.
  • the salesperson P2 has a sales terminal 9 (tablet, smartphone, etc.), and uses the sales terminal 9 to serve the test rider P1.
  • the vehicle 1 includes a front camera 11, a front radar 12, a rear camera 13, and a rear radar 14 as a configuration for recognizing a situation around the vehicle 1, and a configuration for acquiring route information to a destination.
  • a navigation device 40 having a GPS (Global Positioning System) unit 41 and a map DB (database) 42, which will be described in detail later, is provided.
  • the vehicle 1 has a driver's seat camera 20 (corresponding to an imaging unit and a user state detection unit of the present invention) that images at least a face portion of the driver. And a driver's seat microphone 21 (corresponding to the user state detection unit of the present invention) for inputting the driver's voice.
  • a driver's seat camera 20 corresponding to an imaging unit and a user state detection unit of the present invention
  • a driver's seat microphone 21 corresponding to the user state detection unit of the present invention for inputting the driver's voice.
  • the imaging range by the driver's seat camera 20 and the sound collection range by the driver's seat microphone 21 correspond to a predetermined region of the present invention).
  • the vehicle 1 includes a steering angle sensor 25 that detects a steering angle of a steering wheel, a torque sensor 26 that detects a steering torque applied to the steering, and a depression amount of an accelerator pedal as a configuration for detecting an operation on a vehicle operation unit by a driver.
  • a steering angle sensor 25 that detects a steering angle of a steering wheel
  • a torque sensor 26 that detects a steering torque applied to the steering
  • a depression amount of an accelerator pedal as a configuration for detecting an operation on a vehicle operation unit by a driver.
  • a sports mode switch 28 is provided.
  • the vehicle 1 includes door sensors 30R, 30L, 31R, 31L, and 32 that detect opening and closing of the front doors 2R and 2L, the rear doors 3R and 3L, and the back door 4, and the driver seat 5R, the passenger seat 5L, and the rear seat 6 respectively.
  • Seat sensors 33R, 33L, 34R, and 34L are provided for detecting whether or not a passenger is seated.
  • the vehicle 1 is provided with a speaker 22 (corresponding to a notifying part of the present invention) and a display 23 (corresponding to a notifying part of the present invention) for notifying an occupant.
  • the vehicle 1 includes a control unit 50 that controls the overall operation of the vehicle 1.
  • the control unit 50 is an electronic circuit unit configured by a CPU, a memory, various interface circuits, and the like (not shown), and includes a communication device 51 and an information providing device 60.
  • the control unit 50 receives image data of the front camera 11, the rear camera 13, and the driver's seat camera 20, and object position data detected by the front radar 12 and the rear radar 14.
  • the control unit 50 includes a steering angle sensor 25, a torque sensor 26, an accelerator pedal sensor 24, a brake pedal sensor 27, door sensors 30R, 30L, 31R, 31L, 32, and seat sensors 33R, 33L, 34R, 34L. A signal is input.
  • control unit 50 receives an audio signal input to the driver's seat microphone 21.
  • the control unit 50 communicates with the navigation device 40 and communicates with the business terminal 9 and the like via the communication device 51.
  • the operation of the speaker 22, the display 23, the communication device 51, the navigation device 40, etc. is controlled by the control signal output from the control unit 50.
  • the information providing device 60 is configured by the CPU executing a control program for the information providing device 60 held in the memory of the control unit 50.
  • the information providing device 60 includes a test ride recognition unit 61, a current vehicle information acquisition unit 62, a vehicle information acquisition unit 63, an operation state detection unit 64, a behavior detection unit 65, an emotion engine 66 (corresponding to the emotion estimation unit of the present invention), An interesting function estimation unit 67, an ambient situation recognition unit 68, an information provision unit 69, an image transmission unit 70, and a vehicle emotion notification unit 71 are provided.
  • the test ride recognition unit 61 recognizes that the test drive of the vehicle 1 is being performed by communication with the business terminal 9 or the like.
  • the current vehicle information acquisition unit 62 uses the customer DB (database) of the customer information server 100 via the communication network 110 to store information on the vehicle (current vehicle) currently owned by the test rider P1 who is taking a test ride of the vehicle 1. ) Obtained by accessing 101.
  • the vehicle information acquisition unit 63 is configured to turn on / off an ignition switch (not shown) of the vehicle 1, operate a safety device system (not shown) (ADAS (Advanced Driver Assistance Systems), ABS (Control) Get information on Antilock (Brake System), airbags, emergency calls, etc.), vehicle speed, acceleration and deceleration.
  • the operation status detection unit 64 is based on the detection signals of the sensors 24 to 27, 30R, 30L, 31R, 31L, 32, 33R, 33L, 34R, and 34L, and the operation status of each operation unit of the vehicle 1 by the test rider P1. Is detected.
  • the behavior detection unit 65 is the operation status of each operation unit detected by the operation status detection unit 64, the status of the test rider P1 that is recognized from the captured images of the cameras 11, 13, and 20 or is around the vehicle 1 Based on the voice of the test rider P1 input to the driver's seat microphone 21, the behavior of the test rider P1 is detected.
  • the emotion engine 66 includes an emotion engine A that estimates the emotion of the driver of the vehicle 1 (here, the test rider P1) and an emotion engine B that anthropomorphizes the vehicle 1 to generate the emotion of the vehicle 1.
  • the emotion engine A has the facial expression of the test rider P1 recognized from the captured image of the driver's seat camera 20, the tone and inflection of the voice of the test rider P1 input to the driver's seat microphone 21, and the operation status.
  • the operation status of each operation unit by the test rider P1 detected by the detection unit 64 and the vehicle information acquired by the vehicle information acquisition unit 63 are quantified, and as shown in FIG. ) And the vertical axis (steady state axis).
  • the emotion engine 66 uses the facial expression of the test rider P1, the voice of the test rider P1, the operation status of each operation unit of the vehicle 1, and the vehicle information of the vehicle 1, and the emotion level of the test rider P1.
  • the emotion of the test rider P1 can be estimated by using at least the expression and voice of the test rider P1.
  • the emotion level of the test rider P1 may be estimated in consideration of other factors such as the degree of steering by the person P1.
  • the emotion engine B digitizes the operation status of each operation unit of the vehicle 1 detected by the operation status detection unit 64, the vehicle information of the vehicle 1 acquired by the vehicle information acquisition unit 63, and the like. Similarly, as shown in FIG. 3, the plot is plotted on the horizontal axis (the calmness axis) and the vertical axis (the steady state axis). Then, based on the quadrant to which the plotted point belongs and the position of the point in the quadrant to which the plotted point belongs, the degree (emotion level) of each emotion (like, dislike, endure, calm) of the personified vehicle 1 is generated. Output.
  • the interested function estimation unit 67 estimates a specific function that is assumed to attract the test rider P1 from among the functions provided in the vehicle 1. To do.
  • the surrounding situation recognition unit 68 is provided from an image around the vehicle 1 detected by the front camera 11 and the rear camera 13, an object around the vehicle 1 detected by the front radar 12 and the rear radar 14, and the navigation device 40. Based on traffic information around the vehicle 1 and the like, the situation of the road on which the vehicle 1 is traveling is recognized.
  • the vehicle emotion notification unit 71 anthropomorphizes the vehicle 1 at the time of a test ride and performs notification indicating the emotion of the vehicle 1.
  • STEP 1 is processing by the test ride recognition unit 61.
  • the test ride recognition unit 61 recognizes that the test ride of the vehicle 1 is performed by the test rider P1.
  • the test rider P1 As shown in FIG. 6A, when a test rider P1 who is a vehicle purchase examiner visits a store S of an automobile dealer, the test rider P1 is captured by a store camera 200 installed at the entrance of the store S, and captured image data Is transmitted to the personal computer 201 placed in the store S.
  • the personal computer 201 analyzes the face image of the test rider P1, accesses the customer DB 101 held in the customer information server 100, and determines whether the test rider P1 is a new customer (no customer data) or an existing customer (with customer data). It is judged whether it is.
  • the test rider P1 is an existing customer
  • the customer data of the test rider P1 acquired from the customer DB 101 (including the test rider P1's profile, preferences, past transaction history, etc.) is stored in the test rider P1.
  • the information is transmitted to the sales terminal 9 of the sales representative P2 who is in charge to notify that the test rider P1 has visited the store.
  • the communication between the business terminal 9 and the personal computer 201 may be performed via the communication network 110 or by a wireless LAN via the wireless router 202 connected to the personal computer 201.
  • the personal computer 201 selects an appropriate salesperson P2 and uses the sales terminal of the selected salesperson P2 to notify the data that the test rider P1 has visited the store. 9 to send.
  • the sales representative P2 confirms the profile of the test rider P1 and the like and newly creates customer data for the test rider P1 when starting the customer service of the test rider P1 who is a new customer.
  • the salesperson P2 informs the customer of the test rider P1 that the test ride vehicle 1 is prepared and recommends a test ride.
  • the test rider P1 desires a test ride
  • the test ride by the test rider P1 is started.
  • the test ride start notification data for notifying this and the customer data of the test rider P1 are transmitted to the information providing device 60 of the vehicle 1.
  • the test ride recognition unit 61 proceeds to STEP 2 when it recognizes that the test ride by the test rider P1 is started by receiving the test drive start notification data.
  • the test ride recognition unit 61 analyzes the conversation voice between the test rider P1 and the salesperson P2 input to the driver's seat microphone 21, and recognizes that the test ride by the test rider P1 is performed from the analysis result. Also good.
  • the test ride recognition unit 61 recognizes that the test rider P1 has boarded the vehicle 1 based on an ON (detection state) signal output from the seat sensor 33R of the driver's seat 5R, and is performing a test ride when the seat sensor 33R is in the ON state. Recognize that
  • test ride recognition unit 61 uses the vehicle information acquired by the vehicle information acquisition unit 63 and the current position of the vehicle 1 acquired by the navigation device 40, so that the vehicle 1 starts running, runs, and ends running. Recognize
  • the test ride recognition unit 61 detects that the vehicle 1 has returned to the store S based on the transition of the current position of the vehicle 1 acquired by the navigation device 40, and the output from the seat sensor 33R is an ON signal (detection state).
  • the output from the door sensor 30R of the front door 2R on the driver's seat is switched from ON (detected state) to OFF (non-detected state)
  • the test ride is recognized as having been completed. .
  • the test ride recognition unit 61 analyzes the conversation voice between the test rider P1 and the salesperson P2 input to the driver's seat microphone 21, and the analysis result (for example, “Thank you for the test ride of the salesperson P2”).
  • the voice of the test rider P1 may have recognized that the test ride has ended.
  • the subsequent STEP 2 is processing by the vehicle emotion notification unit 71.
  • the vehicle emotion notification unit 71 performs a notification indicating that the vehicle 1 is pleased as shown in FIG. 7A in STEP 3. Specifically, an image D1 in which the vehicle 1 is delighted is displayed on the display 23, and a sound V5 such as “It is a good day for driving!” Is output from the speaker 22 in a bright tone.
  • the following STEP 3 is processing by the emotion engine A.
  • the emotion engine A performs the above-described emotion estimation processing at a predetermined sampling period, and determines the level of each emotion (like, dislike, endure, peace) of the test rider P1 as needed.
  • STEP 10 branched from the subsequent STEP 4 and STEP 5 is processing by the image transmission unit 70.
  • the image transmission unit 70 determines whether or not the “like” emotion level output from the emotion engine A has increased by a predetermined level or more.
  • the process branches to STEP 10, and the image transmission unit 70 captures the test rider P1 with the driver's seat camera 20, and stores the captured image data in the memory. Proceed to STEP5.
  • the image may be a still image or a moving image.
  • the process proceeds to STEP5.
  • STEP5 and STEP22 in FIG. 5 branched from STEP5 and STEP5 are processes by the interested function estimation unit 67.
  • the interesting function estimation unit 67 determines whether or not the behavior of the test rider P1 is detected by the behavior detection unit 65 in STEP5. Then, when the behavior of the test rider P1 is detected, the process branches to STEP 20 in FIG. 5, and when the behavior of the test rider P1 is not detected, the process proceeds to STEP 6.
  • the interested function estimation unit 67 recognizes the emotion level of the test rider P 1 from the output of the emotion engine A, and in subsequent STEP 21, whether or not the “like” emotion level of the test rider P 1 has increased by a predetermined level or more. Judging. Then, when the “like” emotion level of the test rider P1 has increased by a predetermined level or more, the routine proceeds to STEP 22, and when the “like” emotion level has not increased by the predetermined level or more, the routine proceeds to STEP 6 in FIG.
  • the interested function estimation unit 67 extracts the specific function of the vehicle 1 related to the behavior of the test rider P1 detected in STEP 5. For example, when the action of the test rider P1 opening and closing the back door 4 of the vehicle 1 is detected (when the test rider P1 performs the opening / closing operation of the back door 4, the feeling of “like” of the test rider P1 increased. At that time, the interested function estimation unit 67 extracts a “rear seat folding function” for expanding the luggage compartment as a function related to this action.
  • the interested function estimation unit 67 selects “sport mode function” as a function related to this action.
  • STEP 23 to STEP 25 and STEP 30 are processes by the information providing unit 69.
  • the information providing unit 69 determines the presence or absence of the current vehicle of the test rider P1 from the customer data of the test rider P1. If there is a current vehicle, the process proceeds to STEP 24, where the information providing unit 69 specifies information on a specific function in the vehicle (competitive vehicle) competing with the vehicle 1 of the current vehicle and the brand of the current vehicle (generally the manufacturer of the current vehicle). To get.
  • the information providing unit 69 sets the “sport mode function” of the current vehicle of the test rider P1 and the competing vehicle (corresponding to the competing mobile body of the present invention).
  • Information of “sport mode function” (whether or not the sport mode function is present, elements changed by the sport mode function, etc.) is acquired.
  • the information providing unit 69 notifies the test rider P1 of information on specific functions in the vehicle 1, the current vehicle, and the competing vehicle by displaying on the display 23 and outputting sound from the speaker 22. By this notification, the test rider P1 can recognize the difference and superiority of the specific function of the vehicle 1 from the existing vehicle and the competing vehicle.
  • the information on the specific function of the vehicle 1 includes information that prompts the use of the specific function.
  • FIG. 6A shows a notification performed when the “rear seat folding function” is estimated as a specific function that attracts the test rider P1, and the information providing unit 69 receives the “rear seat” from the speaker 22. Is easy to fold. Please try it out. "
  • the information providing unit 69 outputs a video explaining the folding procedure of the rear seat to the display unit 23.
  • FIG. 6B shows notification performed when the “sport mode function” is estimated as a specific function that attracts the test rider P1.
  • the voice V2 “This acceleration is good!” Of the test rider P1 who performed the acceleration operation is input by the driver's seat microphone 21, the information providing unit 69 says “Thank you! High output motor and low
  • the voice V3 is output as an outstanding acceleration realized by the combination of the fuel-efficient engine, and the driving performance of the vehicle 1 is appealing.
  • the information providing unit 69 receives a message from the speaker 22 that “the road seems to be vacant, on the condition that the surrounding situation recognition unit 68 recognizes that the road on which the vehicle 1 is traveling is vacant. Why don't you try the sport mode? You can enjoy running more! Please operate the sport mode switch. " In addition, the information providing unit 69 outputs an image indicating the location where the sports mode switch 28 is disposed (in the vicinity of the shift lever, etc.) to the display unit 23.
  • the subsequent STEP 26 and STEP 40 branched from STEP 26 are processing by the image transmission unit 70.
  • the image transmission unit 70 determines whether or not the test rider P1 has operated the specific function by the operation state detection unit 64.
  • the process branches to STEP 40, and when the test rider P1 does not operate the specific function, the process proceeds to STEP 6 in FIG.
  • the image transmission unit 70 captures the test rider P1 with the driver's seat camera 20, holds the captured data in the memory, and proceeds to STEP 6 in FIG.
  • the image transmission unit 70 captures the test rider P1 with the driver's seat camera 20 and holds the captured data in the memory in STEP 40.
  • the test rider P1 has the specific function.
  • the image transmission unit 70 captures the test rider P1 by the driver seat camera 20 and stores the captured data in the memory in STEP40. Good.
  • the vehicle emotion notification unit 71 determines whether or not the test ride recognition unit 61 has recognized the end of the test ride of the vehicle 1 by the test rider P1. Then, when the end of the test drive is recognized, the process proceeds to STEP7, and when the test drive is not recognized, the process returns to STEP2 and the processes below STEP2 are executed again.
  • the vehicle emotion notification unit 71 performs notification indicating that the vehicle 1 is lonely as shown in FIG. 7B.
  • the display 23 displays an anthropomorphic image D2 of the state in which the vehicle 1 is lonely, and a voice V6 from the speaker 22 such as "Is it over now? Please come again! Is output with a sunk tone.
  • Subsequent STEP 8 is processing by the image transmission unit 70.
  • the image transmission unit 70 extracts the address of the test rider P1 from the customer data of the test rider P1. Referring to FIG. 8, the image transmission unit 70 obtains the distance from the store S (the place where the test ride is completed) to the residence H of the test rider P1, and the time when the test rider P1 will return to the residence H ( Predicted return home time). In addition, the elapsed time from the time when the test ride is completed to the predicted return time corresponds to the predetermined time of the present invention.
  • the image transmission unit 70 sends an e-mail 400 that expresses gratitude for taking a test ride when the estimated return home time is reached via the mail server 120 to the communication terminal 300 (smart phone, tablet) of the test rider P1. , Mobile phone etc.).
  • the e-mail 400 includes an image 401 of the test rider P1 captured in STEP 10 of FIG. 4 or STEP 40 of FIG. 5, a thank-you document 402, and an image 403 of the same color as the vehicle 1 or the vehicle 1 and the same color. included.
  • the image 403 corresponds to the mobile image of the present invention, and the configuration in which the image transmission unit 70 acquires the data of the image 403 from the customer information server 100 or the like corresponds to the mobile image acquisition unit of the present invention.
  • the image 401 of the test rider P1 is an image taken when the emotion level of the “like” of the test rider P1 increases by a predetermined level or more, it basically becomes a smile image, but there are a plurality of taken images.
  • the image 401 of the test rider P1 that performs smile detection on each captured image and attaches the image with the highest detected smile level to the e-mail 400 may be used.
  • the sender of the e-mail 400 has a vehicle type name of the vehicle 1 (in FIG. 8, “HT-SPORT” is exemplified), and the vehicle 403 is the same vehicle type as the vehicle 1 or the vehicle 1 and the vehicle image 403 of the same color. By including, the impression with respect to this vehicle type of test rider P1 can be heightened.
  • test rider P1 performs the test drive of the vehicle 1
  • the user uses a vehicle owned by the user
  • the user is similarly estimated to be interested in the user.
  • the usefulness of the existing vehicle can be recognized by the user.
  • the still image (image 401) of the test rider P1 is attached to the e-mail 400, but a moving image of the user P1 may be attached, and the test rider P1 emits the image of the test rider P1.
  • the voice data may be recorded and attached to the e-mail together with the image. Further, when the test rider P1 closes the purchase of the vehicle, the closing date and the scheduled delivery date may be described in the e-mail and the image information.
  • the image transmission unit 70 transmits an e-mail to the test rider P1 assuming the return time of the test rider P1 in STEP 8 in FIG. 4, but the user P1 is within a predetermined area including the vehicle 1.
  • An e-mail may be transmitted to the test rider P1 when it is estimated or detected that the user has left.
  • the image transmission unit 70 for example, (1) when a predetermined time elapses from the time when the user P1 recognizes that the user P1 has left the vehicle 1 by the captured images of the cameras 11, 13, 20 or the like. (2) When the user P1 finishes the test drive of the vehicle 1 or when a predetermined time elapses after the user performs an operation such as defeating the seat, the user P1 is in a predetermined area including the vehicle 1 You may recognize that you are away from.
  • the behavior detection unit 65 and the emotion engine 66 are provided, and the interested function estimation unit 67 uses the emotion engine A when the behavior of the user detected by the behavior detection unit 65 and this behavior is detected. Based on the estimated emotion of the user, the specific function that the user is interested in was estimated. However, only the behavior detection unit 65 may be provided, and the interested function estimation unit 67 may estimate the specific function based on the user's behavior detected by the behavior detection unit 65. Alternatively, only the emotion engine 66 may be provided, and the interested function estimation unit 67 may estimate a specific function in which the user is interested based on the emotion of the user P1 detected by the emotion engine 66. .
  • the four-wheeled vehicle 1 is shown as the moving body of the present invention.
  • the present invention is applied to various types of moving bodies such as other types of vehicles such as two-wheeled vehicles, ships, and aircrafts. Is possible.
  • SYMBOLS 1 ... Vehicle (mobile body) 50 ... Control unit 51 ... Communication apparatus 60 ... Information provision apparatus 61 ... Test drive recognition part 62 ... Current vehicle information acquisition part 63 ... Vehicle information acquisition part 64 ... Operation condition detection , 65 ... Action detection unit, 66 ... Emotion engine (emotion estimation unit), 67 ... interesting function estimation unit, 68 ... Ambient condition recognition unit, 69 ... Information provision unit, 70 ... Image transmission unit, 71 ... Vehicle emotion notification 100, customer information server, 101, customer database, 400, e-mail, P1, test rider, P2, sales representative.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

情報提供装置60は、移動体1を含む所定領域内に所在する移動体1の使用者P1の状態を検出するカメラ11,13,20及び運転席マイク21と、カメラ11,13,20及び運転席マイク21による検出結果に基づいて、使用者P1の感情を推定する感情エンジン66と、感情エンジン66により推定される使用者P1の感情レベルが所定レベル以上増加したときに、運転席カメラ20により使用者P1を撮像し、該撮像した使用者P1の画像データを使用者の通信端末に送信する画像送信部70とを備えている。

Description

情報提供装置、及び移動体
 本発明は、移動体の購入検討者、使用者等に対して、移動体の情報を提供する情報提供装置、及び移動体に関する。
従来、自動車のディーラーに購入検討者が来店した際に、車両の販売を促進するために用いられる情報提供装置、及びこの情報提供装置を用いた接客支援方法が提案されている(例えば、特許文献1参照)。
 特許文献1に記載された情報提供装置は、ディーラーの入口に設置された端末に入力された購入検討者が所望する接客条件(対応スピード、説明レベル、要件)のデータと、購入検討者の過去の購入履歴及び嗜好性に基づく顧客情報や推薦商品を示すデータ等を、営業担当者の携帯端末に送信する。
 また、特許文献1には、商品を購入した顧客に対してお礼に関する電子メールを送信し、商品の購入まで至らなかった顧客に対して商品情報に関する電子メールを送信する構成が記載されている。
特開2005-128928号公報
 車両等の移動体の購入に際しては、実際に移動体を使用したときのフィーリングや利便性を確認するために、購入検討者が販売店舗を訪れて移動体の試乗を行うことが多い。そのため、試乗によって、移動体に対する購入検討者の満足度を高めることが要望される。
 また、購入検討者以外の移動体の使用者(移動体の所有者等)についても、使用者が好印象をもった移動体の使用状況を認識させることによって、移動体に対する使用者の満足度を向上させることができると考えられる。
 そして、上述したように、画一的なお礼や商品情報の電子メールの送信では、移動体に対する使用者(試乗者、所有者等)の満足度を高める効果が低いという不都合がある。
 本発明はかかる背景に鑑みてなされたものであり、移動体に対する使用者の満足度をより効果的に高めることができる情報提供装置、及び移動体を提供することを目的とする。
 本発明の情報提供装置は、
 移動体において機能する情報提供装置であって、
 前記移動体を含む所定領域内に所在する前記移動体の使用者の状態を検出する使用者状態検出部と、
 前記所定領域内を撮像する撮像部と、
 前記使用者状態検出部の検出結果に基づいて、前記使用者の感情を推定する感情推定部と、
 前記感情推定部により推定される前記使用者の感情レベルが増加したときに、前記撮像部により前記使用者を撮像し、該撮像した前記使用者の画像データを、前記使用者が前記移動体を含む所定領域から離れたことが推定又は検出された場合に、前記使用者の通信端末に送信する画像送信部と
を備えていることを特徴とする。
 かかる本発明によれば、使用者状態検出部により使用者の状態が検出され、感情推定部により使用者の感情が推定される。そして、画像送信部は、感情推定部により推定される使用者の感情レベルが増加したときに、撮像部により使用者を撮像して、該撮像した使用者の画像データを、前記使用者が前記移動体を含む所定領域から離れたことが推定又は検出された場合に、使用者の通信端末に送信する。この場合、使用者は、移動体に乗車中、或いは移動体のドアを操作しているとき等であって、自身の感情が高ぶったときの画像を、移動体から離れた後に自身の通信端末で閲覧することができる。そして、この閲覧により、気持ちが高ぶったシーンを想起させることによって、移動体に対する使用者の満足度を高めることができる。
 また、前記使用者に対して、前記移動体が有する特定機能の利用を促す情報を提供する情報提供部を備え、
 前記画像送信部は、前記情報の提供に応じて、前記使用者が前記特定機能を利用するための操作を行い、且つ、前記使用者が該操作を行ったときに、前記感情推定部により推定された前記使用者の感情レベルが増加したときに、前記撮像部により前記使用者を撮像して、該撮像した前記使用者の画像データを、前記使用者の通信端末に送信することを特徴とする。
 この構成によれば、使用者の感情が高まった特定機能の利用状況を使用者に想起させることにより、特定機能の有用性を再認識させて、移動体に対する使用者の満足度を高めることができる。
 また、前記画像送信部は、前記使用者の画像データを、前記移動体を送信者として示すデータと共に前記使用者の通信端末に送信することを特徴とする。
 この構成によれば、使用者は移動体から直接送信された画像データを受信することになるため、移動体に対する親しみを感じさせることができる。
 また、前記移動体を示す移動体画像のデータを取得する移動体画像取得部を備え、
 前記画像送信部は、前記使用者の画像データを、前記移動体画像のデータと共に、前記使用者の通信端末に送信することを特徴とする。
 この構成によれば、使用者は、使用者の画像データが移動体から直接送られたことを、移動体の画像から視覚により直感的に認識させて、移動体に対する親しみを感じさせることができる。
 また、前記使用者が前記移動体の試乗中であることを認識する試乗認識部を備え、
 前記画像送信部は、前記試乗認識部により、前記使用者が前記移動体の試乗中であることが認識されているときに、前記撮像部により前記使用者を撮像し、前記試乗認識部により、前記使用者が前記移動体の試乗中であることが認識された状態から認識されない状態に切り替わった時点から、所定時間が経過した時に、前記使用者の画像データを前記使用者の通信端末に送信することを特徴とする。
 この構成によれば、ある程度インターバルをおいてから、使用者の画像データを送信することにより、使用者に生じた感情の高まりを思い起こさせて、使用者が感じている移動体に対する満足度を維持させることができる。
 次に、本発明の移動体は、上記情報提供装置のいずれかを備えていることを特徴とする。上記情報提供装置を備えた移動体によれは、上述した情報提供装置と同様の作用効果を奏して、移動体に対する使用者の満足度が効果的に高めることができる。
情報提供装置が搭載された四輪車両(移動体)の説明図。 情報提供装置の制御ブロック図。 感情エンジンの説明図。 情報提供装置の第1のフローチャート。 情報提供装置の第2のフローチャート。 試乗時の情報提供装置の作動状況を示す第1の説明図。図6Aは停車中の状況を示し、図6Bは走行中の状況を示す。 試乗時の情報提供装置による車両の感情報知の説明図。図7Aは走行中の感情報知を例示し、図7Bは試乗終了時の感情報知を例示する。 試乗終了後に、お礼の電子メールを送信する状況の説明図。
 本発明の実施の形態について、図1~図8を参照して説明する。
 [1.情報提供装置が搭載された車両の構成]
 図1に示すように、情報提供装置60は、四輪の車両1(本発明の移動体に相当する。以下、車両1という)に搭載されている。なお、本実施形態では、車載型の情報提供装置60を示したが、本発明の情報提供装置は、使用者による持ち運びが可能であって、車両に持ち込んで用いられるポータブルタイプであってもよい。
 図1は、車両1の運転席5Rに、車両1の車種の購入検討者である試乗者P1(本発明の使用者に相当する)が座り、助手席5Lに車両の販売を担当する営業担当者P2が座っている状況を示している。営業担当者P2は、営業用端末9(タブレット、スマートフォン等)を持っており、営業用端末9を利用して試乗者P1に対する接客を行う。
 車両1は、車両1の周囲の状況を認識するための構成として、前方カメラ11、前方レーダ12、後方カメラ13、及び後方レーダ14を備え、目的地までの経路情報を取得するための構成として、詳細を後述するGPS(Global Positioning System)ユニット41と地図DB(データベース)42とを有するナビゲーション装置40を備えている。
 車両1は、車両1の運転者の状況を認識するための構成として、運転者の少なくとも顔部分を撮像する運転席カメラ20(本発明の撮像部、及び使用者状態検出部に相当する)と、運転者の音声を入力する運転席マイク21(本発明の使用者状態検出部に相当する)とを備えている。なお、運転席カメラ20による撮像範囲及び運転席マイク21による集音範囲が、本発明の所定領域に相当する)。
 車両1は、運転者による車両操作部に対する操作を検出するための構成として、ステアリングの操舵角を検出する舵角センサ25、ステアリングに加わる操舵トルクを検出するトルクセンサ26、アクセルペダルの踏み込み量を検出するアクセルペダルセンサ24、ブレーキペダルの踏み込み量を検出するブレーキペダルセンサ27、スポーツモード(アクセル操作に対する駆動力の増加を大きく制御する等、レスポンスを向上させた走行モード)の設定と解除を受付けるスポーツモードスイッチ28を備えている。
 車両1は、フロントドア2R,2L、リアドア3R,3L、及びバックドア4の開閉をそれぞれ検出するドアセンサ30R,30L,31R,31L,32と、運転席5R,助手席5L,後部座席6への搭乗者の着座の有無をそれぞれ検出するシートセンサ33R,33L,34R,34Lとを備えている。さらに、車両1は、乗員に対する報知を行うスピーカ22(本発明の報知部に相当する)と表示器23(本発明の報知部に相当する)とを備えている。
 車両1は、車両1の全体的な作動を制御する制御ユニット50を備えている。制御ユニット50は、図示しないCPU,メモリ、各種インターフェース回路等により構成された電子回路ユニットであり、通信装置51と情報提供装置60を含んでいる。
 制御ユニット50には、前方カメラ11、後方カメラ13、及び運転席カメラ20の撮像データ、前方レーダ12及び後方レーダ14により検出された物体の位置データが入力される。また、制御ユニット50には、舵角センサ25、トルクセンサ26、アクセルペダルセンサ24、ブレーキペダルセンサ27、ドアセンサ30R、30L,31R,31L,32、及びシートセンサ33R,33L,34R,34Lの検出信号が入力される。
 さらに、制御ユニット50には、運転席マイク21に入力された音声信号が入力される。また、制御ユニット50は、ナビゲーション装置40との間で通信を行い、通信装置51を介して営業用端末9等との間で通信を行う。
 また、制御ユニット50から出力される制御信号によって、スピーカ22、表示器23、通信装置51、ナビゲーション装置40等の作動が制御される。
 [2.情報提供装置の構成]
 次に、図2を参照して、情報提供装置60は、制御ユニット50のメモリに保持された情報提供装置60の制御用プログラムを、CPUが実行することによって構成される。情報提供装置60は、試乗認識部61、現有車情報取得部62、車両情報取得部63、操作状況検出部64、行動検出部65、感情エンジン66(本発明の感情推定部に相当する)、興味有機能推定部67、周囲状況認識部68、情報提供部69、画像送信部70、及び車両感情報知部71を備えている。
 試乗認識部61は、車両1の試乗が行われていることを、営業用端末9との通信等によって認識する。現有車情報取得部62は、車両1の試乗を行っている試乗者P1が現在所有している車両(現有車両)の情報を、通信ネットワーク110を介して、顧客情報サーバ100の顧客DB(データベース)101にアクセスすることによって取得する。
 車両情報取得部63は、CAN(Control Area Network)等により、車両1のイグニッションスイッチ(図示しない)のON/OFF、安全装置系(図示しない)の作動(ADAS(Advanced Driver Assistance Systems)、ABS(Antilock Brake System)、エアバッグ、緊急通報等の作動)、車速、加減速等の情報を取得する。操作状況検出部64は、各センサ24~27,30R,30L,31R,31L,32,33R,33L,34R,34Lの検出信号に基づいて、試乗者P1による車両1の各操作部の操作状況を検出する。行動検出部65は、操作状況検出部64により検出される各操作部の操作状況、カメラ11,13,20の撮像画像から認識される運転中又は車両1の周囲に所在する試乗者P1の状況、運転席マイク21に入力される試乗者P1の音声等に基づいて、試乗者P1の行動を検出する。
 感情エンジン66は、車両1の運転者(ここでは試乗者P1)の感情を推定する感情エンジンAと、車両1を擬人化して車両1の感情を生成する感情エンジンBとにより構成されている。
 感情エンジンAは、図3に示したように、運転席カメラ20の撮像画像から認識される試乗者P1の表情、運転席マイク21に入力される試乗者P1の音声のトーンや抑揚、操作状況検出部64により検出される試乗者P1による各操作部の操作状況、及び車両情報取得部63により取得された車両情報を数値化して、図3に示したように、横軸(穏やかさの軸)と縦軸(定常状態の軸)にプロットする。
 そして、プロットされた点が属する象限(第1象限:好き、第2象限:嫌い、第3象限:耐える、第4象限:平穏)と、属する象限における各点の位置に基づいて、試乗者P1が示している各感情(好き:第1象限、嫌い:第2象限、耐える:第3象限、平穏:第4象限)の度合(感情レベル)のレベルを推定して出力する。
 なお、本実施形態では、感情エンジン66は、試乗者P1の表情、試乗者P1の音声、車両1の各操作部の操作状況、及び車両1の車両情報を用いて、試乗者P1の感情レベルを推定したが、少なくとも試乗者P1の表情と音声とを用いることで試乗者P1の感情を推定することができる。また、試乗者P1の顧客データから認識される試乗者P1のプロフィール(嗜好性、年齢、性別等)、試乗者P1の生体情報(生体センサにより検出される脈拍、心拍数、血圧等)、試乗者P1によるステアリングの握り具合等の他の要素も加味して、試乗者P1の感情レベルを推定してもよい。
 また、感情エンジンBは、操作状況検出部64により検出される車両1の各操作部の操作状況、車両情報取得部63により取得される車両1の車両情報等を数値化して、感情エンジンAと同様に図3に示したように、横軸(穏やかさの軸)と縦軸(定常状態の軸)にプロットする。そして、プロットされた点が属する象限と、属する象限におけるその点の位置とに基づいて、擬人化した車両1の各感情(好き、嫌い、耐える、平穏)の度合(感情レベル)を生成して出力する。
 興味有機能推定部67は、感情エンジンAにより推定された試乗者P1の感情レベルに基づいて、車両1に備えられた機能のうち、試乗者P1の興味を惹くと想定される特定機能を推定する。
 周囲状況認識部68は、前方カメラ11及び後方カメラ13により検出される車両1の周囲の画像、前方レーダ12及び後方レーダ14により検出される車両1の周囲の物体、及びナビゲーション装置40から提供される車両1の周囲の交通情報等に基づいて、車両1が走行している道路の状況を認識する。
 車両感情報知部71は、詳細は後述するが、試乗の際に車両1を擬人化して、車両1の感情を表す報知を行う。
 [3.情報提供処理]
 次に、図4に示したフローチャートに従って、情報提供装置60により実行される試乗者P1に対する情報提供処理について説明する。
 STEP1は、試乗認識部61による処理である。試乗認識部61は、試乗者P1により車両1の試乗が行われていることを認識する。図6Aに示すように、車両の購入検討者である試乗者P1が自動車ディーラーの店舗Sを訪れると、店舗Sの入口に設置された店舗カメラ200により試乗者P1が撮像されて、撮像画像データが店舗Sに置かれたパソコン201に送信される。
 パソコン201は、試乗者P1の顔画像を分析し、顧客情報サーバ100に保持された顧客DB101にアクセスして、試乗者P1が新規客(顧客データ無し)であるか既存客(顧客データ有り)であるかを判断する。そして、試乗者P1が既存客であるときは、顧客DB101から取得した試乗者P1の顧客データ(試乗者P1のプロフィール、嗜好性、これまでの取引履歴等が含まれる)を、試乗者P1を担当している営業担当者P2の営業用端末9に送信して、試乗者P1が来店したことを報知する。
 ここで、営業用端末9とパソコン201との間の通信は、通信ネットワークを110を介して行ってもよく、パソコン201に接続された無線ルータ202を介した無線LANにより行ってもよい。
 一方、試乗者P1が新規客であるときには、パソコン201は、適当な営業担当者P2を選択して、試乗者P1が来店したことを報知するデータを、選択した営業担当者P2の営業用端末9に送信する。この場合、営業担当者P2は、新規客である試乗者P1の接客を開始する際に、試乗者P1のプロフィール等を確認して、試乗者P1用の顧客データを新たに作成する。
 営業担当者P2は、試乗者P1の接客において、試乗用の車両1が用意されていること知らせて試乗を勧め、試乗者P1が試乗を希望したときには、これから試乗者P1による試乗が開始されることを報知する試乗開始報知データと、試乗者P1の顧客データとを車両1の情報提供装置60に送信する。
 試乗認識部61は、試乗開始報知データの受信により、試乗者P1による試乗が開始されることを認識したときにSTEP2に進む。なお、試乗認識部61が、運転席マイク21に入力された試乗者P1と営業担当者P2との会話音声を解析し、解析結果から試乗者P1による試乗が行われることを認識するようにしてもよい。
 試乗認識部61は、試乗者P1が車両1に乗車したことを運転席5Rのシートセンサ33Rから出力されるON(検出状態)信号により認識し、シートセンサ33RがON状態であるときは試乗中であると認識する。
 また、試乗認識部61は、車両情報取得部63により取得される車両情報と、ナビゲーション装置40により取得される車両1の現在位置により、車両1が試乗による走行の開始、走行中、走行の終了を認識する。
 そして、試乗認識部61は、ナビゲーション装置40により取得される車両1の現在位置の推移により、車両1が店舗Sに戻ったことを検知し、シートセンサ33Rからの出力がON信号(検出状態)からOFF状態(非検出状態)に切り替わって、運転席側のフロントドア2Rのドアセンサ30Rの出力がON(検出状態)からOFF(非検出状態)に切り替わったときに、試乗が終了したと認識する。
 なお、試乗認識部61が、運転席マイク21に入力された試乗者P1と営業担当者P2との会話音声を解析し、解析結果(例えば、営業担当者P2の「ご試乗頂きありがとうございました」との音声の解析)から、試乗者P1による試乗が終了したことを認識するようにしてもよい。
 続くSTEP2は、車両感情報知部71による処理である。車両感情報知部71は、試乗認識部61により試乗が行われていることが認識されているときに、STEP3で、図7Aに示すように、車両1が喜んでいることを表す報知を行う。具体的には、表示器23に車両1が喜んでいる状態を擬人化した画像D1を表示すると共に、スピーカ22から「ドライブ日和ですね!」等の音声V5を明るいトーンで出力する。
 なお、感情エンジンBから出力される車両1の「好き」の感情レベルに応じて、感情レベルが高い程、画像D1及び音声V5により表現する喜びの度合を高めるようにしてもよい。
 続くSTEP3は、感情エンジンAによる処理であり、感情エンジンAは所定のサンプリング周期で上述した感情の推定処理を行って、試乗者P1の各感情(好き、嫌い、耐える、平穏)のレベルを随時出力する。続くSTEP4及びSTEP5から分岐したSTEP10は、画像送信部70による処理である。画像送信部70は、STEP4で、感情エンジンAから出力される「好き」の感情レベルが所定レベル以上増加したか否かを判断する。
 そして、「好き」の感情レベルが所定レベル以上増加したときはSTEP10に分岐し、画像送信部70は、運転席カメラ20により試乗者P1を撮像し、撮像した画像のデータをメモリに保持してSTEP5に進む。なお、画像は、静止画でも動画でもよい。一方、「好き」の感情レベルが所定レベル以上増加していないときには、STEP5に進む。
 STEP5、及びSTEP5から分岐した図5のSTEP20~STEP22は、興味有機能推定部67による処理である。興味有機能推定部67は、STEP5で、行動検出部65により試乗者P1の行動が検出されているか否かを判断する。そして、試乗者P1の行動が検出されているときは図5のSTEP20に分岐し、試乗者P1の行動が検出されていないときにはSTEP6に進む。
 STEP20で、興味有機能推定部67は、感情エンジンAの出力から試乗者P1の感情レベルを認識し、続くSTEP21で、試乗者P1の「好き」の感情レベルが所定レベル以上増加したか否かを判断する。そして、試乗者P1の「好き」の感情レベルが所定レベル以上増加したときはSTEP22に進み、「好き」の感情レベルが所定レベル以上増加していないときには、図4のSTEP6に進む。
 STEP22で、興味有機能推定部67は、STEP5で検出した試乗者P1の行動に関連する車両1の特定機能を抽出する。例えば、試乗者P1が車両1のバックドア4を開閉する行動が検出されたとき(試乗者P1がバックドア4の開閉操作を行ったときに、試乗者P1の「好き」の感情が高まったとき)には、興味有機能推定部67は、この行動に関連する機能として、荷室拡大するための「後部座席の折り畳み機能」を抽出する。
 また、例えば、試乗者P1がアクセルペダルを踏み込んで、車両1を加速させる行動が検出されたとき(試乗者P1が加速操作を行ったときに、試乗者P1の「好き」の感情が高まったとき)には、興味有機能推定部67は、この行動に関連する機能として、「スポーツモード機能」を選択する。
 続くSTEP23~STEP25、及びSTEP30は、情報提供部69による処理である。STEP23で、情報提供部69は、試乗者P1の顧客データから試乗者P1の現有車両の有無を判断する。そして、現有車両があるときはSTEP24に進み、情報提供部69は、現有車両及び現有車両のブランド(一般には現有車両の製造メーカー)の車両1と競合する車両(競合車両)における特定機能の情報を取得する。
 例えば、特定機能が「スポーツモード機能」である場合には、情報提供部69は、試乗者P1の現有車両の「スポーツモード機能」と、競合車両(本発明の競合移動体に相当する)の「スポーツモード機能」の情報(スポーツモード機能の有無、スポーツモード機能により変更される要素等)を取得する。
 そして、次のSTEP25で、情報提供部69は、車両1、現有車両、及び競合車両における特定機能の情報を、表示器23への表示及びスピーカ22からの音声出力によって試乗者P1に報知する。この報知により、試乗者P1は、車両1の特定機能について、現有車両及び競合車両との相違点や優位性を認識することができる。
 一方、試乗者P1の現有車がないときにはSTEP23からSTEP30に分岐し、情報提供部69は、車両1の特定機能の情報のみを報知する。
 ここで、車両1の特定機能の情報には、特定機能の使用を促す情報が含まれている。例えば、図6Aは、試乗者P1の興味を惹く特定機能として、「後部座席の折り畳み機能」が推定された場合に行われる報知を示しており、情報提供部69は、スピーカ22から「後部座席は簡単に折り畳めます。ぜひお試し下さい。」との音声メッセージV1を出力している。また、情報提供部69は、表示器23に、後部座席の折り畳み手順を説明する映像を出力する。
 また、図6Bは、試乗者P1の興味を惹く特定機能として、「スポーツモード機能」が推定された場合に行われる報知を示している。情報提供部69は、加速操作を行った試乗者P1の「この加速いいね!」という音声V2を、運転席マイク21により入力したときに、スピーカ22から「ありがとうございます! 高出力モータと低燃費エンジンの組合せで実現した抜群の加速です!」という音声V3を出力して、車両1の走行性能をアピールしている。
 そして、情報提供部69は、周囲状況認識部68により、車両1が走行している道路が空いていることが認識されていることを条件として、スピーカ22から「道が空いているようですので、スポーツモードにしてみませんか。走りをもっと楽しめますよ! スポーツモードスイッチを操作してみて下さい。」という音声V4を出力する。また、情報提供部69は、表示器23に、スポーツモードスイッチ28の配置箇所(シフトレバーの付近等)を示す映像を出力する。
 続くSTEP26及びSTEP26から分岐したSTEP40は、画像送信部70による処理である。STEP26で、画像送信部70は、操作状況検出部64により、試乗者P1が特定機能の操作を行ったか否かを判断する。
 そして、試乗者P1が特定機能の操作を行ったときは、STEP40に分岐し、試乗者P1が特定機能の操作を行わなかったときには図4のSTEP6に進む。STEP40で、画像送信部70は、運転席カメラ20により試乗者P1を撮像して撮像データをメモリに保持し、図4のSTEP6に進む。なお、試乗者P1が特定機能の操作を行ったときにSTEP40で画像送信部70が運転席カメラ20により試乗者P1を撮像して撮像データをメモリに保持したが、試乗者P1が特定機能の操作を行い、かつ試乗者P1の感情レベルが所定値以上増加した場合に、STEP40で画像送信部70が運転席カメラ20により試乗者P1を撮像して撮像データをメモリに保持するようにしてもよい。
 図4のSTEP6,STEP7は、車両感情報知部71による処理である。車両感情報知部71は、STEP6で、試乗認識部61により試乗者P1による車両1の試乗の終了が認識されたか否かを判断する。そして、試乗の終了が認識されたときはSTEP7に進み、試乗が認識されていないときにはSTEP2に戻ってSTEP2以下の処理を再び実行する。
 STEP7で、車両感情報知部71は、図7Bに示したように、車両1が寂しがっていることを表す報知を行う。具体的には、表示器23に車両1が寂しがっている状態を擬人化した画像D2を表示すると共に、スピーカ22から「もう終わりですか? またいらして下さいね!」等の音声V6を、沈んだトーンで出力する。
 続くSTEP8は、画像送信部70による処理である。画像送信部70は、試乗者P1の顧客データから、試乗者P1の住所を抽出する。図8を参照して、画像送信部70は、店舗S(試乗が終了した場所)から試乗者P1の住居Hまでの距離を求めて、試乗者P1が住居Hに帰宅するであろう時刻(帰宅予測時刻)を予測する。なお、試乗が終了した時刻から帰宅予測時刻までの経過時間は、本発明の所定時間に相当する。
 そして、画像送信部70は、帰宅予測時刻になったときに、試乗をしてくれたことに対する感謝を表す電子メール400を、メールサーバ120を介して試乗者P1の通信端末300(スマートフォン、タブレット、携帯電話等)に送信する。
 電子メール400には、図4のSTEP10又は図5のSTEP40で撮像された試乗者P1の画像401と、お礼文書402と、車両1又は車両1と同一車種で同一色の車両の画像403とが含まれる。
 画像403は本発明の移動体画像に相当し、画像送信部70が顧客情報サーバ100等から画像403のデータを取得する構成は、本発明の移動体画像取得部に相当する。
 試乗者P1の画像401は、試乗者P1の「好き」の感情レベルが所定レベル以上増加した時に撮像された画像であるため、基本的には笑顔の画像となるが、撮像画像が複数ある場合には、各撮像画像について笑顔検出を行い、検出された笑顔のレベルが最も高い画像を電子メール400に添付する試乗者P1の画像401としてもよい。
 また、電子メール400の差出人は、車両1の車種名(図8では、「HT-SPORT」を例示)となっており、車両1又は車両1と同一の車種で同一色の車両の画像403を含めることで、試乗者P1のこの車種に対する印象を高めることができる。
 [4.他の実施形態]
 上記実施形態では、試乗者P1が車両1の試乗を行う場合を例に説明したが、使用者が、自身が所有する車両を使用する際にも、同様にして使用者の興味を惹くと推定される特定機能に関する情報を提供することによって、現有車両の有用性を使用者に認識させることができる。
 上記実施形態では、試乗者P1の静止画像(画像401)を電子メール400に添付したが、使用者P1の動画像を添付してもよく、また、試乗者P1の撮像時に試乗者P1が発した音声のデータを録音しておき、画像と併せて電子メールに添付してもよい。また、試乗者P1が車両の購入を成約した場合は、電子メール、画像情報に成約日と納車予定日等を記載してもよい。
 上記実施形態では、画像送信部70は、図4のSTEP8で、試乗者P1の帰宅時間を想定して試乗者P1に電子メールを送信したが、使用者P1が車両1を含む所定領域内から離れたことが推定又は検出されたときに、試乗者P1に電子メールを送信するようにしてもよい。この場合、画像送信部70は、例えば、(1)カメラ11,13,20の撮像画像等により、使用者P1が車両1から離れたことを認識した時点から、所定時間が経過した時、或いは、(2)使用者P1が車両1の試乗を終了した時、又は使用者がシートを倒す等の操作を行った時から所定時間が経過した時に、使用者P1が車両1を含む所定領域内から離れたと認識してもよい。
 上記実施形態では、行動検出部65と感情エンジン66とを備え、興味有機能推定部67は、行動検出部65により検出された使用者の行動と、この行動が検出された時に感情エンジンAで推定された使用者の感情とに基づいて、使用者が興味を有する特定機能を推定した。しかし、行動検出部65のみを備えて、興味有機能推定部67は、行動検出部65により検出された使用者の行動に基づいて、特定機能を推定するようにしてもよい。或いは、感情エンジン66のみを備えて、興味有機能推定部67は、感情エンジン66により検出された使用者P1の感情に基づいて、使用者が興味を有する特定機能を推定するようにしてもよい。
 上記実施形態では、本発明の移動体として四輪の車両1を示したが、2輪車両等の他のタイプの車両、船舶、航空機等の種々の移動体に対して、本発明の適用が可能である。
 1…車両(移動体)、50…制御ユニット、51…通信装置、60…情報提供装置、61…試乗認識部、62…現有車情報取得部、63…車両情報取得部、64…操作状況検出部、65…行動検出部、66…感情エンジン(感情推定部)、67…興味有機能推定部、68…周囲状況認識部、69…情報提供部、70…画像送信部、71…車両感情報知部、100…顧客情報サーバ、101…顧客データベース、400…電子メール、P1…試乗者、P2…営業担当者。

Claims (6)

  1.  移動体において機能する情報提供装置であって、
     前記移動体を含む所定領域内に所在する前記移動体の使用者の状態を検出する使用者状態検出部と、
     前記所定領域内を撮像する撮像部と、
     前記使用者状態検出部の検出結果に基づいて、前記使用者の感情を推定する感情推定部と、
     前記感情推定部により推定される前記使用者の感情レベルが増加したときに、前記撮像部により前記使用者を撮像し、該撮像した前記使用者の画像データを、前記使用者が前記移動体を含む所定領域から離れたことが推定又は検出された場合に、前記使用者の通信端末に送信する画像送信部と
    を備えていることを特徴とする情報提供装置。
  2.  請求項1に記載の情報提供装置において、
     前記使用者に対して、前記移動体が有する特定機能の利用を促す情報を提供する情報提供部を備え、
     前記画像送信部は、前記情報の提供に応じて、前記使用者が前記特定機能を利用するための操作を行い、且つ、前記使用者が該操作を行ったときに、前記感情推定部により推定された前記使用者の感情レベルが増加したときに、前記撮像部により前記使用者を撮像して、該撮像した前記使用者の画像データを、前記使用者の通信端末に送信することを特徴とする情報提供装置。
  3.  請求項1又は請求項2に記載の情報提供装置において、
     前記画像送信部は、前記使用者の画像データを、前記移動体を送信者として示すデータと共に前記使用者の通信端末に送信することを特徴とする情報提供装置。
  4.  請求項1から請求項3のうちいずれか1項に記載の情報提供装置において、
     前記移動体を示す移動体画像のデータを取得する移動体画像取得部を備え、
     前記画像送信部は、前記使用者の画像データを、前記移動体画像のデータと共に、前記使用者の通信端末に送信することを特徴とする情報提供装置。
  5.  請求項1から請求項4のうちのいずれか1項に記載の情報提供装置において、
     前記使用者が前記移動体の試乗中であることを認識する試乗認識部を備え、
     前記画像送信部は、前記試乗認識部により、前記使用者が前記移動体の試乗中であることが認識されているときに、前記撮像部により前記使用者を撮像し、前記試乗認識部により、前記使用者が前記移動体の試乗中であることが認識された状態から認識されない状態に切り替わった時点から、所定時間が経過した時に、前記使用者の画像データを前記使用者の通信端末に送信することを特徴とする情報提供装置。
  6.  請求項1から請求項5のうちいずれか1項に記載の情報提供装置を備えたことを特徴とする移動体。
PCT/JP2017/023046 2016-09-30 2017-06-22 情報提供装置、及び移動体 WO2018061353A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780054444.5A CN109690601B (zh) 2016-09-30 2017-06-22 信息提供装置和移动体
US16/317,144 US10706270B2 (en) 2016-09-30 2017-06-22 Information provision device, and moving body
DE112017004942.3T DE112017004942T5 (de) 2016-09-30 2017-06-22 Informationsbeschaffungsvorrichtung und beweglicher Körper
JP2018541908A JP6657415B2 (ja) 2016-09-30 2017-06-22 情報提供装置、及び移動体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016193788 2016-09-30
JP2016-193788 2016-09-30

Publications (1)

Publication Number Publication Date
WO2018061353A1 true WO2018061353A1 (ja) 2018-04-05

Family

ID=61762592

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023046 WO2018061353A1 (ja) 2016-09-30 2017-06-22 情報提供装置、及び移動体

Country Status (5)

Country Link
US (1) US10706270B2 (ja)
JP (1) JP6657415B2 (ja)
CN (1) CN109690601B (ja)
DE (1) DE112017004942T5 (ja)
WO (1) WO2018061353A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307816A (zh) * 2019-07-29 2021-02-02 北京地平线机器人技术研发有限公司 车内图像获取方法、装置以及电子设备、存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6991452B2 (ja) * 2017-06-27 2022-01-12 カワサキモータース株式会社 疑似感情生成方法並びに走行評価方法および走行評価システム
JP2022133854A (ja) * 2021-03-02 2022-09-14 マツダ株式会社 車両の制御システム
US20230298092A1 (en) * 2022-03-16 2023-09-21 Tekion Corp Vehicle availability user interface elements for an online system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341719A (ja) * 2003-05-14 2004-12-02 Nec System Technologies Ltd 客観的顧客満足度評価システム及びその方法
JP2010015451A (ja) * 2008-07-04 2010-01-21 Toyota Motor Corp 運転者状態記録装置
US20140171752A1 (en) * 2012-12-14 2014-06-19 Electronics And Telecommunications Research Institute Apparatus and method for controlling emotion of driver

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP2002245224A (ja) * 2001-02-19 2002-08-30 Hitachi Ltd 潜在顧客の情報収集システム及び方法
JP2003331176A (ja) * 2002-05-09 2003-11-21 Toyota Motor Corp 試乗車提供システム及び方法
JP3926254B2 (ja) * 2002-11-25 2007-06-06 Necシステムテクノロジー株式会社 車両に対する顧客満足度評価システム及びその方法
JP2005128928A (ja) 2003-10-27 2005-05-19 Kureo:Kk 接客支援プログラム、接客支援方法、接客支援装置、接客支援バッチ発行プログラム、接客支援バッチ発行方法および接客支援バッチ発行装置
US9418368B2 (en) * 2007-12-20 2016-08-16 Invention Science Fund I, Llc Methods and systems for determining interest in a cohort-linked avatar
JP2010277583A (ja) * 2009-04-28 2010-12-09 Everica:Kk 試乗車両又は広告車両の提供システム
US9491420B2 (en) * 2009-09-20 2016-11-08 Tibet MIMAR Vehicle security with accident notification and embedded driver analytics
US8576069B2 (en) * 2009-10-22 2013-11-05 Siemens Corporation Mobile sensing for road safety, traffic management, and road maintenance
WO2011094734A2 (en) * 2010-02-01 2011-08-04 Jumptap, Inc. Integrated advertising system
DE102010062589A1 (de) * 2010-12-08 2012-06-14 Robert Bosch Gmbh Kamerabasiertes Verfahren zur Abstandsbestimmung bei einem stehenden Fahrzeug
US9348492B1 (en) * 2011-04-22 2016-05-24 Angel A. Penilla Methods and systems for providing access to specific vehicle controls, functions, environment and applications to guests/passengers via personal mobile devices
DE102011109564B4 (de) * 2011-08-05 2024-05-02 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
US20140039723A1 (en) * 2012-08-03 2014-02-06 Ford Global Technologies, Llc Apparatus and method for transmitting static and dynamic information to a personal communication device in a vehicle
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
WO2014170987A1 (ja) * 2013-04-18 2014-10-23 三菱電機株式会社 移動体状態通知装置、サーバ装置および移動体状態通知方法
WO2015008290A2 (en) * 2013-07-18 2015-01-22 Secure4Drive Communication Ltd. Method and device for assisting in safe driving of a vehicle
US9902343B2 (en) * 2013-07-31 2018-02-27 Driverdo Llc Digital vehicle tag and method of integration in vehicle allocation system
JP2015169980A (ja) * 2014-03-05 2015-09-28 シャープ株式会社 運転監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341719A (ja) * 2003-05-14 2004-12-02 Nec System Technologies Ltd 客観的顧客満足度評価システム及びその方法
JP2010015451A (ja) * 2008-07-04 2010-01-21 Toyota Motor Corp 運転者状態記録装置
US20140171752A1 (en) * 2012-12-14 2014-06-19 Electronics And Telecommunications Research Institute Apparatus and method for controlling emotion of driver

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307816A (zh) * 2019-07-29 2021-02-02 北京地平线机器人技术研发有限公司 车内图像获取方法、装置以及电子设备、存储介质

Also Published As

Publication number Publication date
CN109690601A (zh) 2019-04-26
US10706270B2 (en) 2020-07-07
JPWO2018061353A1 (ja) 2019-03-22
CN109690601B (zh) 2022-11-18
JP6657415B2 (ja) 2020-03-04
US20190294867A1 (en) 2019-09-26
DE112017004942T5 (de) 2019-06-19

Similar Documents

Publication Publication Date Title
JP6655726B2 (ja) 情報提供装置、及び移動体
US10192171B2 (en) Method and system using machine learning to determine an automotive driver's emotional state
US20170349184A1 (en) Speech-based group interactions in autonomous vehicles
WO2018061353A1 (ja) 情報提供装置、及び移動体
US8843553B2 (en) Method and system for communication with vehicles
JP4980737B2 (ja) 車両用情報提示装置
US20180096403A1 (en) Facility satisfaction rate calculating apparatus
WO2018101978A1 (en) Vehicle tutorial system and method for sending vehicle tutorial to tutorial manager device
JP6713490B2 (ja) 情報提供装置及び情報提供方法
CN110895738A (zh) 驾驶评价装置、驾驶评价系统、驾驶评价方法及存储介质
CN111310062A (zh) 匹配方法、匹配服务器、匹配系统以及存储介质
JP2018052425A (ja) 移動体制御装置、及び移動体
US11302304B2 (en) Method for operating a sound output device of a motor vehicle using a voice-analysis and control device
CN112918381B (zh) 一种车载机器人迎送宾方法、装置及系统
JP7151400B2 (ja) 情報処理システム、プログラム、及び制御方法
US20210261142A1 (en) Information processing apparatus
US20210403040A1 (en) Information processing device, information processing system, program, and vehicle
JP7081132B2 (ja) 情報処理方法及び情報処理装置
JP5847320B2 (ja) 車載情報処理装置
CN111568447A (zh) 信息处理装置和信息处理方法
JP2022061873A (ja) 車両用エージェント装置、車両用エージェントシステム、及び車両用エージェントプログラム
JP2021071868A (ja) 情報処理装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018541908

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17855312

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17855312

Country of ref document: EP

Kind code of ref document: A1