JP2020175790A - オーディオ制御システム及びオーディオ制御方法 - Google Patents

オーディオ制御システム及びオーディオ制御方法 Download PDF

Info

Publication number
JP2020175790A
JP2020175790A JP2019079734A JP2019079734A JP2020175790A JP 2020175790 A JP2020175790 A JP 2020175790A JP 2019079734 A JP2019079734 A JP 2019079734A JP 2019079734 A JP2019079734 A JP 2019079734A JP 2020175790 A JP2020175790 A JP 2020175790A
Authority
JP
Japan
Prior art keywords
passenger
unit
audio
audio control
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019079734A
Other languages
English (en)
Other versions
JP7031998B2 (ja
Inventor
瞭 平松
Ryo Hiramatsu
瞭 平松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2019079734A priority Critical patent/JP7031998B2/ja
Priority to US16/820,994 priority patent/US10976993B2/en
Priority to DE102020203555.5A priority patent/DE102020203555A1/de
Publication of JP2020175790A publication Critical patent/JP2020175790A/ja
Application granted granted Critical
Publication of JP7031998B2 publication Critical patent/JP7031998B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0217Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for loud-speakers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01Aspects of volume control, not necessarily automatic, in sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】搭乗者の状態に対する判断漏れを抑えて適宜にオーディオ部の音量を制御する。【解決手段】オーディオ制御システム1が、車両C1の車室CR1に設置されるオーディオ部11と、車室CR1における前方側基準位置から車室CR1を撮影し、当該車室CR1の撮影範囲内の対象物までの距離も表す撮影画像を得る撮影部12と、撮影部12で得られる撮影画像に基づいて、車両C1における運転者以外の搭乗者Y1が睡眠中であるか否か、及び、当該搭乗者Y1が携帯電話で通話中であるか否か、のうちの少なくとも一方を判断する判断部14と、判断部14で搭乗者Y1が睡眠中又は通話中であると判断された場合にオーディオ部11の音量を下げる制御部15と、を備えたことを特徴とする。【選択図】図1

Description

本発明は、車両における車室に設置されたオーディオ部の音量を制御するオーディオ制御システム及びオーディオ制御方法に関するものである。
車両では、助手席や後席の搭乗者が眠っている等というように、車室に設置されたオーディオ部の音量を適宜に下げた方が好ましいケースがある。
そこで、車室の内部の撮影画像に基づいて搭乗者が睡眠中であるか否かを判断し、その判断結果に基づいてオーディオ部の音量を適宜に下げる技術が提案されている(例えば、特許文献1参照。)。これによれば、オーディオ部の音量を、搭乗者の睡眠を妨げないようなレベルに自動的に設定することができる。
特開平9−83277号公報
ここで、上記の技術では、車室カメラで撮影された2次元的な撮影画像に基づいて搭乗者の状態が判断されている。しかしながら、このような技術では、例えば睡眠中の搭乗者の頭部が左右や上下には殆ど動かず前後に動いている場合等のように、睡眠中との判断から漏れてしまう場合があり、搭乗者の状態に対する判断漏れを抑制する観点から改善の余地がある。
従って、本発明は、上記のような問題に着目し、搭乗者の状態に対する判断漏れを抑えて適宜にオーディオ部の音量を制御することができるオーディオ制御システム及びオーディオ制御方法を提供することを目的とする。
上記課題を解決するために、本発明のオーディオ制御システムは、車両の車室に設置されるオーディオ部と、前記車室における前方側基準位置から前記車室を撮影し、当該車室の撮影範囲内の対象物までの距離も表す撮影画像を得る撮影部と、前記撮影部で得られる前記撮影画像に基づいて、前記車両における運転者以外の搭乗者が睡眠中であるか否か、及び、当該搭乗者が携帯電話で通話中であるか否か、のうちの少なくとも一方を判断する判断部と、前記判断部で前記搭乗者が睡眠中又は通話中であると判断された場合に前記オーディオ部の音量を下げる制御部と、を備えたことを特徴とする。
また、上記課題を解決するために、本発明のオーディオ制御方法は、車両の車室における前方側基準位置から前記車室を撮影し、当該車室の撮影範囲内の対象物までの距離も表す撮影画像を得る撮影工程と、前記撮影工程で得られる前記撮影画像に基づいて、前記車両における運転者以外の搭乗者が睡眠中であるか否か、及び、当該搭乗者が携帯電話で通話中であるか否か、のうちの少なくとも一方を判断する判断工程と、前記判断工程で前記搭乗者が睡眠中又は通話中であると判断された場合に、前記車室に設置されるオーディオ部の音量を下げる制御工程と、を備えたことを特徴とする。
本発明のオーディオ制御システムやオーディオ制御方法によれば、撮影によって撮影範囲内の対象物までの距離も表す撮影画像、即ち、左右や上下のみならず前後の情報も含んだ3次元的な撮影画像が得られる。従って、睡眠中や通話中といった搭乗者の状態に対する判断では、搭乗者の各部の前後の動きについても判断の材料となるので、判断漏れを抑えることができる。そして、このように判断漏れを抑えた上での判断結果に応じてオーディオ部の音量が適宜に下げられる。即ち、本発明のオーディオ制御システムやオーディオ制御方法によれば、搭乗者の状態に対する判断漏れを抑えて適宜にオーディオ部の音量を制御することができる。
オーディオ制御システムの一実施形態を示す模式図である。 図1に示されているオーディオ制御システムの模式的なブロック図である。 図1及び図2に示されているオーディオ制御システムで実行されるオーディオ制御方法における処理の流れを示すフローチャートである。 図1及び図2に示されるオーディオ制御システムや図3に示されるオーディオ制御方法で音量が下げられる第1のケース例について示す模式図である。 図1及び図2に示されるオーディオ制御システムや図3に示されるオーディオ制御方法で音量が下げられる第2のケース例について示す模式図である。 図1及び図2に示されるオーディオ制御システムや図3に示されるオーディオ制御方法で音量が下げられる第3のケース例について示す模式図である。 図1及び図2に示されるオーディオ制御システムや図3に示されるオーディオ制御方法で音量が下げられる第4のケース例について示す模式図である。
以下、オーディオ制御システム及びオーディオ制御方法の一実施形態について説明する。
図1は、オーディオ制御システムの一実施形態を示す模式図である。また、図2は、図1に示されているオーディオ制御システムの模式的なブロック図である。
本実施形態におけるオーディオ制御システム1は、車両C1における車室CR1に設置されたオーディオ部11の音量を制御するものである。このオーディオ制御システム1は、オーディオ部11と、撮影部12と、走行取得部13と、判断部14と、制御部15と、を備えている。
オーディオ部11は、車両C1の車室CR1に設置され音楽等を発生させる機器であり、車室CR1の前席SH1側に2箇所、後席SH2側に2箇所、合計で4箇所に設置されている。
撮影部12は、車室CR1における前方側基準位置から車室CR1の内部を撮影し、当該車室CR1の撮影範囲内の対象物までの距離も表す撮影画像を得る。撮影部12は、車室CR1が暗い場合でも撮影が可能なように、赤外線を照射する照射部121と、赤外線領域の画像を撮影可能なカメラ122と、を備えたものとなっている。カメラ122としては、ここでは特定しないが、ステレオカメラやTOF(Time-of-Flight)カメラ等といった測距機能を有する従来公知のカメラ等が一例として採用可能である。
また、カメラ122は、前席SH1に座る前席搭乗者Y11と後席SH2に座る後席搭乗者Y12の両方が撮影範囲に入るように、フロントガラスFG1の上縁近傍に設置されている。この設置位置が、本実施形態における前方側基準位置に相当する。そして、照射部121は、カメラ122の撮影範囲を十分にカバーできるように、このカメラ122に取り付けられている。
走行取得部13は、車両C1におけるハンドル操作及びブレーキ操作の少なくとも一方に基づく車両C1の走行状態を取得する。ここにいう走行状態とは、ハンドル操作に応じた車両C1のカーブ走行、ブレーキ操作に応じた減速/停止と加速/発進等のことである。尚、本実施形態では、この走行取得部13が、車両C1の状態を取得するための装置として一般的に搭載されているものを利用したものとなっている。
判断部14は、撮影部12での撮影画像に基づいて、前席搭乗者Y11や後席搭乗者Y12といった車両C1の搭乗者Y1のうち運転者以外の搭乗者Y1が睡眠中であるか否か、及び、当該搭乗者Y1が携帯電話で通話中であるか否か、を判断する。
判断部14は、搭乗者Y1が睡眠中であるか否かについて次の2通りの判断を行う。1つ目の判断は、撮影画像に捉えられた搭乗者Y1について、走行取得部13で取得される走行状態と、予め定められた程度以上に同期した頭部の動きが検出された場合、搭乗者Y1が睡眠中であると判断するというものである。2つ目の判断は、撮影画像に捉えられた搭乗者Y1について瞼を閉じた状態が予め定められた時間に亘って継続して検出された場合、搭乗者Y1が睡眠中であると判断するというものである。
また、判断部14は、搭乗者Y1が携帯電話で通話中であるか否かについて次の判断を行う。即ち、判断部14は、撮影画像に捉えられた搭乗者Yについて手を側頭部に当てる姿勢が予め定められた時間に亘って継続して検出された場合、この搭乗者Y1が通話中であると判断する。
制御部15は、判断部14での判断結果に基づいて、オーディオ部11の音量を制御する。即ち、制御部15は、判断部14で搭乗者Y1が睡眠中又は通話中であると判断された場合に、その搭乗者Y1の近傍のオーディオ部11の音量を閾値未満に下げる。
以上に説明したオーディオ制御システム1の構成要素のうち、判断部14及び制御部15は、車両C1に搭載されたECU(Electronic Control Unit)に構築された機能ブロックとなっている。また、走行取得部13は、ハンドル機構やブレーキ機構に取付けられた動作検知部と、その検知結果に基づいて走行状態を把握する、ECUに機能ブロックとして構築された状態把握部と、を備えている。
次に、このオーディオ制御システム1で実行されるオーディオ制御方法について説明する。
図3は、図1及び図2に示されているオーディオ制御システムで実行されるオーディオ制御方法における処理の流れを示すフローチャートである。
この図3に示されているオーディオ制御方法は、車両C1のECUに電源が投入されるとスタートする。処理がスタートすると、撮影部12の照射部121による赤外線の照射(ステップS101)と、その照射の下でのカメラ122による撮影(ステップS102)と、走行取得部13による走行状態の取得(ステップS103)と、が実行される。ステップS101,S102の処理が、車両C1の車室CR1における前方側基準位置から車室CR1を撮影し、車室CR1の対象物までの距離も表す撮影画像を得る撮影工程の一例に相当する。また、ステップS103の処理が、車両C1におけるハンドル操作及びブレーキ操作の少なくとも一方に基づく車両C1の走行状態を取得する走行取得工程の一例に相当する。
次に、瞼を閉じた状態が撮影画像から所定時間に亘って継続して検出された搭乗者Y1が運転者以外に居るか否かが、判断部14によって判断される(ステップS104)。このような搭乗者Y1がいないと判断された場合(ステップS104のNo判定)、処理がステップS105に進み、判断部14によって次のような判断が行われる。即ち、ステップS105の処理では、走行取得部13で取得される走行状態と予め定められた程度以上に同期した頭部の動きが撮影画像から検出された搭乗者Y1が運転者以外に居るか否かが、判断部14によって判断される。搭乗者Y1の頭部の動きと走行状態とが予め定められた程度以上に同期しているか否かは、頭部の左右、上下、前後の何れの方向の動きであっても、走行状態と同期した動きが所定回数を超えて撮影画像に捉えられたか否かによって判断される。
頭部がこのように同期して動いた搭乗者Y1がいないと判断された場合(ステップS105のNo判定)、処理がステップS106に進み、判断部14によって次のような判断が行われる。即ち、手を側頭部に当てる姿勢が撮影画像から所定時間に亘って継続して検出された搭乗者Y1が運転者以外に居るか否かが、判断部14によって判断される。
このような動きをした搭乗者Y1がいないと判断された場合(ステップS106のNo判定)、オーディオ部11の音量が下げられることなく処理がステップS101に戻って以降の処理が繰り返される。
他方、ステップS104〜S106の何れかの判断に該当する搭乗者Y1が居た場合(ステップS104〜S106何れかのYes判定)、処理がステップS107に進み、制御部15によって次のような判断が行われる。即ち、4箇所のオーディオ部11のうち当該搭乗者Y1の近傍のオーディオ部11における音量の設定値が、所定の閾値以上となっているか否かが制御部15によって判断される。ここでの閾値が、経験的に運転者以外の搭乗者Y1の睡眠や通話を妨げない音量の上限値となっている。
ステップS104〜S106の処理が、撮影画像に基づいて、運転者以外の搭乗者Y11が睡眠中であるか否か、及び、当該搭乗者Y1が携帯電話で通話中であるか否か、を判断する判断工程の一例に相当する。
音量の設定値がこの閾値未満だった場合(ステップS107のNo判定)、オーディオ部11の音量が下げられることなく処理がステップS101に戻って以降の処理が繰り返される。他方で、音量の設定値が閾値以上だった場合(ステップS107のYes判定)、制御部15が、該当するオーディオ部11における音量の設定値を、この閾値未満に予め定められた低減音量値まで下げる(ステップS108)。その後は、処理がステップS101に戻って以降の処理が繰り返される。ステップS107,S108の処理が、搭乗者Y1が睡眠中又は通話中であると判断された場合に、車室CR1に設置されるオーディオ部11の音量を下げる制御工程の一例に相当する。
図4は、図1及び図2に示されるオーディオ制御システムや図3に示されるオーディオ制御方法で音量が下げられる第1のケース例について示す模式図である。
図4に示されている第1のケース例では、3人の搭乗者Y1が示されており、前席SH1のうちの運転席SH11に運転者Y111が座り、助手席SH12に助手席搭乗者Y112が座り、後席SH2に後席搭乗者Y12が座っている。この例では、助手席搭乗者Y112が瞼を閉じており、このような状態が所定時間に亘って継続して検出されると睡眠中と判断される。このとき、4箇所のオーディオ部11のうち助手席搭乗者Y112の近傍のオーディオ部111における音量の設定値が上記の閾値以上であった場合に、その音量がこの閾値未満の低減音量値まで下げられる。
図5は、図1及び図2に示されるオーディオ制御システムや図3に示されるオーディオ制御方法で音量が下げられる第2のケース例について示す模式図である。
図5に示されている第2のケース例でも、運転者Y111以外の搭乗者Y1のうちの助手席搭乗者Y112が睡眠中と判断される。第2のケース例では、車両C1の前後について、例えばブレーキ操作等による減速と加速等といった走行状態に同期して助手席搭乗者Y112の頭部が動いている。このような頭部の動きが撮影画像から所定回数を超えて検出されると、助手席搭乗者Y112が睡眠中と判断される。そして、4箇所のオーディオ部11のうち助手席搭乗者Y112の近傍のオーディオ部111における音量の設定値が上記の閾値以上であった場合に、その音量がこの閾値未満の低減音量値まで下げられる。
図6は、図1及び図2に示されるオーディオ制御システムや図3に示されるオーディオ制御方法で音量が下げられる第3のケース例について示す模式図である。
図6に示されている第3のケース例でも、運転者Y111以外の搭乗者Y1のうちの助手席搭乗者Y112が睡眠中と判断される。第3のケース例では、車両C1の車幅方向に当る左右について、例えばハンドル操作等によるカーブ走行等といった走行状態に同期して助手席搭乗者Y112の頭部が動いている。このような頭部の動きが撮影画像から所定回数を超えて検出されると、助手席搭乗者Y112が睡眠中と判断される。そして、4箇所のオーディオ部11のうち助手席搭乗者Y112の近傍のオーディオ部111における音量の設定値が上記の閾値以上であった場合に、その音量がこの閾値未満の低減音量値まで下げられる。
図7は、図1及び図2に示されるオーディオ制御システムや図3に示されるオーディオ制御方法で音量が下げられる第4のケース例について示す模式図である。
図7に示されている第4のケース例では、運転者Y111以外の搭乗者Y1のうちの後席搭乗者Y12が携帯電話で通話中と判断される。第4のケース例では、後席搭乗者Y12の姿勢が、手を側頭部に当てる姿勢となっている。このような姿勢が撮影画像から所定時間に亘って継続して検出されると、後席搭乗者Y12が通話中と判断される。そして、4箇所のオーディオ部11のうちこの後席搭乗者Y12の近傍のオーディオ部112における音量の設定値が上記の閾値以上であった場合に、その音量がこの閾値未満の低減音量値まで下げられる。
以上に説明した実施形態のオーディオ制御システム1及びオーディオ制御方法によれば、撮影によって撮影範囲内の対象物までの距離も表す撮影画像、即ち、左右や上下のみならず前後の情報も含んだ3次元的な撮影画像が得られる。従って、睡眠中や通話中といった搭乗者Y1の状態に対する判断では、搭乗者Y1の各部の前後の動きについても判断の材料となるので、判断漏れを抑えることができる。そして、このように判断漏れを抑えた上での判断結果に応じてオーディオ部11の音量が適宜に下げられる。即ち、本実施形態によれば、搭乗者Y1の状態に対する判断漏れを抑えて適宜にオーディオ部11の音量を制御することができる。
ここで、本実施形態では、ハンドル操作及びブレーキ操作の少なくとも一方に基づく車両C1の走行状態を取得する走行取得部13が設けられている。そして、判断部14が、撮影画像に捉えられた搭乗者Y1について、走行状態と、予め定められた程度以上に同期した頭部の動きが検出された場合に、この搭乗者Y1が睡眠中であると判断する。このような判断において、睡眠中の搭乗者Y1に特有の、走行状態に同期した不作為の頭部の動きに基づいて睡眠中であるか否かの判断が行われるので、この睡眠中の判断についての判断漏れを効果的に抑えることができる。
また、本実施形態によれば、瞼の状態に応じても搭乗者Y1の睡眠中の判断が行われるので、頭部が殆ど動いていないような場合であっても、睡眠中の判断についての判断漏れを効果的に抑えることができる。
また、本実施形態によれば、通話中の搭乗者Y1に特有の、手を側頭部に所定時間に亘って継続して当てる姿勢に基づいて通話中であるか否かの判断が行われるので、この通話中の判断についても判断漏れを効果的に抑えることができる。
また、本実施形態では、撮影部12が、赤外線を照射する照射部121と、赤外線領域の画像を撮影可能なカメラ122と、を備えている。このような撮影装置によれば、車室CR1が暗い場合であっても、赤外線領域の画像が撮影されるので、搭乗者の状態を更に正確に判断することができる。
尚、以上に説明した実施形態はオーディオ制御システム及びオーディオ制御方法の代表的な形態を示したに過ぎず、オーディオ制御システム及びオーディオ制御方法は、これに限定されるものではなく種々変形して実施することができる。
例えば、上述した実施形態では、車室CR1の前席SH1側に2箇所、後席SH2側に2箇所、合計で4箇所にオーディオ部11が設置されたオーディオ制御システム1が例示されている。また、カメラ122がフロントガラスFG1の上縁近傍を前方側基準位置として設置され、照射部121がこのカメラ122に取り付けられた撮影部12が例示されている。しかしながら、これらの各構成要素の設置位置は、上記の実施形態の設置位置に限るものではなく、各構成要素に要求される性能を満たす位置であれば、その具体的な設置位置を問うものではない。
また、上述した実施形態では、車両C1に搭載されたECUに構築された判断部14及び制御部15と、その機能の一部がECUに構築された走行取得部13が例示されている。しかしながら、これらの構成要素の全部又は一部の構築場所はECUに限るものではなく、ECUとは別に車両C1に搭載されたコンピュータ装置等であってもよい。
また、上述した実施形態では、オーディオ部11の音量制御のトリガとするために睡眠中及び通話中の判断の両方を行う形態が例示されている。しかしながら、オーディオ部11の音量制御のトリガとなる判断は、このような判断に限るものではなく、睡眠中であるか否か、及び、携帯電話で通話中であるか否か、のうちの少なくとも一方を判断するものであればよい。
また、上述した実施形態では、睡眠中及び通話中の判断が、図3のフローチャートのステップS104〜S106に示されているように、瞼の状態による睡眠中判断、頭部の動きによる睡眠中判断、手の動きによる通話中判断の順で行われる形態が例示されている。しかしながら、睡眠中及び通話中の判断の順番はこれに限るものではなく、本実施形態のように複数の判断を組み合わせて行う場合であっても、その判断の順番は任意に設定し得るものである。
また、上述した実施形態では、搭乗者Y1について、走行取得部13で取得される走行状態と、予め定められた程度以上に同期した頭部の動きが検出された場合に、この搭乗者Y1が睡眠中であると判断するオーディオ制御システム1やオーディオ制御方法が例示されている。また、本実施形態では、搭乗者Y1について瞼を閉じた状態が予め定められた時間に亘って継続して検出された場合、この搭乗者Y1が睡眠中であると判断することにもなっている。しかしながら、オーディオ制御システムやオーディオ制御方法は、これに限るものではなく、撮影画像に基づいて搭乗者Y1が睡眠中であるか否かを判断する場合であっても、その具体的な判断手法を問うものではない。ただし、上記のような睡眠中の搭乗者に特有の状態を捉える手法によれば、睡眠中の判断についての判断漏れを効果的に抑えることができる点は上述した通りである。
また、上述した実施形態では、搭乗者Y1について手を側頭部に当てる姿勢が所定時間に亘って継続して検出された場合に、この搭乗者Y1が通話中であると判断するオーディオ制御システム1やオーディオ制御方法が例示されている。しかしながら、オーディオ制御システムやオーディオ制御方法は、これに限るものではなく、撮影画像に基づいて搭乗者Y1が携帯電話で通話中であるか否かを判断する場合であっても、その具体的な判断手法を問うものではない。ただし、上記のような携帯電話で通話中の搭乗者に特有の状態を捉える手法によれば、通話中の判断についての判断漏れを効果的に抑えることができる点も上述した通りである。
また、上述した実施形態では、赤外線を照射し、赤外線領域の画像を撮影して撮影画像を得るオーディオ制御システム1やオーディオ制御方法が例示されている。しかしながら、オーディオ制御システムやオーディオ制御方法は、これに限るものではなく、可視光領域の画像のみを撮影することとしてもよい。ただし、赤外線領域の画像を撮影することで、車室が暗い場合であっても搭乗者Y1の状態を更に正確に判断することができる点も上述した通りである。
1 オーディオ制御システム
11 オーディオ部
12 撮影部
13 走行取得部
14 判断部
15 制御部
121 照射部
122 カメラ
C1 車両
CR1 車室
SH1 前席
SH2 後席
Y1 搭乗者
Y111 運転者
Y112 助手席搭乗者
Y12 後席搭乗者

Claims (6)

  1. 車両の車室に設置されるオーディオ部と、
    前記車室における前方側基準位置から前記車室を撮影し、当該車室の撮影範囲内の対象物までの距離も表す撮影画像を得る撮影部と、
    前記撮影部で得られる前記撮影画像に基づいて、前記車両における運転者以外の搭乗者が睡眠中であるか否か、及び、当該搭乗者が携帯電話で通話中であるか否か、のうちの少なくとも一方を判断する判断部と、
    前記判断部で前記搭乗者が睡眠中又は通話中であると判断された場合に前記オーディオ部の音量を下げる制御部と、
    を備えたことを特徴とするオーディオ制御システム。
  2. 前記車両におけるハンドル操作及びブレーキ操作の少なくとも一方に基づく前記車両の走行状態を取得する走行取得部を備え、
    前記判断部が、前記撮影画像に捉えられた前記搭乗者について、前記走行取得部で取得される走行状態と、予め定められた程度以上に同期した頭部の動きが検出された場合、前記搭乗者が睡眠中であると判断することを特徴とする請求項1に記載のオーディオ制御システム。
  3. 前記判断部が、前記撮影画像に捉えられた前記搭乗者について瞼を閉じた状態が予め定められた時間に亘って継続して検出された場合、前記搭乗者が睡眠中であると判断することを特徴とする請求項1に記載のオーディオ制御システム。
  4. 前記判断部が、前記撮影画像に捉えられた前記搭乗者について手を側頭部に当てる姿勢が予め定められた時間に亘って継続して検出された場合、前記搭乗者が通話中であると判断することを特徴とする請求項1〜3のうち何れか一項に記載のオーディオ制御システム。
  5. 前記撮影部が、
    赤外線を照射する照射部と、
    赤外線領域の画像を撮影可能なカメラと、
    を備えていることを特徴とする請求項1〜4のうち何れか一項に記載のオーディオ制御システム。
  6. 車両の車室における前方側基準位置から前記車室を撮影し、当該車室の撮影範囲内の対象物までの距離も表す撮影画像を得る撮影工程と、
    前記撮影工程で得られる前記撮影画像に基づいて、前記車両における運転者以外の搭乗者が睡眠中であるか否か、及び、当該搭乗者が携帯電話で通話中であるか否か、のうちの少なくとも一方を判断する判断工程と、
    前記判断工程で前記搭乗者が睡眠中又は通話中であると判断された場合に、前記車室に設置されるオーディオ部の音量を下げる制御工程と、
    を備えたことを特徴とするオーディオ制御方法。
JP2019079734A 2019-04-19 2019-04-19 オーディオ制御システム及びオーディオ制御方法 Active JP7031998B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019079734A JP7031998B2 (ja) 2019-04-19 2019-04-19 オーディオ制御システム及びオーディオ制御方法
US16/820,994 US10976993B2 (en) 2019-04-19 2020-03-17 Audio control system and audio control method
DE102020203555.5A DE102020203555A1 (de) 2019-04-19 2020-03-19 Audiosteuersystem und audiosteuerverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019079734A JP7031998B2 (ja) 2019-04-19 2019-04-19 オーディオ制御システム及びオーディオ制御方法

Publications (2)

Publication Number Publication Date
JP2020175790A true JP2020175790A (ja) 2020-10-29
JP7031998B2 JP7031998B2 (ja) 2022-03-08

Family

ID=72660199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019079734A Active JP7031998B2 (ja) 2019-04-19 2019-04-19 オーディオ制御システム及びオーディオ制御方法

Country Status (3)

Country Link
US (1) US10976993B2 (ja)
JP (1) JP7031998B2 (ja)
DE (1) DE102020203555A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112397084A (zh) * 2020-11-04 2021-02-23 佛吉亚歌乐电子(丰城)有限公司 自适应调整多媒体音量方法、车载终端及计算机存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230040165A (ko) * 2021-09-15 2023-03-22 현대자동차주식회사 차량 제어 장치 그 제어 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0983277A (ja) * 1995-09-18 1997-03-28 Fujitsu Ten Ltd 音量調整装置
JP2010111367A (ja) * 2008-11-10 2010-05-20 Panasonic Electric Works Co Ltd 乗員監視装置
JP2012025270A (ja) * 2010-07-23 2012-02-09 Denso Corp 車両用の音量制御装置および音量制御装置用のプログラム
JP2016012277A (ja) * 2014-06-30 2016-01-21 株式会社リコー 車両用通信装置、通信システム
JP2018083561A (ja) * 2016-11-25 2018-05-31 アイシン精機株式会社 乗員情報検出装置およびプログラム
JP2019006331A (ja) * 2017-06-28 2019-01-17 矢崎総業株式会社 車両ルーフ搭載システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129505B2 (en) * 1995-06-07 2015-09-08 American Vehicular Sciences Llc Driver fatigue monitoring system and method
JP3316725B2 (ja) * 1995-07-06 2002-08-19 三菱電機株式会社 顔画像撮像装置
JP2004067031A (ja) * 2002-08-08 2004-03-04 Nissan Motor Co Ltd 操作者判別装置およびこれを用いた車載装置
JP4059224B2 (ja) * 2004-04-13 2008-03-12 株式会社デンソー 運転者の外観認識システム
FR3030386B1 (fr) * 2014-12-22 2018-03-23 Autoliv Development Ab Module d'asistance de volant de vehicule
US10946716B2 (en) * 2016-02-21 2021-03-16 Eric Ireri Vehicle temperature sensor systems
WO2017158758A1 (ja) * 2016-03-16 2017-09-21 三菱電機株式会社 車載装置、居眠り運転防止方法及び居眠り運転防止プログラム
CN110178104A (zh) * 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的系统和方法
US20190357834A1 (en) * 2017-02-10 2019-11-28 Koninklijke Philips N.V. Driver and passenger health and sleep interaction
US10572745B2 (en) * 2017-11-11 2020-02-25 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
US10978039B2 (en) * 2018-05-18 2021-04-13 Oshkosh Corporation In-seat sound suppression
US10754545B2 (en) * 2018-09-25 2020-08-25 Panasonic Avionics Corporation Display device with an auxiliary segment for a seat device of a transportation vehicle and associated methods thereof
US11067985B2 (en) * 2018-11-07 2021-07-20 International Business Machines Corporation Alterations in self-driving vehicle behavior based on passenger time needs and calendar
MX2021002808A (es) * 2018-11-09 2021-08-11 Beijing Didi Infinity Technology & Dev Co Ltd Sistema y método para detectar conflictos dentro de un vehículo.

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0983277A (ja) * 1995-09-18 1997-03-28 Fujitsu Ten Ltd 音量調整装置
JP2010111367A (ja) * 2008-11-10 2010-05-20 Panasonic Electric Works Co Ltd 乗員監視装置
JP2012025270A (ja) * 2010-07-23 2012-02-09 Denso Corp 車両用の音量制御装置および音量制御装置用のプログラム
JP2016012277A (ja) * 2014-06-30 2016-01-21 株式会社リコー 車両用通信装置、通信システム
JP2018083561A (ja) * 2016-11-25 2018-05-31 アイシン精機株式会社 乗員情報検出装置およびプログラム
JP2019006331A (ja) * 2017-06-28 2019-01-17 矢崎総業株式会社 車両ルーフ搭載システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112397084A (zh) * 2020-11-04 2021-02-23 佛吉亚歌乐电子(丰城)有限公司 自适应调整多媒体音量方法、车载终端及计算机存储介质
CN112397084B (zh) * 2020-11-04 2022-12-06 佛吉亚歌乐电子(丰城)有限公司 自适应调整多媒体音量方法、车载终端及计算机存储介质

Also Published As

Publication number Publication date
US10976993B2 (en) 2021-04-13
US20200334002A1 (en) 2020-10-22
DE102020203555A1 (de) 2020-10-22
JP7031998B2 (ja) 2022-03-08

Similar Documents

Publication Publication Date Title
JP4623501B2 (ja) 検知システム、報知装置、駆動装置、車両
JP4210696B2 (ja) 座席コンポーネントを調節するための装置
US20170334353A1 (en) Parking Assistance System
CN114290963B (zh) 一种车辆的座椅调节方法、装置及车辆
JP2005526971A (ja) 車両安全装置
JP7031998B2 (ja) オーディオ制御システム及びオーディオ制御方法
JP2008129948A (ja) 乗員検出装置、作動装置制御システム、シートベルトシステム、車両
JP2008002838A (ja) 車両乗員検出システム、作動装置制御システム、車両
JP2009149263A (ja) 乗物用シート装置
JP7338397B2 (ja) 車両制御装置
JP2010149767A (ja) 車両の乗客監視装置
JP2008081071A (ja) 車両用ミラー位置調整装置
JP5368771B2 (ja) 乗員監視装置
JP2015169980A (ja) 運転監視装置
JP2020172218A (ja) 空調制御システム及び空調制御方法
CN110949303A (zh) 车辆的乘员监视装置以及乘员保护系统
GB2525039A (en) An audio-visual communications system integrated into a vehicle
CN109334517A (zh) 一种汽车座椅位置的方法和装置
KR20120024225A (ko) 영상 정보를 이용한 탑승자 신체조건에 적응하는 자동차시트 자동조절시스템
JP7109866B2 (ja) 照明制御システム及び照明制御方法
JP2016030478A (ja) 車内情報処理装置、車内情報処理方法、プログラム、及びカメラ
JP2014159220A (ja) シート装置及び車両用シート装置
JP2022105596A (ja) 乗員保護システム
JP7279621B2 (ja) 車両
JP2020172217A (ja) 照明制御システム及び照明制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210623

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220119

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220119

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220126

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220222

R150 Certificate of patent or registration of utility model

Ref document number: 7031998

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350