JP2022054821A - 動画編集装置 - Google Patents

動画編集装置 Download PDF

Info

Publication number
JP2022054821A
JP2022054821A JP2020162048A JP2020162048A JP2022054821A JP 2022054821 A JP2022054821 A JP 2022054821A JP 2020162048 A JP2020162048 A JP 2020162048A JP 2020162048 A JP2020162048 A JP 2020162048A JP 2022054821 A JP2022054821 A JP 2022054821A
Authority
JP
Japan
Prior art keywords
moving image
highlight
driver
vehicle
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020162048A
Other languages
English (en)
Inventor
誠一 伊藤
Seiichi Ito
雅 岡村
Masa Okamura
貴史 前田
Takashi Maeda
優史 古川
Yuji Furukawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2020162048A priority Critical patent/JP2022054821A/ja
Priority to CN202110696484.8A priority patent/CN114286151A/zh
Priority to EP21197149.4A priority patent/EP3975182A1/en
Priority to US17/480,160 priority patent/US20220101884A1/en
Publication of JP2022054821A publication Critical patent/JP2022054821A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/36—Monitoring, i.e. supervising the progress of recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】人との交流以外の要素が体験に与えた影響を示す第１作用度及び人との交流が体験に与えた影響を示す第２作用度に基づき、移動体において撮像された動画を適切に編集する。【解決手段】動画編集装置としての管理装置３０は、車両１での移動中において車内カメラ１ａ及び車外カメラ１ｂによって撮像された動画を取得し、車両１での移動中における、運転者による運転状態情報及び運転者や同乗者の感情状態に関連する感情状態関連情報を取得し、運転状態情報及び感情状態関連情報に基づき、人との交流以外の要素が運転者や同乗者の体験に与えた影響を示す第１作用度、及び人との交流が運転者や同乗者の体験に与えた影響を示す第２作用度を判定し、第１作用度及び第２作用度に基づき動画中の複数のハイライト部分を特定し、複数のハイライト部分に基づき動画を編集する。【選択図】図５

Description

本発明は、移動体において撮像された動画を編集する動画編集装置に関する。
従来から、車両などの移動体で撮像された動画を編集する技術が知られている。例えば、特許文献１には、車両の走行中に外界を撮像した動画を、走行中に検出された危険度の大きさに基づいて編集する技術が開示されている。他方で、動画の編集方法として、ユーザの感情状態に基づいて動画を編集する技術が知られている。例えば、特許文献２には、ユーザがビデオコンテンツを視聴しているときの感情状態の変化に基づいて、このビデオコンテンツ中の画像フレーム群を抽出して、新たなビデオコンテンツを生成する技術が開示されている。
特開２０１１－２１７１１６号公報 特開２０１８－４２２４０号公報
ところで、本発明者は、ある「モノ」に関わるユーザの楽しみ方には、２種類のパターンがあることを見出した。１つ目のパターンは、「モノ」に関する知識やスキル等の自己研鑽を繰り返し行うことにより、「モノ」からの作用（すなわち、刺激）を受けて、ユーザが自己成長するパターンである（以下、「αサイクル」という）。２つ目のパターンは、「モノ」を介して「ヒト」と関わり合い、「ヒト」とコミュニケーションを介して相互作用を受けて、集団活動を楽しむパターンである（以下、「βサイクル」という）。なお、本明細書において、「モノ」は実在物（例えば、カメラ、車両、建造物、景色等）や非実在物（例えば、スポーツ、映画等）を含む概念であり、さらには「ヒト」以外の存在を含む概念である。
αサイクルは、ユーザの自己成長を大きく促すが、ユーザが個人的に楽しむサイクルである。したがって、αサイクルにおけるユーザの活動は、他の「ヒト」との関わり合いがあるとしても、同じような個人的趣味を持つ小さな集団（同質なユーザの小さな集団）内での活動に留まり易い。一方、βサイクルは、ユーザの自己成長を大きく促すものではないかもしれないが、他の多くのユーザと相互作用を及ぼすサイクルである。したがって、βサイクルにおけるユーザの活動は、同質なユーザの小さな集団に留まらず、種々のユーザが混ざり合って大きな集団内での活動に広がり易い。
αサイクル及びβサイクルの一方を行っていたユーザが、一方の活動に加えて他方の活動を行うと、そのユーザは、新たな知見や楽しみを得ることができる。よって、本発明者は、αサイクルとβサイクルを連結させ循環を促すことにより、ある「モノ」に関するユーザの楽しみをより豊かにし、さらには人生の質を高めることができるという考えに至った。すなわち、増加した楽しみが、人生をより豊かにしていく。
特に、本発明者は、上記のようなαサイクル及びβサイクルの観点から、移動体において撮像された動画を編集できれば良いと考えた。詳しくは、本発明者は、移動体でのドライブ体験に内在する「モノ」からの作用及び「ヒト」からの作用（それぞれ、人との交流以外の要素が体験に与えた影響を示す第１作用度及び人との交流が体験に与えた影響を示す第２作用度に対応する）をユーザに与えるように動画を編集すれば、移動体を通じた経験及び体験の広がりを促進することができると考えた。
本発明は、上記課題を解決するためになされたものであり、人との交流以外の要素が体験に与えた影響を示す第１作用度及び人との交流が体験に与えた影響を示す第２作用度に基づき、移動体において撮像された動画を適切に編集することができる動画編集装置を提供することを目的としている。
上記の目的を達成するために、本発明は、動画編集装置であって、移動体での移動中において移動体の外部及び室内を撮像する複数のカメラによって撮像された動画を取得し、移動体での移動中における、運転者による移動体の運転状態を示す運転状態情報、及び移動体の運転者及び／又は同乗者の感情状態に関連する感情状態関連情報を取得し、取得された運転状態情報及び感情状態関連情報に基づき、人との交流以外の要素が運転者及び／又は同乗者の体験に与えた影響を示す第１作用度、及び人との交流が運転者及び／又は同乗者の体験に与えた影響を示す第２作用度を判定し、判定された第１作用度及び第２作用度に基づき、動画中の複数のハイライト部分を特定し、特定された複数のハイライト部分に基づき動画を編集する、よう構成されている、ことを特徴とする。
このように構成された本発明によれば、人との交流以外の要素が移動体での移動中に運転者や同乗者の体験に与えた影響を示す第１作用度（「モノ」からの作用（αサイクル）に対応する）、及び人との交流が移動体での移動中に運転者や同乗者の体験に与えた影響を示す第２作用度（「ヒト」からの作用（βサイクル）に対応する）を考慮に入れて、移動体において撮像された動画を編集することができる。ユーザ（運転者や同乗者）は、こうして編集された動画を視聴することで、移動体でのドライブ体験に内在する「モノ」からの作用及び「ヒト」からの作用を振り返ることができる。よって、本発明によれば、移動体を通じた体験及び経験の広がりを促進することができる。
本発明において、好ましくは、動画において第１作用度が相対的に高い部分及び第２作用度が相対的に高い部分を複数のハイライト部分として特定し、動画の編集として、複数のハイライト部分の全て又はいずれか１つ以上のハイライト部分から成るハイライト動画の生成を行うよう構成されている。
このように構成された本発明によれば、第１作用度が相対的に高い部分及び第２作用度が相対的に高い部分をまとめたハイライト動画（要約動画）を適切に生成することができる。よって、ユーザは、このハイライト動画を視聴することで、ドライブ体験に内在する「モノ」からの作用及び「ヒト」からの作用の両方を確実に振り返ることができる。
本発明において、好ましくは、動画の編集として、動画において複数のハイライト部分のそれぞれの冒頭に対応する位置に動画を区切るためのチャプタの付与を行うよう構成されている。
このように構成された本発明によれば、ユーザは、動画に付与されたチャプタを選択することで、動画中のハイライト部分を速やかに視聴することができる。
本発明において、好ましくは、運転状態情報が、運転者が好ましい運転状態にあることを示しているときに、第１作用度が相対的に高いと判定して、このときに移動体の外部を撮像するカメラによって撮像された動画を、ハイライト部分として特定するよう構成されている。
このように構成された本発明によれば、運転者による運転状態に基づき、動画中において第１作用度が相対的に高い部分をハイライト部分として適切に特定することができる。
本発明において、好ましくは、感情状態関連情報が、運転者及び／又は同乗者の感情が移動体の外部からの刺激により活性していることを示しているときに、第１作用度が相対的に高いと判定して、このときに移動体の外部を撮像するカメラによって撮像された動画を、ハイライト部分として特定するよう構成されている。
このように構成された本発明によれば、移動体の外部からの刺激（風景など）による運転者や同乗者の感情に基づき、動画中において第１作用度が相対的に高い部分をハイライト部分として適切に特定することができる。
本発明において、好ましくは、感情状態関連情報が、運転者及び／又は同乗者の感情が移動体の室内でのコミュニケーションにより活性していることを示しているときに、第２作用度が相対的に高いと判定して、このときに移動体の室内を撮像するカメラによって撮像された動画を、ハイライト部分として特定するよう構成されている。
このように構成された本発明によれば、移動体の室内でのコミュニケーション（会話など）による運転者や同乗者の感情に基づき、動画中において第２作用度が相対的に高い部分をハイライト部分として適切に特定することができる。
本発明において、好ましくは、複数の編集モードを備え、この複数の編集モードの中からユーザによって選択された編集モードに応じて、複数のハイライト部分の中から１つ以上のハイライト部分を抽出し、この抽出されたハイライト部分から成るハイライト動画を生成するよう構成されている。
このように構成された本発明によれば、ユーザの嗜好に応じて編集されたハイライト動画を生成することができる。
本発明において、好ましくは、ユーザによって編集モードを選択させる前に、複数のハイライト部分の全てから成るハイライト動画をユーザに提供すべく、複数のハイライト部分の全てから成るハイライト動画を生成するよう構成されている。
このように構成された本発明によれば、ユーザは、最初に全てのハイライト部分を確認できるので、嗜好に応じた編集モードを的確に選択できるようになる。
本発明において、好ましくは、運転者が好ましい運転状態にあるときに、移動体の外部を撮像するカメラによって撮像された動画に対応するハイライト部分を、複数のハイライト部分の中から抽出して、ハイライト動画を生成するための編集モードを備える。
このように構成された本発明によれば、運転者が好ましい運転状態にあるときに撮像された、移動体の外部の動画から成るハイライト動画を、編集により適切に生成することができる。
本発明において、好ましくは、運転者及び／又は同乗者の感情が移動体の外部からの刺激により活性しているときに、移動体の外部を撮像するカメラによって撮像された動画に対応するハイライト部分を、複数のハイライト部分の中から抽出して、ハイライト動画を生成するための編集モードを備える。
このように構成された本発明によれば、運転者や同乗者の感情が移動体の外部からの刺激（風景など）により活性しているときに撮像された、移動体の外部の動画から成るハイライト動画を、編集により適切に生成することができる。
本発明において、好ましくは、運転者及び／又は同乗者の感情が移動体の室内でのコミュニケーションにより活性しているときに、移動体の室内を撮像するカメラによって撮像された動画に対応するハイライト部分を、複数のハイライト部分の中から抽出して、ハイライト動画を生成するための編集モードを備える。
このように構成された本発明によれば、運転者や同乗者の感情が移動体の室内でのコミュニケーション（会話など）により活性しているときに撮像された、移動体の室内の動画から成るハイライト動画を、編集により適切に生成することができる。
本発明の動画編集装置によれば、人との交流以外の要素が体験に与えた影響を示す第１作用度及び人との交流が体験に与えた影響を示す第２作用度に基づき、移動体において撮像された動画を編集することで、移動体を通じた体験及び経験の広がりを促進することができる。
本発明の実施形態による動画編集システムの構成図である。 本発明の実施形態に係る動画編集処理によるハイライト部分の特定方法の説明図である。 本発明の実施形態による第１～第４編集モード動画の一例を示す概略構成図である。 本発明の実施形態による第５編集モード動画の一例を示す概略構成図である。 本発明の実施形態による動画編集処理の処理フローである。
以下、添付図面を参照して、本発明の実施形態による動画編集装置について説明する。
［システム構成］
まず、図１を参照して、本発明の実施形態による動画編集装置が適用された動画編集システムの概略的な構成について説明する。図１は、動画編集システムの構成図である。本実施形態の動画編集システムＳは、移動体である車両１において撮像された動画を編集するシステムである。
図１に示すように、本実施形態の動画編集システムＳは、ユーザＡが有する車両１の制御装置１０と、ユーザＡが有する携帯端末２０と、管理センター３の管理装置（サーバ装置）３０とを備えており、これらは無線通信可能に構成されている。制御装置１０及び携帯端末２０と、管理装置３０とは、通信回線（インターネット回線）５を介して無線通信可能である。制御装置１０と携帯端末２０は、近距離無線通信技術（例えば、ブルートゥース（登録商標））により通信可能である。また、動画編集システムＳにおいて、複数の他のユーザＢ（例えば、Ｂ１，Ｂ２，Ｂ３）が有する車両１Ｂ及び携帯端末２０Ｂも管理装置３０と無線通信可能に接続されている。以下では、複数のユーザを代表して、ユーザＡに関して記載するが、この記載は他のユーザＢにも同様に当て嵌まる。
まず、車両１の制御装置１０は、プロセッサ１０ａ、メモリ１０ｂ、通信回路１０ｃ等を含むコンピュータ装置であり、メモリ１０ｂに記憶された種々のプログラムをプロセッサ１０ａが実行することにより処理を行うように構成されている。制御装置１０は、車両１に搭載された撮像装置１１，センサ装置１２，表示装置１４，及び入力装置１５と接続されている。プロセッサ１０ａは、撮像装置１１から受け取る画像データ，センサ装置１２から受け取る測定データ，及び入力装置１５から受け取る入力データをメモリ１０ｂに記憶する。また、プロセッサ１０ａは、画像データ，測定データ，入力データ及びこれらの処理データを、通信回路１０ｃを介して管理装置３０へ繰り返し送信する。また、プロセッサ１０ａは、管理装置３０から受信した制御信号に基づいて所定の処理を実行するようにプログラムされている。
撮像装置１１は、ビデオカメラであり、運転者（ユーザＡ）及び同乗者を撮像する車内カメラ１１ａと、車両１の外部を撮像する車外カメラ１１ｂを含む。車外カメラ１１ｂは、車両１の前方、後方、右側方、左側方を撮像する複数のビデオカメラを含む。
センサ装置１２は、車両状態を測定する車両センサと、搭乗者の生体情報を取得する生体センサとを含む。車両センサは、車両１の地球上の現在の位置（位置情報）を測定する測位装置（例えば、ＧＰＳ（Global Positioning System）やジャイロセンサを利用する），車速センサ，加速度センサ，舵角センサ，ヨーレートセンサ，その他のセンサ等を含む。
本実施形態では、制御装置１０は、センサ装置１２の加速度センサの出力に基づき、運転者による車両１の運転状態を判定する、特に運転者が好ましい運転状態（以下では「しなやかな運転状態」と呼ぶ。）にあるか否かを判定する。具体的には、制御装置１０は、車両１の加速度の変化量が相対的に大きい場合においては（発進時や停車時や旋回開始時や旋回終了時など）、加速度の変化量が所定値以上で且つ躍度（加速度の微分値）が所定値未満であるときに、運転者による運転状態がしなやかな運転状態であると判定する。この運転状態では、運転操作が適度な速さで行われており、乗員の体の揺れの大きさや速さが所定範囲内に収まることとなる。また、制御装置１０は、車両１の加速度の変化量が相対的に小さい場合においては（ほぼ一定加速度で加速や減速や旋回が行われている場合）、車両１の加速度の変化量が所定値未満で且つ加速度の絶対値が所定値以上であるときに、運転者による運転状態がしなやかな運転状態であると判定する。この運転状態では、運転操作が最適な操作量により一発で行われ、その操作状態が維持されることで、乗員の体が一定に維持されることとなる。なお、このような運転状態の判定を制御装置１０のみが行うことに限定はされず、管理装置３０及び／又は携帯端末２０が運転状態の判定の一部又は全部を行ってもよい。
また、センサ装置１２の生体センサは、車内の運転者及び同乗者の音声を収音する車内マイク，運転者の心拍変動を計測する心拍計測装置等を含む。また、制御装置１０は、車内カメラ１１ａを生体センサとしても用いることができる。例えば、制御装置１０は、車内カメラ１１ａが撮像した画像データから、運転者や同乗者の表情，視線方向，瞬き等を取得することができる。
本実施形態では、制御装置１０は、車内カメラ１１ａの画像データを分析することで取得された、運転者及び同乗者における瞳孔径、眼球運動、頭部や肩の位置・向きを含む上半身の挙動、及び顔の表情、並びに、心拍計測装置によって計測された心拍変動を、生体データとして取得する。そして、制御装置１０は、このような生体データに基づき運転者及び同乗者の心理状態（具体的には緊張度）を分析し、運転者及び同乗者が精神的に良好な活性状態にあるか否かを判定する。また、制御装置１０は、例えば公知の「ＭＩＭＯＳＹＳ（登録商標）」などのアルゴリズムを用いて、車内マイクで収音された運転者及び同乗者の音声を分析して、運転者及び同乗者の感情状態（具体的には心の活性度）を求める。特に、制御装置１０は、音声を分析することで求められた心の活性度、及び、上記の生体データを分析することで求められた心理状態の両方に基づき、運転者及び同乗者の感情状態を判定する。例えば、制御装置１０は、音声による心の活性度の程度を点数化する一方で、生体データによる心理状態が良好な活性状態にあると判定された場合に、心の活性度の点数に対して所定点数を加算することで、運転者及び同乗者の感情状態を点数化する。そして、制御装置１０は、こうして求められた点数が所定値以上である場合に、運転者及び同乗者が活性状態にあると判定する。なお、このような感情状態の判定を制御装置１０のみが行うことに限定はされず、管理装置３０及び／又は携帯端末２０が感情状態の判定の一部又は全部を行ってもよい。
表示装置１４は、例えば、液晶ディスプレイであり、地図や各種の交通情報等を表示することができる。なお、携帯端末２０を制御装置１０に無線又は有線接続することにより、携帯端末２０を表示装置として用いてもよい。
入力装置１５は、タッチ式入力画面，スイッチ，ボタン等を含む入力装置であり、運転者は、入力装置１５を用いて各種の情報を入力することができる。表示装置１４をタッチ式入力画面として利用してもよい。例えば、運転者は、運転中に気に入った景色や観光スポットに巡り合ったとき、その旨を入力装置１５により入力することができる。この場合、景色などを気に入ったことを入力するための操作ボタン（以下では「いいねボタン」と呼ぶ。）を車室内において運転者が操作できる位置に設けたり（１つの例ではステアリング装置に設けられる）、いいねボタンをタッチ入力式に構成された表示装置１４の画面に表示させたりすればよい。
制御装置１０は、撮像装置１１の画像データ，センサ装置１２の測定データ，入力装置１５の入力データ、処理データをメモリ１０ｂに記憶すると共に、これらデータを、車両１を特定する車両識別番号と共に管理装置３０へ随時送信する。制御装置１０は、車両１の現在位置を示す位置情報や、車両１のＩＧ（具体的にはＩＧ信号）がオンであるかオフであるかを示すＩＧオン／オフ情報を、管理装置３０へ送信する。特に、制御装置１０は、車内カメラ１１ａ及び複数の車外カメラ１１ｂのそれぞれが撮像した動画に対応する画像データ、同乗者の視線方向を示す情報（同乗者視線情報）、運転者の運転状態を示す情報、つまり運転者がしなやかな運転状態であるか否かを示す情報（運転状態情報）、運転者及び同乗者の感情情報、車内マイクで収音された乗員の会話音量（ｄＢ）、及び、いいねボタンの操作情報を、管理装置３０へ送信する。
同乗者視線情報は、車内カメラ１１ａの画像データを分析することで求められ、同乗者の視線方向が向いている方向、具体的には車内、車両前方、車両後方、車両右側方及び車両左側方のいずれかを示す情報である。会話音量（ｄＢ）は、車内マイクで収音された音声を分析することで求められる。管理装置３０は、制御装置１０から送信された会話音量が所定値（例えば６０ｄＢ）以上である場合に、乗員の会話音量が「大」であると判定する。他の例では、制御装置１０が、会話音量が「大」であるか否かを判定し、その判定結果を会話音量として管理装置３０に送信してもよい。いいねボタンの操作情報は、いいねボタンがオンであるか否かを示す情報である。
なお、同乗者視線情報、会話音量及びいいねボタンの操作情報は、運転者及び／又は同乗者の感情を間接的に示す情報であり、これら情報に対して、運転者及び同乗者の感情を直接的に示す感情情報を加えた情報は、本発明における「感情状態関連情報」に相当する。
なお、ユーザＡが車両１を介して動画編集システムＳを利用する際に、制御装置１０がユーザ認証を行ってもよい。例えば、制御装置１０は、カメラ１１ａにより撮像された画像データを用いてユーザ認証（画像認証）を行ってもよい。また、制御装置１０は、携帯端末２０が登録機器として近距離無線通信回線により制御装置１０にリンクされたことを用いてユーザ認証してもよい。この場合、携帯端末２０は予め制御装置１０に登録されている。このユーザ認証では、上記リンクにより正規のユーザＡが車両１に搭乗していると判断される。
次に、携帯端末２０は、プロセッサ２０ａ、メモリ２０ｂ、通信回路２０ｃ、入出力装置２０ｄ、表示装置２０ｅ等を含む携帯型のコンピュータ装置である。携帯端末２０は、メモリ２０ｂに記憶された種々のプログラムをプロセッサ２０ａが実行することにより、各種の処理を行うように構成されている。また、プロセッサ２０ａは、通信回路２０ｃを介して管理装置３０及び制御装置１０と種々のデータを送受信する。
携帯端末２０は、測位用プログラムにより、周囲の通信局との通信に基づいて、又は、ＧＰＳを利用した衛星測位に基づいて、現在位置を取得する。携帯端末２０は、取得した現在位置を示す位置信号、携帯端末２０を特定する携帯端末識別番号，及びその他のデータを管理装置３０へ繰り返し送信する。
ユーザＡは、携帯端末２０のブラウザプログラム（ブラウザアプリ）を利用して、ウェブサイトにアクセスすることができる。例えば、ユーザＡは、携帯端末２０によって管理装置３０が提供するデータベースにアクセスして、種々の情報を閲覧することが可能である。
また、ユーザＡは、携帯端末２０の所定のプログラム（アプリ）を利用して、管理装置３０から受信した各種データを表示装置２０ｅに表示させ、入出力装置２０ｄを介して入力した所定データを管理装置３０へ送信することができる。具体的には、携帯端末２０の表示装置２０ｅは、管理装置３０によって編集された動画を表示する。この場合、ユーザＡは、携帯端末２０の入出力装置２０ｄを用いて動画の編集モードを選択し、管理装置３０は、こうして選択された編集モードによって動画を編集し、編集した動画を携帯端末２０に送信して表示装置２０ｅに表示させる。
また、ユーザＡは、携帯端末２０を用いて、車両１に走行させる走行経路を設定することができる。具体的には、ユーザＡは、出発日時や総トリップ時間や出発地点や終了地点（自宅や旅館などの宿泊先）などを入出力装置２０ｄによって入力し、携帯端末２０は、こうして入力された情報を管理装置３０に送信する。そして、管理装置３０は、入力された情報に基づき、ユーザＡに提案する走行経路を設定する。携帯端末２０及び／又は車両１の制御装置１０は、こうして設定された走行経路を表示させる。なお、車両１の制御装置１０は、走行経路が設定された状態で車両１のＩＧがオンになると、所定のモード（以下では「トリップモード」と呼ぶ。）をオンに設定し、車両１が走行経路の終了地点に到着して車両１のＩＧがオフになると、トリップモードをオフに設定する。車両１の制御装置１０は、このようなトリップモードのオン／オフを示すトリップモード情報を管理装置３０に送信する。
また、携帯端末２０は、近距離無線通信技術を用いて、制御装置１０と自動的にリンクすることができる。制御装置１０は、携帯端末２０が予め登録された通信機器である場合に、携帯端末２０を認証して自動的に通信回線を確立する。その際、制御装置１０は、携帯端末２０から携帯端末識別番号を受信し、管理装置３０へ送信するデータに携帯端末識別番号を付加することができる。
次に、管理装置３０は、プロセッサ３０ａ、メモリ３０ｂ、通信回路３０ｃ、入出力装置３０ｄ、表示装置３０ｅ等を含むコンピュータ装置（サーバ装置）であり、メモリ３０ｂに記憶されたプログラムをプロセッサ３０ａが実行することにより、各種の処理を行うように構成されている。メモリ３０ｂには、プログラムに加えて、各種のデータベースが記憶される。管理装置３０は、本発明における「動画編集装置」に相当し、車両１の車内カメラ１１ａ及び複数の車外カメラ１１ｂにより撮像された動画を編集する動画編集処理を実行する。
データベースは、ユーザデータベース３１ａ、入力情報データベース３１ｂ、閲覧情報データベース３１ｃ等を含む。ユーザは、携帯端末２０のブラウザプログラムを用いて、これらのデータベースを閲覧することが可能である。
ユーザデータベース３１ａは、ユーザＡについて、ユーザデータを記憶する。ユーザデータは、ユーザが登録及び更新可能なデータ、及びユーザ登録時に管理装置３０が自動的に割り当てたデータ（ユーザ識別番号等）を含む。ユーザＡは、携帯端末２０を用いて管理装置３０にユーザ登録することができる。
ユーザデータは、ユーザＡのユーザ識別番号、車両識別番号、携帯端末識別番号などを含む。ユーザ識別番号は、各ユーザを特定する識別番号である。車両識別番号は、ユーザＡの車両１を特定する識別番号である。携帯端末識別番号は、ユーザＡの携帯端末２０を特定する識別番号である。
入力情報データベース３１ｂは、ユーザＡの車両１から受け取る画像データ，測定デー，入力データ等、及び、地図データや外部交通情報等を記憶するデータベースである。特に、入力情報データベース３１ｂは、走行ログデータを含む。走行ログデータは、ユーザＡにより行われたドライブのログデータである。管理装置３０は、ユーザがドライブを行う毎に（すなわち、トリップモードがオンになると）、新たな走行ログデータを生成する。具体的には、車両１のトリップモードがオンになってからオフになるまでの期間に、そのドライブのための走行ログデータとして種々のデータが蓄積される。走行ログデータは、固有のドライブ識別番号，車両１を特定する車両識別番号，車両１の位置情報、携帯端末２０の位置情報，ＩＧオン／オフ情報，同乗者視線情報、運転状態情報、会話音量、及び、いいねボタンの操作情報を含む。また、入力情報データベース３１ｂは、このようなドライブ識別番号に対応付けて、車内カメラ１１ａ及び複数の車外カメラ１１ｂのそれぞれの画像データ、運転者の感情情報、及び同乗者の感情情報も記憶する。車内カメラ１１ａ及び複数の車外カメラ１１ｂのそれぞれの画像データは、動画識別番号に対応付けられる。
閲覧情報データベース３１ｃは、管理装置３０が入力情報データベース３１ｂのデータを処理して作成したデータを格納するデータベースである。閲覧情報データベース３１ｃは、主にコンテンツデータベースを含む。このコンテンツデータベースには、管理装置３０において複数の編集モードによって編集された複数の動画の情報が、各々の編集モードの識別番号（動画コンテンツ識別番号）に対応付けて記憶される。これら動画コンテンツ識別番号は、上記の動画識別番号に対応付けられる。
［動画編集処理］
次に、本発明の実施形態において管理装置３０が実行する動画編集処理について具体的に説明する。
本実施形態では、管理装置３０は、トリップモードがオンであるときに、つまり車両１が走行経路に従って移動しているときに、車両１の車内カメラ１１ａ及び複数の車外カメラ１１ｂにより撮像された複数の動画を編集し、編集された動画を携帯端末２０に表示させる。具体的には、管理装置３０は、トリップモードがオンであるときに上述したように車両１の制御装置１０から送信された運転状態情報及び感情状態関連情報（同乗者視線情報、運転者及び同乗者の感情情報、会話音量、及び、いいねボタンの操作情報）に基づき、人との交流以外の要素が走行経路での移動中に運転者や同乗者の体験に与えた影響を示す第１作用度（「モノ」からの作用（αサイクル）に相当する）、及び人との交流が走行経路での移動中に運転者や同乗者の体験に与えた影響を示す第２作用度（「ヒト」からの作用（βサイクル）に相当する）を判定し、これら第１及び第２作用度に基づき動画を編集する。
特に、管理装置３０は、元の動画において第１作用度が相対的に高い部分及び第２作用度が相対的に高い部分を複数のハイライト部分として特定し、この複数のハイライト部分の全て又はいずれか１つ以上のハイライト部分を繋げたハイライト動画（換言すると要約動画）を生成すると共に、元の動画において複数のハイライト部分のそれぞれの冒頭に対応する位置に動画を区切るためのチャプタを付与したチャプタ付与動画を生成する。なお、第１作用度及び第２作用度は、上記の運転状態情報や感情状態関連情報に含まれるような情報に基づき規定されるものである。例えば、第１作用度は、運転者の運転技能や車外の風景などにより規定され、第２作用度は、同乗者との交流や他の運転者との交流などにより規定される。また、第１作用度及び第２作用度は運転状態情報や感情状態関連情報に含まれるような情報に基づき数値化することができ、上記した「第１作用度が相対的に高い」及び「第２作用度が相対的に高い」は、第１作用度を示す値が所定値以上であること及び第２作用度を示す値が所定値以上であることを意味する。
より詳しくは、管理装置３０は、運転状態情報が、運転者がしなやかな運転状態にあることを示しているときに、第１作用度が相対的に高いと判定して、このときに車外カメラ１１ｂ（特に車両１の前方を撮像するカメラ）によって撮像された動画を、ハイライト部分として特定する。また、管理装置３０は、感情状態関連情報が、運転者や同乗者の感情が車両１の外部からの刺激（例えば風景や車外の音など）により活性していることを示しているときに、第１作用度が相対的に高いと判定して、このときに車外カメラ１１ｂ（典型的には車両１の前方を撮像するカメラ）によって撮像された動画を、ハイライト部分として特定する。また、管理装置３０は、感情状態関連情報が、運転者や同乗者の感情が車内でのコミュニケーション（会話）により活性していることを示しているときに、第２作用度が相対的に高いと判定して、このときに車内カメラ１１ａによって撮像された動画を、ハイライト部分として特定する。
更に、管理装置３０は、複数の編集モードを備え、この複数の編集モードの中から携帯端末２０を介してユーザによって選択された編集モードに応じて、複数のハイライト部分の中から１つ以上のハイライト部分を抽出し、この抽出されたハイライト部分を繋げたハイライト動画を生成する。この場合、管理装置３０は、ユーザによって編集モードを選択させる前に、複数のハイライト部分の全てを繋げたハイライト動画をまず生成し、このハイライト動画を携帯端末２０によりユーザに提供するようにする（以下では、このようなハイライト動画を生成する編集モードを「第１編集モード」と呼び、この第１編集モードにより生成されたハイライト動画を「第１編集モード動画」と呼ぶ。）。つまり、管理装置３０は、まず、複数のハイライト部分の全容を第１編集モード動画によってユーザに見せて、複数のハイライト部分の中から好みのハイライト部分を抽出するのに適した編集モード（後述する第２～第４編集モード）を、ユーザに選択させるようにする。
第２～第４編集モードの具体的内容は下記の通りである。なお、以下では、第２～第４編集モードにより生成されたハイライト動画を、それぞれ「第２編集モード動画」、「第３編集モード動画」及び「第４編集モード動画」と呼ぶ。また、以下で用いている「ハイライト部分の特定条件」は、第２～第４編集モード動画のそれぞれを構成するハイライト部分を元の動画から特定するための条件を意味する。
（１）第２編集モード
・第２編集モード動画の内容：しなやかな運転状態において撮像された動画
・第１又は第２作用度の大きさ：第１作用度が相対的に高い
・第２編集モード動画を構成するハイライト部分の特定条件：運転者によるしなやかな運転状態が２秒以上継続
・適用するカメラ：車両前方を撮像する車外カメラ１１ｂ
（２）第３編集モード
・第３編集モード動画の内容：車外の風景により運転者や同乗者の感情が活性化したときに撮像された動画（つまり運転者や同乗者が気に入った風景を撮像した動画）
・第１又は第２作用度の大きさ：第１作用度が相対的に高い
・第３編集モード動画を構成するハイライト部分の特定条件：運転者がいいねボタンを操作、又は、同乗者感情が活性且つ同乗者視線が車外
・適用するカメラ：同乗者視線に対応する方向を撮像する車外カメラ１１ｂ（同乗者視線が特定できない場合には車両前方を撮像する車外カメラ１１ｂ）
（３）第４編集モード
・第４編集モード動画の内容：運転者や同乗者の感情が車内でのコミュニケーションにより活性したときに撮像された動画（つまり車内が盛り上がったときに撮像された動画）
・第１又は第２作用度の大きさ：第２作用度が相対的に高い
・第４編集モード動画を構成するハイライト部分の特定条件：運転者感情又は同乗者感情が活性、且つ、会話音量が大
・適用するカメラ：車内カメラ１１ａ
また、管理装置３０は、上述したように、元の動画において複数のハイライト部分のそれぞれの冒頭に対応する位置にチャプタを付与したチャプタ付与動画を生成するための第５編集モードを更に有する。この第５編集モードで生成される動画（以下では「第５編集モード動画」と呼ぶ。）は、上記の第１～第４編集モード動画とは異なり、ハイライト動画（要約動画）ではなく、車内カメラ１１ａ及び複数の車外カメラ１１ｂにより撮像された複数の動画を全て含む。
次に、図２～図４を参照して、本実施形態による動画編集処理の具体例について説明する。図２は、本実施形態に係る動画編集処理による、動画中のハイライト部分の特定方法の説明図であり、図３は、本実施形態による第１～第４編集モード動画の一例を示す概略構成図であり、図４は、本実施形態による第５編集モード動画の一例を示す概略構成図である。
図２の上には、車両前方を撮像する車外カメラ１１ｂによる動画、車両右側方を撮像する車外カメラ１１ｂによる動画、車両左側方を撮像する車外カメラ１１ｂによる動画、車両後方を撮像する車外カメラ１１ｂによる動画、及び、車内カメラ１１ａによる動画のそれぞれを模式的に示している。また、これら動画の下には、同乗者視線、運転状態、運転者感情、同乗者感情、会話音量、いいねボタンの操作状態を示している。
まず、管理装置３０は、運転者のしなやかな運転状態が２秒以上継続するという第２編集モード用のハイライト部分の特定条件が成立すると（矢印Ａ１）、このときに車両前方を撮像する車外カメラ１１ｂによって撮像された動画を、第２編集モード動画を構成するためのハイライト部分＃１として特定する。この場合、管理装置３０は、しなやかな運転状態が２秒以上継続するという特定条件が成立し始めたタイミングの５秒前から、当該特定条件の成立が終了したタイミングの５秒後までの動画を、ハイライト部分＃１として特定する。すなわち、管理装置３０は、ハイライト部分の特定条件が成立している期間の前後それぞれに５秒加算した期間の動画を、ハイライト部分として特定する（以下同様とする）。なお、いいねボタンがオンになった場合には、いいねボタンがオンになったタイミングの前後５秒の動画（つまり計１０秒の動画）を、ハイライト部分として特定すればよい。
次いで、管理装置３０は、運転者感情が活性し且つ会話音量が「大」になるという第４編集モード用のハイライト部分の特定条件が成立すると（矢印Ａ２）、このときに車内カメラ１１ａによって撮像された動画を、第４編集モード動画を構成するためのハイライト部分＃２として特定する。
次いで、管理装置３０は、同乗者感情が活性し且つ同乗者視線が車外を向くという第３編集モード用のハイライト部分の特定条件が成立すると（矢印Ａ３、Ａ４）、このときに同乗者視線に対応する車両左側方を撮像する車外カメラ１１ｂによって撮像された動画を、第３編集モード動画を構成するためのハイライト部分＃３として特定する。このような第３編集モード用のハイライト部分の特定条件が成立している期間において、いいねボタンがオンになるという第３編集モード用の別の特定条件も成立する（矢印Ａ５）、つまり２つの特定条件が成立する期間が重複する。いいねボタンがオンになるという特定条件が成立した場合にも、同乗者視線に対応する車両左側方を撮像する車外カメラ１１ｂによって撮像された動画がハイライト部分として特定されることとなる。したがって、管理装置３０は、このように２つの特定条件が成立する期間が重複し、且つ各特定条件の成立時においてハイライト部分に適用するカメラが同一である場合には、まとめて１つのハイライト部分を適用する。
次いで、管理装置３０は、運転者のしなやかな運転状態が２秒以上継続するという第２編集モード用のハイライト部分の特定条件が成立すると（矢印Ａ６）、このときに車両前方を撮像する車外カメラ１１ｂによって撮像された動画を、第２編集モード動画を構成するためのハイライト部分＃４として特定する。このような第２編集モード用のハイライト部分の抽出条件が成立している期間において、同乗者感情が活性し且つ会話音量が「大」になるという第４編集モード用のハイライト部分の特定条件も成立する（矢印Ａ７）、つまり２つの特定条件が成立する期間が重複する。同乗者感情が活性し且つ会話音量が「大」になるという第４編集モード用のハイライト部分の特定条件が成立した場合には、車外カメラ１１ｂによって撮像された動画ではなく、車内カメラ１１ａによって撮像された動画がハイライト部分として特定されることとなる。そのため、管理装置３０は、同乗者感情が活性し且つ会話音量が「大」になると（矢印Ａ７）、このときに車内カメラ１１ａによって撮像された動画を、上記のハイライト部分＃４とは別に、ハイライト部分＃５として特定する。このように、管理装置３０は、２つの特定条件が成立する期間が重複しても、各特定条件の成立時においてハイライト部分に適用するカメラが異なる場合には、異なるカメラにより撮像された動画をそれぞれハイライト部分として適用する。
次いで、管理装置３０は、いいねボタンがオンになるという第３編集モード用のハイライト部分の特定条件が成立すると（矢印Ａ８）、このときに車両前方を撮像する車外カメラ１１ｂによって撮像された動画を、第３編集モード動画を構成するためのハイライト部分＃６として特定する。
次に、図３は、図２の動画編集処理によってハイライト部分を特定した場合の第１～第４編集モード動画の構成を模式的に示している。図３に示すように、第１編集モード動画は、上記の複数のハイライト部分＃１～＃６を全て含む。また、第２編集モード動画は、ハイライト部分＃１～＃６のうちで、運転者がしなやかな運転状態にあるときに車外カメラ１１ｂによって撮像されたハイライト部分＃１、＃４から成る。また、第３編集モード動画は、ハイライト部分＃１～＃６のうちで、車外の風景により運転者や同乗者の感情が活性化したときに車外カメラ１１ｂによって撮像されたハイライト部分＃３、＃６から成る。また、第４編集モード動画は、ハイライト部分＃１～＃６のうちで、運転者や同乗者の感情が車内でのコミュニケーションにより活性したとき（つまり車内が盛り上がったとき）に車内カメラ１１ａによって撮像されたハイライト部分＃２、＃５から成る。
管理装置３０は、第１～第４編集モード動画のそれぞれについて、複数のハイライト部分を開始時間が早い順に並べて繋ぎ合わせた動画を生成する。ここで、第１編集モード動画においては、ハイライト部分＃４とハイライト部分＃５の期間が重複するが（図２参照）、つまりハイライト部分＃４、＃５の開始時間が同じであるが、この場合には、管理装置３０は、ハイライト部分＃４とハイライト部分＃５とを順番に並べた動画を生成する。例えば、管理装置３０は、開始時間が同じハイライト部分を、車両前方、車両右側方、車両左側方、車両後方、車内の順に並べることとし、ハイライト部分＃４、＃５については、ハイライト部分＃４をハイライト部分＃５よりも前に並べた動画を生成する。
次に、図４は、図２の動画編集処理によってハイライト部分を特定した場合の第５編集モード動画の構成を模式的に示している。図４に示すように、第５編集モード動画は、複数の車外カメラ１１ｂ及び車内カメラ１１ａのそれぞれの動画（５つの動画）に対して、複数のハイライト部分＃１～＃６のそれぞれの冒頭に対応する位置に動画を区切るためのチャプタＣ１～Ｃ６が付与された動画である。
上述したように、管理装置３０は、まず、第１編集モード動画を携帯端末２０に表示させて、ユーザに第２～第５編集モードのいずれかを選択させ、この後に、ユーザによって選択された編集モードに応じて、第２～第５編集モード動画のいずれかを生成し、生成した動画を携帯端末２０に表示させる。なお、ユーザは第１編集モードを選択することもでき、その場合には既に生成された第１編集モード動画を携帯端末２０に表示させればよい。
次に、図５を参照して、本実施形態による動画編集処理の全体的な流れについて説明する。図５は、本実施形態において管理装置３０によって実行される動画編集処理の処理フローを示す。なお、管理装置３０は、トリップモードがオンであるときに車両１から取得されたデータ（このデータは車両１から送信されて管理装置３０の入力情報データベース３１ｂに記憶される）を用いて、動画編集処理を実行する。また、管理装置３０は、トリップモードがオフになった後に（具体的には車両１が走行経路の終了地点に到着し且つＩＧ信号がオフになった後）、動画編集処理を開始する。
まず、管理装置３０は、車両１から送信された、撮像装置１１の画像データ、センサ装置１２の測定データ及び入力装置１５の入力データを、入力情報データベース３１ｂから読み出す（Ｓ１）。この場合、管理装置３０は、動画編集処理を行うべきトリップに対応するドライブ識別番号に紐付けて記憶されたデータを、入力情報データベース３１ｂから読み出す。具体的には、管理装置３０は、車内カメラ１１ａ及び複数の車外カメラ１１ｂのそれぞれにより撮像された動画、同乗者視線情報、運転者がしなやかな運転状態であるか否かを示す運転状態情報、運転者の感情情報、同乗者の感情情報、乗員の会話音量、及び、いいねボタンの操作情報を取得する。
次いで、管理装置３０は、車両１の車内カメラ１１ａ及び複数の車外カメラ１１ｂのそれぞれにより撮像された動画中のハイライト部分を特定する（Ｓ２）。この場合、管理装置３０は、複数のカメラ１１ａ、１１ｂにより撮像された動画から、第２～第４編集モード動画のそれぞれを構成するハイライト部分を特定するための所定の特定条件を適用する。具体的には、管理装置３０は、（１）第２編集モード動画を構成するハイライト部分の特定条件として、運転者によるしなやかな運転状態が２秒以上継続するという条件を用い、（２）第３編集モード動画を構成するハイライト部分の特定条件として、運転者がいいねボタンを操作したという条件、又は同乗者感情が活性し且つ同乗者視線が車外であるという条件を用い、（３）第４編集モード動画を構成するハイライト部分の特定条件として、運転者感情又は同乗者感情が活性し且つ会話音量が大であるという条件を用いる。
すなわち、管理装置３０は、運転状態情報に基づき、しなやかな運転状態が２秒以上継続するという特定条件が成立すると判定された場合に、この特定条件の成立時に車両前方を撮像する車外カメラ１１ｂによって撮像された動画を、第２編集モード動画を構成するハイライト部分として特定する。また、管理装置３０は、いいねボタンの操作情報、同乗者視線情報及び同乗者の感情情報に基づき、運転者がいいねボタンを操作したという特定条件が成立すると判定されるか、又は同乗者感情が活性し且つ同乗者視線が車外であるという特定条件が成立すると判定された場合に、この特定条件の成立時に同乗者視線に対応する方向を撮像する車外カメラ１１ｂ（同乗者視線が特定できない場合には車両前方を撮像する車外カメラ１１ｂ）によって撮像された動画を、第３編集モード動画を構成するハイライト部分として特定する。また、管理装置３０は、運転者の感情情報、同乗者の感情情報及び会話音量に基づき、運転者感情又は同乗者感情が活性し且つ会話音量が大であるという特定条件が成立すると判定された場合に、この特定条件の成立時に車内カメラ１１ａによって撮像された動画を、第４編集モード動画を構成するハイライト部分として特定する。
なお、管理装置３０は、このようにして複数のハイライト部分を特定した場合、複数のハイライト部分のそれぞれについて、ハイライト部分を撮像したカメラ（車内カメラ１１ａ及び複数の車外カメラ１１ｂのうちのいずれか）による動画を特定する情報と、この動画においてハイライト部分が開始する時刻及び当該ハイライト部分が終了する時刻を示す情報と、を記憶する。
次いで、管理装置３０は、上記のように特定された第２～第４編集モード動画を構成する全てのハイライト部分を開始時間が早い順に並べて繋ぎ合わせることで、第１編集モード動画（ハイライト動画）を生成し、この第１編集モード動画のデータを携帯端末２０に送信する（Ｓ３）。管理装置３０は、こうして生成した第１編集モード動画を閲覧情報データベース３１ｃのコンテンツデータベースに格納する。この後、携帯端末２０は、管理装置３０から送信された第１編集モード動画を表示させ、動画を編集するための編集モードをユーザに選択させる（例えば編集モードを選択させるための画面を表示させる）。
次いで、管理装置３０は、ユーザによって選択された編集モードを携帯端末２０から受信したか否かを判定する（Ｓ４）。管理装置３０は、ユーザによって選択された編集モードを受信すると（Ｓ４：Ｙｅｓ）、この編集モードに対応する動画を生成し、この動画のデータを携帯端末２０に送信する（Ｓ５）。具体的には、管理装置３０は、第２～第４編集モードのいずれかが選択された場合には、上記のように特定された第２～第４編集モード動画を構成する複数のハイライト部分の中から、選択された編集モードに対応するハイライト部分を抽出し、この抽出したハイライト部分を開始時間が早い順に並べて繋ぎ合わせることでハイライト動画（第２～第４編集モード動画のいずれか）を生成する。他方で、管理装置３０は、第５編集モードが選択された場合には、車内カメラ１１ａ及び複数の車外カメラ１１ｂのそれぞれの動画に対して、上記のように特定された第２～第４編集モード動画を構成する複数のハイライト部分のそれぞれの冒頭に対応する位置（動画中のハイライト部分の開始時刻により規定される）に、動画を区切るためのチャプタを付与した第５編集モード動画（チャプタ付与動画）を生成する。管理装置３０は、このようにして生成した第２～第５編集モード動画のいずれかを閲覧情報データベース３１ｃのコンテンツデータベースに格納する。
次いで、管理装置３０は、ユーザによって選択された編集モードに対応する動画をダウンロードするための動画ファイル生成指示を、携帯端末２０から受信したか否かを判定する（Ｓ６）。この動画ファイル生成指示は、ユーザが携帯端末２０に表示されたダウンロードボタンを押すことで発せられる。管理装置３０は、動画ファイル生成指示を携帯端末２０から受信すると（Ｓ６：Ｙｅｓ）、ユーザによって選択された編集モードに対応する動画の動画ファイルを生成し、この動画ファイルのダウンロードリンクを生成し、このダウンロードリンクを携帯端末２０に送信する（Ｓ７）。動画ファイルは、コンテンツデータベースにおいてダウンロードリンク先に格納される。携帯端末２０は、管理装置３０から送信されたダウンロードリンクを表示する。
［作用及び効果］
次に、本実施形態による動画編集装置による作用及び効果について説明する。
本実施形態では、動画編集装置としての管理装置３０は、車両１での移動中に運転者による運転状態情報及び運転者及び／又は同乗者の感情状態に関連する感情状態関連情報を取得し、これら運転状態情報及び感情状態関連情報に基づき第１作用度及び第２作用度を判定し、判定された第１及び第２作用度に基づき、車両１での移動中に車内カメラ１ａ及び車外カメラ１ｂによって撮像された動画中の複数のハイライト部分を特定し、この複数のハイライト部分に基づき動画を編集する。これにより、人との交流以外の要素が車両１での移動中に運転者や同乗者の体験に与えた影響を示す第１作用度（「モノ」からの作用（αサイクル）に対応する）、及び人との交流が車両１での移動中に運転者や同乗者の体験に与えた影響を示す第２作用度（「ヒト」からの作用（βサイクル）に対応する）に基づき、車両１において撮像された動画を編集することができる。このように編集された動画によれば、ユーザ（運転者や同乗者）は、ドライブ体験に内在する「モノ」からの作用及び「ヒト」からの作用の両方を振り返ることができる。よって、本実施形態によれば、車両１を通じた体験及び経験の広がりを促進することができる。
また、本実施形態によれば、管理装置３０は、動画において第１作用度が相対的に高い部分及び第２作用度が相対的に高い部分を複数のハイライト部分として特定し、複数のハイライト部分の全て又はいずれか１つ以上のハイライト部分から成るハイライト動画を生成する。これにより、第１作用度及び第２作用度の観点から、元の動画を要約したハイライト動画を適切に生成することができる。このようなハイライト動画によれば、元の動画において第１作用度が相対的に高い部分及び第２作用度が相対的に高い部分を効率的に視聴することができる。
また、本実施形態によれば、管理装置３０は、動画において複数のハイライト部分のそれぞれの冒頭に対応する位置に動画を区切るためのチャプタを付与する。これにより、元の動画に付与されたチャプタを選択することで、動画中の複数のハイライト部分を効率的に視聴することができる。
また、本実施形態によれば、管理装置３０は、運転者が好ましい運転状態にあるときに第１作用度が相対的に高いと判定して、このときに車外カメラ１ｂによって撮像された動画をハイライト部分として特定する。これにより、運転者による運転状態に基づき、動画中において第１作用度が相対的に高い部分をハイライト部分として適切に特定することができる。
また、本実施形態によれば、管理装置３０は、運転者や同乗者の感情が車外の刺激（例えば風景）により活性しているときに第１作用度が相対的に高いと判定して、このときに車外カメラ１ｂによって撮像された動画をハイライト部分として特定する。これにより、車外からの刺激による運転者や同乗者の感情に基づき、動画中において第１作用度が相対的に高い部分をハイライト部分として適切に特定することができる。
また、本実施形態によれば、管理装置３０は、運転者や同乗者の感情が車内でのコミュニケーションにより活性しているときに第２作用度が相対的に高いと判定して、このときに車内カメラ１ａによって撮像された動画をハイライト部分として特定する。これにより、車内でのコミュニケーションによる運転者や同乗者の感情に基づき、動画中において第２作用度が相対的に高い部分をハイライト部分として適切に特定することができる。
また、本実施形態によれば、管理装置３０は、複数の編集モードを備え、この複数の編集モードの中からユーザによって選択された編集モードに応じて、複数のハイライト部分の中から１つ以上のハイライト部分を抽出し、この抽出されたハイライト部分から成るハイライト動画を生成する。これにより、ユーザの嗜好に応じて編集されたハイライト動画を生成することができる。
また、本実施形態によれば、管理装置３０は、ユーザによって編集モードを選択させる前に、複数のハイライト部分の全てから成るハイライト動画を生成し、このハイライト動画をユーザに提供する。これにより、ユーザの嗜好に応じた編集モードを、ユーザに適切に選択させることができる。
また、本実施形態によれば、管理装置３０は、運転者が好ましい運転状態にあるときに、車外カメラ１ｂによって撮像された動画に対応するハイライト部分を、複数のハイライト部分の中から抽出して、ハイライト動画を生成するための第２編集モードを備える。これにより、運転者が好ましい運転状態にあるときに撮像された車外の動画から成るハイライト動画を、編集により適切に生成することができる。
また、本実施形態によれば、管理装置３０は、運転者や同乗者の感情が車外の刺激により活性しているときに、車外カメラ１ｂによって撮像された動画に対応するハイライト部分を、複数のハイライト部分の中から抽出して、ハイライト動画を生成するための第３編集モードを備える。これにより、運転者や同乗者の感情が車外の刺激により活性しているときに撮像された車外の動画から成るハイライト動画を、編集により適切に生成することができる。
また、本実施形態によれば、管理装置３０は、運転者や同乗者の感情が車室内でのコミュニケーションにより活性しているときに、車内カメラ１ａによって撮像された動画に対応するハイライト部分を、複数のハイライト部分の中から抽出して、ハイライト動画を生成するための第４編集モードを備える。これにより、運転者や同乗者の感情が車室内でのコミュニケーションにより活性しているときに撮像された車内の動画から成るハイライト動画を、編集により適切に生成することができる。
［変形例］
上記した本実施形態において、移動体が車両である実施形態を記載しているが、移動体は車両に限定されるものではなく、モータバイク、モータスクータ、船舶、航空機を含む。
１ 車両（移動体）
３ 管理センター
１０ 制御装置
１１ 撮像装置
１１ａ 車内カメラ
１１ｂ 車外カメラ
１２ センサ装置
２０ 携帯端末
３０ 管理装置（動画編集装置）
Ａ ユーザ
Ｓ 動画編集システム

Claims (11)

  1. 動画編集装置であって、
    移動体での移動中において前記移動体の外部及び室内を撮像する複数のカメラによって撮像された動画を取得し、
    前記移動体での移動中における、運転者による前記移動体の運転状態を示す運転状態情報、及び前記移動体の運転者及び／又は同乗者の感情状態に関連する感情状態関連情報を取得し、
    取得された前記運転状態情報及び前記感情状態関連情報に基づき、人との交流以外の要素が前記運転者及び／又は前記同乗者の体験に与えた影響を示す第１作用度、及び人との交流が前記運転者及び／又は前記同乗者の体験に与えた影響を示す第２作用度を判定し、
    判定された前記第１作用度及び前記第２作用度に基づき、前記動画中の複数のハイライト部分を特定し、
    特定された前記複数のハイライト部分に基づき前記動画を編集する、
    よう構成されている、ことを特徴とする動画編集装置。
  2. 前記動画において前記第１作用度が相対的に高い部分及び前記第２作用度が相対的に高い部分を前記複数のハイライト部分として特定し、前記動画の編集として、前記複数のハイライト部分の全て又はいずれか１つ以上のハイライト部分から成るハイライト動画の生成を行うよう構成されている、請求項１に記載の動画編集装置。
  3. 前記動画の編集として、前記動画において前記複数のハイライト部分のそれぞれの冒頭に対応する位置に前記動画を区切るためのチャプタの付与を行うよう構成されている、請求項１又は２に記載の動画編集装置。
  4. 前記運転状態情報が、前記運転者が好ましい運転状態にあることを示しているときに、前記第１作用度が相対的に高いと判定して、このときに前記移動体の外部を撮像するカメラによって撮像された動画を、前記ハイライト部分として特定するよう構成されている、請求項１乃至３のいずれか一項に記載の動画編集装置。
  5. 前記感情状態関連情報が、前記運転者及び／又は前記同乗者の感情が前記移動体の外部からの刺激により活性していることを示しているときに、前記第１作用度が相対的に高いと判定して、このときに前記移動体の外部を撮像するカメラによって撮像された動画を、前記ハイライト部分として特定するよう構成されている、請求項１乃至４のいずれか一項に記載の動画編集装置。
  6. 前記感情状態関連情報が、前記運転者及び／又は前記同乗者の感情が前記移動体の室内でのコミュニケーションにより活性していることを示しているときに、前記第２作用度が相対的に高いと判定して、このときに前記移動体の室内を撮像するカメラによって撮像された動画を、前記ハイライト部分として特定するよう構成されている、請求項１乃至５のいずれか一項に記載の動画編集装置。
  7. 複数の編集モードを備え、この複数の編集モードの中からユーザによって選択された編集モードに応じて、前記複数のハイライト部分の中から１つ以上のハイライト部分を抽出し、この抽出されたハイライト部分から成るハイライト動画を生成するよう構成されている、請求項１乃至６のいずれか一項に記載の動画編集装置。
  8. ユーザによって前記編集モードを選択させる前に、前記複数のハイライト部分の全てから成るハイライト動画をユーザに提供すべく、前記複数のハイライト部分の全てから成るハイライト動画を生成するよう構成されている、請求項７に記載の動画編集装置。
  9. 前記運転者が好ましい運転状態にあるときに、前記移動体の外部を撮像するカメラによって撮像された動画に対応するハイライト部分を、前記複数のハイライト部分の中から抽出して、前記ハイライト動画を生成するための編集モードを備える、請求項７又は８に記載の動画編集装置。
  10. 前記運転者及び／又は前記同乗者の感情が前記移動体の外部からの刺激により活性しているときに、前記移動体の外部を撮像するカメラによって撮像された動画に対応するハイライト部分を、前記複数のハイライト部分の中から抽出して、前記ハイライト動画を生成するための編集モードを備える、請求項７乃至９のいずれか一項に記載の動画編集装置。
  11. 前記運転者及び／又は前記同乗者の感情が前記移動体の室内でのコミュニケーションにより活性しているときに、前記移動体の室内を撮像するカメラによって撮像された動画に対応するハイライト部分を、前記複数のハイライト部分の中から抽出して、前記ハイライト動画を生成するための編集モードを備える、請求項７乃至１０のいずれか一項に記載の動画編集装置。
JP2020162048A 2020-09-28 2020-09-28 動画編集装置 Pending JP2022054821A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020162048A JP2022054821A (ja) 2020-09-28 2020-09-28 動画編集装置
CN202110696484.8A CN114286151A (zh) 2020-09-28 2021-06-23 视频编辑装置
EP21197149.4A EP3975182A1 (en) 2020-09-28 2021-09-16 Video editing equipment
US17/480,160 US20220101884A1 (en) 2020-09-28 2021-09-21 Video editing equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020162048A JP2022054821A (ja) 2020-09-28 2020-09-28 動画編集装置

Publications (1)

Publication Number Publication Date
JP2022054821A true JP2022054821A (ja) 2022-04-07

Family

ID=77838694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020162048A Pending JP2022054821A (ja) 2020-09-28 2020-09-28 動画編集装置

Country Status (4)

Country Link
US (1) US20220101884A1 (ja)
EP (1) EP3975182A1 (ja)
JP (1) JP2022054821A (ja)
CN (1) CN114286151A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134533B (zh) * 2022-08-30 2022-11-18 宁波均联智行科技股份有限公司 自动调用车载图像采集装置的拍摄方法及设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011217116A (ja) * 2010-03-31 2011-10-27 Mitsui Sumitomo Insurance Co Ltd 再生装置、撮像再生システム、撮像再生方法、再生プログラム及び撮像プログラム
JP5796315B2 (ja) 2011-03-18 2015-10-21 マツダ株式会社 車両用運転支援装置
US9792951B2 (en) * 2013-05-08 2017-10-17 Vieu Labs, Inc. Systems and methods for identifying potentially interesting events in extended recordings
US20170264822A1 (en) * 2015-02-13 2017-09-14 Waylens, Inc. Mounting Device for Portable Multi-Stream Video Recording Device
US10529379B2 (en) * 2016-09-09 2020-01-07 Sony Corporation System and method for processing video content based on emotional state detection
JP7331850B2 (ja) * 2018-06-29 2023-08-23 ソニーグループ株式会社 情報処理装置及び情報処理方法
EP3621297A1 (en) * 2018-09-10 2020-03-11 Volvo Car Corporation System and method for handling a user's experience of a vehicle

Also Published As

Publication number Publication date
CN114286151A (zh) 2022-04-05
US20220101884A1 (en) 2022-03-31
EP3975182A1 (en) 2022-03-30

Similar Documents

Publication Publication Date Title
EP3978876A1 (en) Traveling route setting apparatus
JP6382273B2 (ja) 施設満足度算出装置
US20180025283A1 (en) Information processing apparatus, information processing method, and program
JP2018060192A (ja) 発話装置およびコミュニケーション装置
JP6115577B2 (ja) 車両用乗員感情対応制御装置
US11250875B2 (en) Behavior support system, behavior support apparatus, behavior support method, and storage medium storing program thereof
CN112915549B (zh) 图像处理装置、显示系统、记录介质以及图像处理方法
JPWO2018179406A1 (ja) 車載装置、情報管理サーバ、情報管理システム、および方法
JP2016137200A (ja) 車両用乗員感情対応制御装置
JP2024041746A (ja) 情報処理装置
JP6552548B2 (ja) 地点提案装置及び地点提案方法
JP2022054821A (ja) 動画編集装置
JP2016137201A (ja) 車両用乗員感情対応制御装置
JP7443908B2 (ja) 制御装置、情報処理システム、および制御方法
JP2022054822A (ja) 体験獲得支援装置
JP6559096B2 (ja) 情報出力システム及び情報出力方法
US11413530B2 (en) Information processing apparatus, information processing system, non-transitory computer readable medium, and vehicle
JP7170076B2 (ja) 情報処理方法及び情報処理システム
US20220097724A1 (en) Association assistance apparatus
WO2021192526A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体
JP7226233B2 (ja) 車両、情報処理システム、プログラム及び制御方法
JP7158648B2 (ja) 情報処理システムおよびプログラム
WO2007020808A1 (ja) コンテンツ提供装置、コンテンツ提供方法、コンテンツ提供プログラムおよびコンピュータに読み取り可能な記録媒体
WO2007043464A1 (ja) 出力制御装置、出力制御方法、出力制御プログラムおよびコンピュータに読み取り可能な記録媒体
JP2022187258A (ja) 情報処理装置、情報処理システムおよびｘｒ酔いに関する情報処理方法